3 月 9 日，微軟德國 CTO Andreas Braun 在一場名為 “AI in Focus - Digital Kickoff” 的活動中表示，GPT-4 將在下周發(fā)布，將提供多模態(tài)模型。自 3 月初發(fā)布 Kosmos-1 以來，微軟正在與 OpenAI 微調多模態(tài)這一事實應該不再是一個秘密。

此前《財富》雜志曾報道，OpenAI 在 beta 測試版 GPT-4 中采用了更強大的大語言模型，相較前代，GPT-4 可能不會有參數(shù)量上的巨幅提升，而是在其他方向尋求提高，“OpenAI 也確實在開發(fā)一款通過文字能生成視頻的 AI 模型”。

今年 1 月，OpenAI CEO Sam Altman 在回應 “GPT-4 可能擁有 100 萬億參數(shù)” 的說法時，稱其為“完全是胡說”。這也暗示了即將到來的 GPT-4 不會一味地擴大參數(shù)量，而可能向其他方向尋求提升。

“我們將在下周推出 GPT-4，我們將有多模態(tài)模型，提供完全不同的可能性——如視頻，”Braun 說。這位首席技術官稱大型語言模型是 “游戲規(guī)則的改變者”，因為它們教機器理解自然語言，然后以統(tǒng)計學方式理解以前只能由人類閱讀和理解的內容。同時，該技術已經(jīng)發(fā)展到了基本上 “適用于所有語言” 的程度。“你可以用德語問一個問題，得到意大利語的回答。通過多模態(tài)，微軟/OpenAI 將 “使模型變得全面”。
此次 GPT4 轉向多模態(tài)，未來的輸入輸出將出現(xiàn)圖像、視頻等形態(tài)，或將在業(yè)內產生更具顛覆性的影響。OpenAI 此前推出的 DALL-E 2 和 CLIP 便是一次很好的嘗試。
近期，微軟在多模態(tài)方向也動作頻頻，其推出了全能型人工智能模型——Kosmos-1。與局限于文本內容（ LLM）的 ChatGPT 相比，Kosmos-1 屬于多模態(tài)大型語言模型（MLLM），目前能同時理解文字與圖像內容，未來會整合更多的輸入模式，如音頻、視頻。

此外，微軟也于 3 月 8 日提出了 Visual ChatGPT，其包含不同的視覺基礎模型，可以使用戶通過以下方式與 ChatGPT 互動：（1）不僅發(fā)送和接收語言，而且發(fā)送和接收圖像；（2）提供復雜的視覺問題或視覺編輯指令，這需要多個人工智能模型的協(xié)作和多步驟；（3）提供反饋并要求糾正結果。

微軟研究人員在發(fā)表于預印本網(wǎng)站 arXiv 上的論文中寫道，“ChatGPT 正在吸引跨領域的興趣，因為它提供的語言界面具有強大的對話能力和在許多領域的推理能力。然而，由于 ChatGPT 是用語言數(shù)據(jù)來訓練的，它目前還不能處理或生成圖像。同時，視覺基礎模型，如 Visual Transformers 或 Stable Diffusion，雖然顯示了強大的視覺理解和生成能力，但它們只是特定任務的“專家”，具有一輪次固定的輸入和輸出。”
在此次活動中，Braun 和微軟德國 CEO Marianne Janik 一起，全面談到了人工智能對公司的顛覆。Janik 強調了人工智能創(chuàng)造價值的潛力，并談到了一個時間的轉折點——目前的人工智能發(fā)展和 ChatGPT 是 “一個 iPhone 時刻”。她說，這并不是要取代工作，而是要以不同于以往的方式完成重復性任務。

顛覆不一定意味著工作的損失。Janik 強調說，“需要許多專家來使人工智能的使用產生價值”。傳統(tǒng)的工作正在改變，由于新的豐富的可能性，令人興奮的新職業(yè)正在出現(xiàn)。她建議公司形成內部的 “能力中心”，可以培訓員工使用人工智能并形成捆綁式項目創(chuàng)意。在這樣做時，“應該考慮到舊寵的遷移”。

Janik 還強調，微軟不使用客戶的數(shù)據(jù)來訓練模型（然而，根據(jù)其 ChatGPT 政策，這一點至少在過去和現(xiàn)在不適用于他們的研究伙伴 OpenAI）。Janik 談到了 “民主化”——她承認這只是指這些模型在微軟產品范圍內的直接可用性，特別是通過在 Azure 平臺、Outlook 和 Teams 中整合人工智能而廣泛使用。