馬斯克發布Grok-1.5V xAI首款多模態大模型能看圖寫程式碼、算熱量

剛剛馬斯克的大模型創企xAI推出了其首款多模態大模型Grok-1.5V。這是OpenAI的大語言模式勁敵之一。如今除了文字功能外，Grok現在還可以處理各種各樣的視覺訊息，包括文件、圖表、螢幕截圖、照片，並能進行多學科推理。

xAI重點展示了Grok-1.5V的7個範例範例，包括：將手繪圖表轉換成Python程式碼、看食品標籤計算卡路里、根據孩子的繪畫講個睡前故事、解釋梗圖、將表格轉換成csv格式、為生活日常問題答疑解惑、解決程式碼問題。至此xAI正式加入多模態大模型的競賽。

與GPT-4V、Claude 3 Sonnet、Claude 3 Opus、Gemini Pro 1.5相比，Grok-1.5V的表現不相上下，在一些測試中略勝一籌。

尤其是在RealWorld，用於衡量真實世界空間理解能力的QA測試中，Grok明顯優於同類模型。 xAI團隊對Grok理解物理世界的能力感到特別興奮。對於上面的資料集，團隊在沒有思維鏈提示的情況下在零樣本設定中評估Grok。

xAI宣布向社群發布RealWorldQA測試，並計劃隨著其多模態模型的改進而擴展它。 RealWorldQA在CC BY-ND 4.0下發布，資料集大小為677MB。初版RealWorldQA由700多張圖片組成，每張圖片都有一個問題和易於驗證的答案。該資料集包括從汽車上拍攝的匿名影像，以及其他真實世界的影像。 xAI放出了4個範例，其中有兩張圖都是由汽車前置鏡頭拍攝的。

xAI團隊認為推進其多模態理解和生成能力是建構能夠理解宇宙的有益AGI的重要步驟。在接下來的幾個月裡xAI預計將在影像、音訊、視訊等各種模態上對這兩種功能進行重大改進。

同時xAI也貼出招募，邀請更多設計師、工程師、產品、數據、Infra、AI導師加入。

消息來源ˊ