【ITBEAR科技資訊】1月26日消息，阿里云今日宣布在多模態大模型研究領域取得顯著進展。據透露，通義千問的視覺理解模型Qwen-VL已經進行了重要升級，繼之前的Plus版本后，再次推出了更為強大的Max版本。這一升級版模型在視覺推理和中文理解方面展現出了更為出色的能力，可以識別圖片中的人物、回答問題、進行創作以及編寫代碼。在多個權威測評中，Qwen-VL-Plus和Qwen-VL-Max均取得了優異成績，整體性能與GPT-4V和Gemini Ultra不相上下。
在各項評估中，Qwen-VL的兩個升級版模型表現搶眼。它們在MMMU、MathVista等測評中遠超業內其他開源模型，尤其在文檔分析(DocVQA)和中文圖像相關任務(MM-Bench-CN)上，更是超越了GPT-4V，達到了業界領先水平。這些模型不僅能夠準確描述和識別圖片中的信息，還能根據圖片內容進行推理和創作，甚至具備了對畫面指定區域進行問答的視覺定位能力。
在視覺推理方面，Qwen-VL-Plus和Qwen-VL-Max展現出了強大的能力。它們能夠理解流程圖等復雜形式的圖片，分析復雜圖標，并且能夠看圖做題、看圖作文、看圖寫代碼。在圖像文本處理方面，升級版Qwen-VL的中英文文本識別能力也得到了顯著提升，支持處理百萬像素以上的高清分辨率圖和極端寬高比的圖像，既能完整復現密集文本，也能從表格和文檔中提取所需信息。
Qwen-VL-Max看圖做題
據ITBEAR科技資訊了解，多模態是當前大模型領域最具共識的發展方向。過去半年來，OpenAI、谷歌等科技巨頭紛紛推出了自己的多模態模型。阿里云也在2023年8月發布了具備圖文理解能力的Qwen-VL模型，并將其開源。該模型在同期表現中遠超同等規模的通用模型，展現了強大的實力。
Qwen-VL-Max復現密集文本
視覺作為多模態能力中最重要的模態之一，占據了人類感知和認知世界信息的80%。通義千問的視覺語言模型基于通義千問LLM開發，通過將視覺表示學習模型與LLM對齊，為AI賦予了理解視覺信息的能力。這一創新在大語言模型的基礎上開辟了一扇視覺的“窗”，為AI帶來了更廣闊的應用前景。
與LLM相比，多模態大模型在應用方面擁有更大的想象力。研究者們正在探索將多模態大模型與自動駕駛場景相結合，為實現“完全自動駕駛”尋找新的技術路徑。同時，多模態模型還可以被部署到手機、機器人、智能音箱等端側設備中，讓智能設備能夠自動理解物理世界的信息。此外，基于多模態模型開發的應用還可以輔助視力障礙群體的日常生活，為他們提供更多的便利。
目前，Qwen-VL-Plus和Qwen-VL-Max已經限時免費開放給用戶使用。用戶可以在通義千問的官網和APP上直接體驗Max版本模型的能力，也可以通過阿里云的靈積平臺(DashScope)調用模型的API進行使用。
