蘋果公司與哥倫比亞大學(xué)攜手，近期推出了一款名為SceneScout的人工智能導(dǎo)航助手，專為盲人及視力受限群體設(shè)計(jì)，旨在提升他們的日常出行體驗(yàn)。
這款創(chuàng)新系統(tǒng)整合了蘋果地圖API與基于GPT-4內(nèi)核的多模態(tài)大語言模型，能夠根據(jù)用戶的具體需求，生成詳盡且個(gè)性化的環(huán)境描述。盡管相關(guān)研究成果已在預(yù)印平臺arXiv上公布，但尚未正式通過同行評審。
SceneScout的核心功能涵蓋路線預(yù)覽與虛擬探索兩大模塊。前者使用戶能夠在出發(fā)前預(yù)先了解行程中的道路狀況，包括人行道質(zhì)量、交叉口特征、附近公交站點(diǎn)等信息，這些信息對盲人用戶來說至關(guān)重要，有助于他們更好地規(guī)劃出行路線。
虛擬探索功能則允許用戶根據(jù)實(shí)際需求，自由探索開放場景。例如，用戶可詢問系統(tǒng)關(guān)于“附近公園附近的安靜居住區(qū)”的信息，系統(tǒng)便會依據(jù)請求，提供詳盡的方向指引。SceneScout通過模擬行人視角解讀周圍景象，并以結(jié)構(gòu)化的文本形式輸出，支持多種長度的描述，適配多種讀屏軟件，確保盲人用戶能夠輕松閱讀。
在測試階段，SceneScout邀請了10名具有科技背景的視障用戶進(jìn)行體驗(yàn)。測試結(jié)果顯示，AI生成的描述中，有72%被認(rèn)為是準(zhǔn)確的。用戶對于虛擬探索功能的反饋尤為積極，認(rèn)為這一創(chuàng)新方式有效替代了傳統(tǒng)信息獲取手段，極大地便利了他們的日常出行。
