11 月 18 日消息，昨日，上海人工智能實(shí)驗(yàn)室聯(lián)合商湯科技 SenseTime、香港中文大學(xué)、上海交通大學(xué)共同發(fā)布新一代通用視覺技術(shù)體系“書生”(INTERN)，該體系旨在系統(tǒng)化解決當(dāng)下人工智能視覺領(lǐng)域中存在的任務(wù)通用、場(chǎng)景泛化和數(shù)據(jù)效率等一系列瓶頸問題。
▲ 圖源：上海人工智能實(shí)驗(yàn)室
目前，技術(shù)報(bào)告《INTERN: A New Learning Paradigm Towards General Vision》已在 arXiv 平臺(tái)發(fā)布，基于“書生”的通用視覺開源平臺(tái) OpenGVLab 也將在明年年初正式開源，向?qū)W術(shù)界和產(chǎn)業(yè)界公開預(yù)訓(xùn)練模型及其使用范式、數(shù)據(jù)系統(tǒng)和評(píng)測(cè)基準(zhǔn)等。
根據(jù)相關(guān)技術(shù)報(bào)告，一個(gè)“書生”基模型即可全面覆蓋分類、目標(biāo)檢測(cè)、語(yǔ)義分割、深度估計(jì)四大視覺核心任務(wù)。
上海人工智能實(shí)驗(yàn)室表示，相較于當(dāng)前最強(qiáng)開源模型(OpenAI 于 2021 年發(fā)布的 CLIP)，“書生”在準(zhǔn)確率和數(shù)據(jù)使用效率上均取得大幅提升。具體而言，基于同樣的下游場(chǎng)景數(shù)據(jù)，“書生”在分類、目標(biāo)檢測(cè)、語(yǔ)義分割及深度估計(jì)四大任務(wù) 26 個(gè)數(shù)據(jù)集上的平均錯(cuò)誤率分別降低了 40.2%、47.3%、34.8% 和 9.4%。
通用視覺技術(shù)體系“書生”(INTERN)由七大模塊組成，包括通用視覺數(shù)據(jù)系統(tǒng)、通用視覺網(wǎng)絡(luò)結(jié)構(gòu)、通用視覺評(píng)測(cè)基準(zhǔn)三個(gè)基礎(chǔ)設(shè)施模塊，以及區(qū)分上下游的四個(gè)訓(xùn)練階段模塊。
