專注于人工智能技術創新的科技周報Import AI,長期關注并報道科技領域的重要事件。在最近一期周報中,碼隆科技自研的CurriculumNet算法在計算機視覺技術創新領域的應用獲得了Import AI的關注。
作為數萬名業內專家的重要讀物,Import AI一直專注于人工智能技術創新領域。其作者Jack Clark為OpenAI現任戰略及傳播總監,曾任Bloomberg唯一一位專注于神經網絡學習領域的記者。OpenAI是眾多硅谷大亨聯合建立的人工智能非盈利組織,在技術界有廣泛影響力。
如下是報道的中文譯文:
中國計算機視覺創業公司碼隆科技于近期開源了基于弱監督學習的CurriculumNet代碼和模型。CurriculumNet是一種可通過從互聯網上收集大量帶有噪聲標簽的數據來訓練出一個魯棒性很強的深度神經網絡模型技術,這一方法對那些缺少大型已標注數據集的研究人員十分有幫助。但是,這種從互聯網上按照標簽語義收集來的數據往往帶有大量噪聲。因此,若要在這些數據上訓練出高性能的深度神經網絡模型,研究人員需要面臨著從噪聲中提取足夠多有用信息的挑戰。
CurriculumNet:研究人員在WebVision數據庫上訓練他們的模型結構,該數據庫包含了超過2,400,000張帶有噪聲標簽的圖像。他們的方法是在整個數據集上訓練一個Inception_v2模型,之后研究所有圖像映射到的特征空間;此后,CurriculumNet將這些圖像分組,根據特征空間中所有圖像的相似程度將每個類聚成三個子集。接著,他們開始使用具有相似圖像特征的子集用于模型訓練,再混合到噪聲較大的子集中訓練。通過高質量的標注數據迭代學習分類器,隨后添加具有噪聲的數據來加強分類器,研究人員表示這種增加噪聲數據訓練的方式不僅能提高模型的性能還能增強其泛化能力。
測試效果:研究員用CurriculumNet測試了四個基準:WebVision、ImageNet、Clothing1M和Food101。他們發現,使用最大量的噪聲數據訓練的系統比那些沒有噪聲數據訓練的系統甚至有著更高的準確度。這一方法使WebVision上的錯誤率減少了多個百分點(“這些進步對于如此大規模的挑戰是至關重要的,”研究人員表示)。更進一步,CurriculumNet在WebVision上的準確度最高,而且訓練數據越多(例如結合ImageNet和WebVision的數據集進行訓練時),性能越好。
碼隆科技在四個公開數據集中的實驗結果
訓練模型在WebVision和ImageNet上合集的效果
技術意義:類似于CurriculumNet的系統很好地展示了研究人員可以如何利用標注不佳的數據,結合前沿訓練理念來,提高低質量標注數據的價值。這樣的方法就類似于在自然資源中提取有用物質時所采取的“萃取”手法,很有現實意義。
