摘要：2019年6月18日，京東AI研究院在美國長灘召開的計算機視覺頂級會議CVPR 2019上獲得視頻動作識別、商品圖片識別、精細粒度蝶類圖片識別3項學術比賽第一。
京東剛剛過完第16個“生日”，除了不斷攀升的GMV，以零售見長的京東在技術領域也頻傳捷報。2019年6月18日，京東AI研究院在美國長灘召開的計算機視覺頂級會議CVPR 2019上獲得3項學術比賽第一。這3項比賽分別為視頻動作識別、商品圖片識別，以及精細粒度蝶類圖片識別。此外，京東AI研究院還在多人人體解析、菜品類圖像識別競賽中獲得第二名，其中多人人體解析比賽是繼在2018年獲LIP單人及多人姿態估計賽道兩項第一后，再次獲獎。
*注：CVPR，即IEEE Conference on Computer Vision and Pattern Recognition的縮寫，即IEEE國際計算機視覺與模式識別會議。
CVPR 2019年開幕式
CVPR與ICCV、ECCV并稱為計算機視覺領域三大國際會議之一，相比2018年，本屆CVPR的論文提交數量增加了56%，但論文接收率卻下降了3.9%，可見論文入選難度加大。本次京東AI研究院在CVPR 2019上一共發表12篇論文，其中4篇論文還入選了oral presentation，而oral presentation的入選率只有5%，堪稱“皇冠上的明珠”。
CVPR 2019年論文數量相比2018年增加了 56%
自2017年2月宣布全面向技術轉型以來，京東一方面不斷以客戶為先，不斷挖掘用戶需求，大規模應用技術創新成果，不斷超越用戶的需求，另一方面不斷深耕技術，以專業化、系統化、組件化、開放化的方式，為京東及外部產業提供專業的技術能力。AI技術發展到今天，已經取得了諸多突破，各個產業都在張開懷抱，利用AI技術紅利，降本增效。京東得益于廣闊的場景優勢，將這些前沿的AI技術加以應用，目前技術轉型之路成果顯著。
2019年京東618累計下單金額達2015億元
在今年618期間，“拍照購”入口訂單金額是去年618期間的10倍，618當天更是去年618當天的12倍，人工智能技術的提升為拍照購的精準度、用戶體驗帶來跨越式的升級;618大促期間，京東在線智能客服提供的24小時全天候服務，在1-18日期間累積咨詢量超3200萬次;6月18日當天，智能客服獨立解決超130萬次自營類咨詢;NeuHub京東人工智能開放平臺全線升級，6月1日-18日NeuHub平臺累計調用量達到237.66億。
京東人工智能事業部副總裁、京東AI研究院副院長、計算機視覺與多媒體實驗室主任梅濤博士表示，我們會在計算機視覺方向上持續深耕，讓科研引領業務創新，大家很快也會看到京東AI業務團隊基于我們京東AI研究院技術成果的商業應用落地。
斬獲3項冠軍和2項亞軍，涵蓋計算機視覺多個方向視頻分析及理解
ActivityNet號稱視頻領域的ImageNet，它涵蓋動作識別、動作定位與檢測等多種視頻內容理解任務。其中視頻動作識別是最為核心、基礎的任務，能充分驗證大家對視頻理解所涉及的神經網絡結構以及訓練機制的優劣性，以及技術前沿性的重要指標。
ActivityNet視頻動作識別任務(Kinetics)由Google DeepMind組織，已連續舉辦三年，今年視頻數據量達到65萬，覆蓋700個以人為中心的動作行為類別，包含人與物體的交互動作，如演奏樂器，也包含人與人的交互，例如握手、擁抱等。這是視頻領域數據和參賽規模最大、影響力最廣、也是技術難度最大的比賽，今年總共有15支來自于美國卡耐基梅隆大學、百度、Facebook 人工智能研究院、上海交通大學 MVIG 實驗室等國際知名研究機構的參賽隊伍。
京東AI研究院在視頻動作識別競賽排名第一
眾多周知，傳統卷積操作往往只作用在局部而忽視了長時序的相關性，而且視頻信息的復雜性以及視頻內容在時間上長短不一，這種缺陷在視頻識別領域暴露的更加明顯。因此，京東AI研究院提出了一種新的框架，通過局部和全局特征傳播(LGD)學習視頻中的空間、時間特征。具體就是，構建了一個新的三維神經網絡結構，同步學習局部和全局的特征，該結構由基本的LGD模塊構成，其中每一個模塊通過兩個特征互相傳播來同時更新局部和全局特征。這種傳播操作有效地結合了局部和全局兩方面的信息，從而獲得了更加強大的視頻特征表達。
常規視頻動作
針對構建的三維神經網絡結構最終會得到局部和全局兩種特征，京東AI研究院進一步提出了基于該方法的分類器來綜合兩方面信息做出分類，最終這種構建方式得到的LGD網絡在常用的大規模視頻分類數據集Kinetics400和Kinetics600上分別達到了81.2%和82.7%的準確度，均超過了之前最好的視頻分類方法。在今年ActivityNet視頻動作識別任務(Kinetics)中也取得世界第一的領先水平。
未來落地應用方向：
ActivityNet視頻動作識別的突破再次彰顯了京東AI研究院在視頻內容理解這一重要技術領域中的世界領先水平。值得一提的是，京東 AI 已計劃將自主研發的這些優秀視頻動作識別能力應用于線下零售、安防、5G多媒體、娛樂等多個領域，旨在降低成本、提高效率、提升體驗。
圖像識別
京東AI研究院在精細圖像識別 (Fine-Grained Visual Categorization，以下簡稱FGVC) 學術比賽中獲得2項冠軍、1項亞軍。FGVC學術競賽目前已經舉辦了六屆，是計算機視覺領域中最為權威的精細圖像識別比賽。此次比賽中，京東AI研究院分別在商品圖片識別和蝶類圖片識別的競賽中獲得第一名，其中在商品圖片識別競賽中戰勝了美團點評和東信北郵。此外，京東AI研究院在菜品類圖像識別中取得了第二名。
京東AI研究院在商品圖片識別競賽排名第一
其中商品圖像識別比賽由碼隆科技、Google Research、FGVC6 Workshop@CVPR2019 聯合主辦。比賽共涵蓋2019類SKU超過一百萬圖像數據，是 CVPR 迄今數據規模最大、種類最多的商品識別競賽。兩個月的賽程中，全球共有96支隊伍、152位選手通過1600次提交參加了競賽。商品數量龐大、品類眾多，許多品類之間的區別十分微小，且訓練數據均直接源自各大電商網站，包含大量噪聲數據。
京東AI研究院在蝶類圖片識別競賽排名第一
本次比賽中京東AI研究院所采用的技術方案是基于自研的全新精細圖像分類算法，該算法通過對原始圖像輸入按塊進行打亂，進而“破壞”圖像中的結構信息，然后訓練神經網絡識別被 “破壞” 局部區域順序的圖像，強迫神經網絡抓住重點視覺區域，增強網絡對具有區分度局部細節的特征學習能力。
京東AI研究院在菜品類圖像識別競賽排名第二
針對“破壞”后圖像中引入的噪聲視覺信息，京東AI提出了一種基于對抗的損失函數，將神經網絡中的視覺特征加以區分，進一步凸顯出有價值的、重點的視覺特征。最后，再讓神經網絡對“破壞“后的圖像進行重構，增強神經網絡對不同局部視覺特征之間的語義相關性的建模能力。
商品數量龐大、品類眾多，許多品類之間的區別十分微小
蝶類種類數龐大，人眼難以區分
該方法在訓練時不依賴額外標注信息(如特定位置標注)，在測試時不增加額外的計算開銷即可顯著提升分類準確率。該項技術的另外一個主要特點是在新增加非常少量參數的情況下就可以較大提升分類模型性能，且已經被證明可以有效應用到包括ResNet, ResNeXT, SENet, VGGNet在內的多種主流分類模型。該研究成果的相關論文《Destruction and Construction Learning for Fine-grained Image Recognition》已經被CVPR2019會議錄用。
未來落地應用方向：
眾所周知，商品識別技術被認為是線上、線下智能零售的重要基礎。本學術比賽中所使用的圖像分類技術將有望在近期應用到京東拍照購商品識別，以及京東Circle-K商品自動結算臺中，從而進一步發揮京東AI研究院的技術優勢，助力產品性能提升。
人體解析
在CVPR 2019 LIP 全球競賽中，京東AI研究院還在多人人體解析比賽中獲得第二名，這也是在2018年獲得LIP單人及多人姿態估計賽道兩項第一后，持續在排名榜上保持技術領先的競爭力。
多人人體解析競賽單元的任務是分割圖片中不同實例人體的19個身體部位及著裝(如臉、外套、手臂等)。
京東AI研究院在多人人體解析競賽排名第二
針對人體解析任務中類別易混淆、目標類別小、遮擋嚴重、姿勢和視角多樣等挑戰，京東AI研究院提出了BraidNet神經網絡模型，有效融合高低分辨率特征圖，輸出高精度的分割結果。此外，還提出了基于度量學習的Pairwise Hard Region Embedding訓練策略，有效的區分易混淆類別。最終，融合了DeepLab、HRNet等經典分割模型，獲得了多人人體解析競賽單元的亞軍。
未來落地應用方向：
人體解析任務在搭配購、拍照購、時尚推薦、虛擬試衣等應用中具有非常重要的意義，為這些應用提供基礎算法。
京東AI研究院CVPR 2019論文精選
京東AI研究院論文Poster受到熱烈追捧
《ScratchDet: Exploring to Train Single-Shot Object Detectors from Scratch》這篇入選CVPR 2019的Oral論文，從優化的角度出發，通過實驗解釋了梯度穩定手段之一的BatchNorm是如何幫助隨機初始化訓練檢測器，進而結合了ResNet與VGGNet來加強對小物體的檢測。然后分析其他幾篇做過隨機初始化訓練檢測器的論文，通過實驗細節總結出隨機初始化訓練檢測器的必要條件。
在物體檢測任務中，通常會使用在 ImageNet 分類數據集上預訓練好的分類模型來進行檢測任務的微調。然而這樣做會有一些限制：
(1)限制了用于特征提取的網絡結構，檢測任務更關注小物體，而分類任務所涉及的網絡絕大多數沒有關注到小物體。
(2)分類與檢測是不同的任務：ImageNet 分類數據集是單圖單物體，而常見的檢測數據集是多圖多物體。
為此，通過找到一種能夠不使用預訓練模型來隨機初始化訓練檢測器的方法，同時保證訓練穩定收斂，檢測結果和使用預訓練模型相似。通過大量實驗發現，批歸一化方法能夠使檢測任務的優化空間更加平滑，梯度更加穩定，從而可以使用更大的步長來進行訓練迭代，最終使隨機初始化訓練能夠穩定收斂并且有較好的結果。在此之上，我們可以任意改動特征提取網絡來設計適用于小物體檢測的結構。我們分析了 VGGNet 與 ResNet 在 SSD300 檢測框架上的性能差異，得出了網絡第一層的下采樣步長對于小物體檢測非常關鍵。如果直接對原圖進行下采樣，會損失許多小物體的位置信息。
因此我們設計了 Root-ResNet，結合 VGGNet 與 ResNet 的優點，取消第一層的下采樣步長。最終 Root-ResNet 基于 SSD300 框架，在 PASCAL VOC 2007 與 2012，MS COCO 數據集上都取得了較好的結果，尤其是在小物體檢測上。
京東AI研究院全部被接受論文列表如下：
? ScratchDet: Exploring to Train Single-Shot Object Detectors from Scratch
? Social Relation Recognition from Videos via Multi-scale Spatial-Temporal Reasoning
? Object-driven Text-to-Image Synthesis via Adversarial Training
? A Dataset and Benchmark for Large-scale Multi-modal Face Anti-Spoofing
? Destruction and Construction Learning for Fine-grained Image Recognition
? Unsupervised Person Image Generation with Semantic Parsing Transformation
? Gaussian Temporal Awareness Networks for Action Localization
? Learning Spatio-Temporal Representation with Local and Global Diffusion
? Exploring Object Relation in Mean Teacher for Cross-Domain Detection
? Customizable Architecture Search for Semantic Segmentation
? Pointing Novel Objects in Image Captioning
? Transferrable Prototypical Networks for Unsupervised Domain Adaptation
