近日,國內企業聯匯科技OmAgent開源智能體核心模型OmDet-Turbo模型憑借在技術領域的算法創新和卓越性能,正式收錄進入Transformers。OmDet-Turbo模型開源項目自在GitHub發布以來,迅速獲得了業界的廣泛認可與好評,目前在已在GitHub獲得了超1500 star。
Transformers庫是由Hugging Face公司維護的開源項目,它提供了豐富的預訓練模型和工具,被全球數百萬開發者用于自然語言處理和其他機器學習任務。本次OmDet-Turbo模型憑借其高效的目標檢測能力和出色的算法優化與在實際應用中的高效、穩定,獲得Transformers官方青睞。
隨著正式收錄進Transformers,這一先進目標檢測技術將為全球的研究人員和開發提供更加強大和便捷的開放技術,為深度學習和計算機視覺任務領域的技術創新與進步提供了強大的算法支持。
了解OmDet-Turbo
OmDet-Turbo 是一種實時的 transformer-based 開放詞表目標檢測大模型,結合了強大的 OVD 能力和快速的推理速度。該模型通過引入高效融合頭(Efficient Fusion Head, EFH)模塊,顯著降低了特征編碼和多模態融合的計算復雜性,同時保持了良好的泛化能力和檢測精度。
具體來說,EFH 使用高效的語言感知編碼器(ELA-Encoder)和解碼器(ELA-Decoder)來替代傳統的重型編碼器和 ROIAlign 模塊,從而實現更高效的視覺-語言融合。OmDet-Turbo 在 COCO 和 LVIS 數據集上的零樣本檢測性能接近當前最先進的監督模型,并在 ODinW 和 OVDEval 數據集上創下了新的性能基準,分別達到了 30.1 和 26.86 的 AP 分數。此外,OmDet-Turbo-Base 在 A100 GPU 上的推理速度可以達到 100.2 FPS,展示了其在實際應用中的卓越性能,解決了OVD模型在實際應用中的推理速度慢的痛點。OmDet-Turbo 通過創新的架構設計和高效的計算方法,成為實時目標檢測任務中的一個強力選擇。
OmDet-Turbo開源項目將在未來開源更多、更強的模型,敬請關注聯匯GitHub項目,獲取最新動態和資源。github開源倉庫搜索OmDet即可體驗。
