近期，中國金融認證權威機構中金金融認證中心（CFCA）攜手中國銀聯云計算中心，針對人工智能（AI）安全領域開展了一項前沿性研究。這項研究揭示了聯網AI助手在使用中可能潛藏的新型安全漏洞，對用戶信息保護及業務系統的安全性構成潛在風險。
研究顯示，當AI大模型助手開啟聯網搜索功能后，在特定情境下，可能會向用戶返回含有隱蔽惡意代碼的信息。這些惡意代碼如同“暗雷”，在用戶不經意間觸發，可能導致信息泄露或系統受損。CFCA因此向廣大用戶，特別是軟件開發者發出了安全預警，提醒大家在使用AI助手時保持高度警覺。
具體而言，攻擊者會事先在特定領域“布雷”，即構造含有隱蔽內容的惡意信息。一旦用戶向AI助手提出與這些內容相關的問題，AI助手可能會在無意識的情況下返回包含惡意指令或代碼的回答。這些代碼能夠誘導用戶下載并執行病毒程序，特別是在AI用于代碼生成、系統命令操作等高風險場景中，其威脅尤為顯著。值得注意的是，盡管此次研究僅停留在技術驗證階段，未實際傳播病毒或影響真實用戶，但已充分表明聯網AI助手普遍存在此類安全隱患。
CFCA特別強調，用戶在使用AI助手處理代碼編寫、執行系統命令等敏感任務時，應進行人工復核，避免過度依賴AI生成的內容，從而防范潛在的安全風險。
近年來，AI技術的飛速發展，特別是在輔助代碼編寫、提升開發效率方面，展現了巨大的潛力。然而，開發者在享受AI帶來的便捷與高效的同時，也必須堅守軟件工程的基本原則。需求分析、設計、編碼、代碼審查、測試以及安全評估等環節，在AI輔助開發的新時代不僅不應被忽視，反而應當得到進一步加強。
CFCA指出，嚴謹的需求分析、細致的設計規劃、規范的編碼實踐、嚴格的代碼審查流程、充分的單元測試與集成測試，以及持續的安全評估，這些軟件工程的基石，在AI技術的浪潮中仍然至關重要。開發者應當在擁抱AI的同時，繼續堅持并強化這些科學方法與原則，以確保軟件系統的安全性與可靠性。
研究團隊還建議，AI助手的開發者應加強對返回內容的監控與過濾，采用先進的安全技術，如深度學習模型檢測惡意代碼，以及建立應急響應機制，以應對潛在的安全威脅。
總之，隨著AI技術的廣泛應用，其安全性問題日益凸顯。CFCA與中國銀聯云計算中心的這項研究，為行業提供了寶貴的警示，提醒廣大用戶在享受AI帶來的便利時，務必保持警惕，加強安全防護。
