人工智能安全峰會
2023年11月07日首屆人工智能安全峰會發(fā)布《布萊奇利宣言》
首屆人工智能安全峰會于日前在英國布萊奇利園舉行,峰會發(fā)布《布萊奇利宣言》。為期兩天的峰會,美國、英國、歐盟、中國、印度等多方代表就人工智能技術快速發(fā)展帶來的風險與機遇展開了討論。
人工智能安全嗎?一直縈繞在公眾的心頭,最典型的《我,機器人》電影里的光頭還歷歷在目。人工智能是否安全就看他的信息流是不是干凈,指令信息,邏輯判斷信息的正確性。
目前的人工智能設備或者裝備沒有達到這些光頭的水平,觸發(fā)的事件的影響度還沒有那么大,但足以讓相關機構(gòu)損失巨大的金錢財產(chǎn)。曾幾何時數(shù)據(jù)直接成了病毒,時代發(fā)展人工智能流行市面,是非曲直,人類思想道路更是需要嚴格把關,知識安全,數(shù)據(jù)安全,人工智能才能安全。人工智能的安全問題很多,今天我們專門聊聊,最基礎的“數(shù)據(jù)投毒”!
- 數(shù)據(jù)投毒事件一:
2016年曾經(jīng)發(fā)生過一起真實的數(shù)據(jù)投毒事件。當年微軟發(fā)布了一款聊天機器人Tay,原本是一項有趣的實驗,旨在通過與網(wǎng)友對話學習人際交往技巧。然而,這個實驗在不到24小時內(nèi)轉(zhuǎn)變?yōu)橐粓鲐瑝簟ay很快從一個友好、有趣的機器人變成了一個滿嘴臟話、充滿歧視和偏見的人工智能。原因是一些不良分子惡意濫用了這一機會,用不適當?shù)难赞o對Tay進行訓練,導致對話數(shù)據(jù)集被污染。最終微軟被迫緊急下線Tay,以制止它繼續(xù)學習和傳播不當內(nèi)容。
- 數(shù)據(jù)投毒事件二:

來源: 網(wǎng)絡輿情分析師考培基地
2023年10月16日,有家長發(fā)現(xiàn)在科大訊飛的學習機中,一篇標題為《藺相如》作文含有詆毀偉人、扭曲歷史等違背主流價值觀的內(nèi)容。有自媒體稱,這是一篇早在2015年就發(fā)布于互聯(lián)網(wǎng)的文章,后由第三方引入“訊飛學習機”,但是科大訊飛未能發(fā)現(xiàn)并刪除,直到事發(fā)前仍能在學習機文庫中搜索到的上述問題作文。
10月24日下午,科大訊飛(002230.SZ)股價跳水跌停。截至收盤,報46.7元/股,成交額超53億元,總市值蒸發(fā)約120億元。
這是兩個近期的數(shù)據(jù)投毒案例。還有“毒教材”事件也難逃同樣的謀劃操作,對人工智能的數(shù)據(jù)投毒,對人類思想的意識投毒,細思極恐,手法一致……
誠然,在數(shù)字化的世界里,數(shù)據(jù)被譽為“新的石油”,其價值不言而喻。然而,隨著機器學習模型的廣泛應用,一種新型的攻擊方式——數(shù)據(jù)投毒,正在悄然興起。數(shù)據(jù)投毒,是指有意或惡意地向數(shù)據(jù)集中引入虛假、惡意或有害的數(shù)據(jù),利用訓練或者微調(diào)(fine-tuning)過程使得模型中毒,以操縱、損害或欺騙機器學習模型的性能和輸出結(jié)果。
通過一個實際的例子來解釋什么是數(shù)據(jù)投毒,假設我們有一個機器學習模型,這個模型的任務是區(qū)分照片中的貓和狗。我們用數(shù)千張標記有“貓”和“狗”的圖片來訓練這個模型。訓練完成后,當我們輸入一張新的圖片時,模型可以告訴我們這張照片里是貓還是狗。
現(xiàn)在,假設一個攻擊者想要破壞我們的模型。他開始增加一些標簽不準確的圖片到訓練集中,例如,他增加了一些實際上是貓的圖片,但是給它們標記為“狗”。這就是數(shù)據(jù)投毒。
然后,當我們再次使用這個“被投毒”的數(shù)據(jù)集訓練模型時,模型就會開始混淆,因為這些錯誤的標簽會導致模型在真實場景中的表現(xiàn)下降。例如,當我們輸入一張貓的照片時,模型可能會錯誤地識別為狗。這就是數(shù)據(jù)投毒的效果。
這種情況在實際的應用中可能會造成嚴重的問題。比如,在自動駕駛汽車的場景下,如果訓練數(shù)據(jù)被投毒,導致模型無法正確區(qū)分行人和非行人,那么可能會造成嚴重的安全問題。或者在金融防欺詐系統(tǒng)中,如果模型被訓練成將欺詐行為誤判為正常行為,那么就會導致大量的經(jīng)濟損失。
因此,確保訓練數(shù)據(jù)的質(zhì)量和準確性,以及防止數(shù)據(jù)投毒攻擊,對于任何使用機器學習的系統(tǒng)來說都是非常重要的。
數(shù)據(jù)投毒的根源可以追溯到人類對數(shù)據(jù)和機器學習模型的依賴。在許多領域,如醫(yī)療、金融和安全,機器學習模型被用來處理重要的任務,如疾病診斷、股票交易和威脅檢測。然而,這些模型的設計和訓練往往受到數(shù)據(jù)質(zhì)量的影響。如果數(shù)據(jù)被污染,那么模型的結(jié)果就可能受到誤導。
惡意的數(shù)據(jù)投毒可以造成嚴重的后果。例如,如果一個醫(yī)療診斷模型被投毒,那么可能會錯誤地診斷出本來健康的病人,導致不必要的治療甚至死亡。如果一個金融模型被投毒,可能會導致錯誤的投資決策,造成巨大的經(jīng)濟損失。因此,數(shù)據(jù)投毒已經(jīng)成為一個不可忽視的安全問題。
然而,數(shù)據(jù)投毒并非無解。通過加強數(shù)據(jù)管理,提高數(shù)據(jù)質(zhì)量,以及使用更為復雜的模型和算法,可以有效地防止和減輕數(shù)據(jù)投毒攻擊。同時,我們也需要提高公眾對數(shù)據(jù)投毒的認識,讓更多的人了解到這種攻擊的嚴重性,從而共同抵御這種新型的網(wǎng)絡攻擊。
總的來說,數(shù)據(jù)投毒是一種新型的、復雜的網(wǎng)絡攻擊方式,其影響深遠且難以預防。然而,只要我們提高了警惕,采取了有效的措施,就可以有效地防止和減輕這種攻擊帶來的危害。在未來的日子里,我們需要更加深入地研究和探討如何防止和應對數(shù)據(jù)投毒攻擊,以確保我們的數(shù)字世界能夠更加安全、公正、公平。