人工智能安全峰會
2023年11月07日首屆人工智能安全峰會發(fā)布《布萊奇利宣言》
首屆人工智能安全峰會于日前在英國布萊奇利園舉行，峰會發(fā)布《布萊奇利宣言》。為期兩天的峰會，美國、英國、歐盟、中國、印度等多方代表就人工智能技術(shù)快速發(fā)展帶來的風(fēng)險與機(jī)遇展開了討論。
人工智能安全嗎？一直縈繞在公眾的心頭，最典型的《我，機(jī)器人》電影里的光頭還歷歷在目。人工智能是否安全就看他的信息流是不是干凈，指令信息，邏輯判斷信息的正確性。
目前的人工智能設(shè)備或者裝備沒有達(dá)到這些光頭的水平，觸發(fā)的事件的影響度還沒有那么大，但足以讓相關(guān)機(jī)構(gòu)損失巨大的金錢財產(chǎn)。曾幾何時數(shù)據(jù)直接成了病毒，時代發(fā)展人工智能流行市面，是非曲直，人類思想道路更是需要嚴(yán)格把關(guān)，知識安全，數(shù)據(jù)安全，人工智能才能安全。人工智能的安全問題很多，今天我們專門聊聊，最基礎(chǔ)的“數(shù)據(jù)投毒”！
- 數(shù)據(jù)投毒事件一：
2016年曾經(jīng)發(fā)生過一起真實(shí)的數(shù)據(jù)投毒事件。當(dāng)年微軟發(fā)布了一款聊天機(jī)器人Tay，原本是一項(xiàng)有趣的實(shí)驗(yàn)，旨在通過與網(wǎng)友對話學(xué)習(xí)人際交往技巧。然而，這個實(shí)驗(yàn)在不到24小時內(nèi)轉(zhuǎn)變?yōu)橐粓鲐瑝簟ay很快從一個友好、有趣的機(jī)器人變成了一個滿嘴臟話、充滿歧視和偏見的人工智能。原因是一些不良分子惡意濫用了這一機(jī)會，用不適當(dāng)?shù)难赞o對Tay進(jìn)行訓(xùn)練，導(dǎo)致對話數(shù)據(jù)集被污染。最終微軟被迫緊急下線Tay，以制止它繼續(xù)學(xué)習(xí)和傳播不當(dāng)內(nèi)容。
- 數(shù)據(jù)投毒事件二：
來源: 網(wǎng)絡(luò)輿情分析師考培基地
2023年10月16日，有家長發(fā)現(xiàn)在科大訊飛的學(xué)習(xí)機(jī)中，一篇標(biāo)題為《藺相如》作文含有詆毀偉人、扭曲歷史等違背主流價值觀的內(nèi)容。有自媒體稱，這是一篇早在2015年就發(fā)布于互聯(lián)網(wǎng)的文章，后由第三方引入“訊飛學(xué)習(xí)機(jī)”，但是科大訊飛未能發(fā)現(xiàn)并刪除，直到事發(fā)前仍能在學(xué)習(xí)機(jī)文庫中搜索到的上述問題作文。
10月24日下午，科大訊飛（002230.SZ）股價跳水跌停。截至收盤，報46.7元/股，成交額超53億元，總市值蒸發(fā)約120億元。
這是兩個近期的數(shù)據(jù)投毒案例。還有“毒教材”事件也難逃同樣的謀劃操作，對人工智能的數(shù)據(jù)投毒，對人類思想的意識投毒，細(xì)思極恐，手法一致……
誠然，在數(shù)字化的世界里，數(shù)據(jù)被譽(yù)為“新的石油”，其價值不言而喻。然而，隨著機(jī)器學(xué)習(xí)模型的廣泛應(yīng)用，一種新型的攻擊方式——數(shù)據(jù)投毒，正在悄然興起。數(shù)據(jù)投毒，是指有意或惡意地向數(shù)據(jù)集中引入虛假、惡意或有害的數(shù)據(jù)，利用訓(xùn)練或者微調(diào)（fine-tuning）過程使得模型中毒，以操縱、損害或欺騙機(jī)器學(xué)習(xí)模型的性能和輸出結(jié)果。
通過一個實(shí)際的例子來解釋什么是數(shù)據(jù)投毒，假設(shè)我們有一個機(jī)器學(xué)習(xí)模型，這個模型的任務(wù)是區(qū)分照片中的貓和狗。我們用數(shù)千張標(biāo)記有“貓”和“狗”的圖片來訓(xùn)練這個模型。訓(xùn)練完成后，當(dāng)我們輸入一張新的圖片時，模型可以告訴我們這張照片里是貓還是狗。
現(xiàn)在，假設(shè)一個攻擊者想要破壞我們的模型。他開始增加一些標(biāo)簽不準(zhǔn)確的圖片到訓(xùn)練集中，例如，他增加了一些實(shí)際上是貓的圖片，但是給它們標(biāo)記為“狗”。這就是數(shù)據(jù)投毒。
然后，當(dāng)我們再次使用這個“被投毒”的數(shù)據(jù)集訓(xùn)練模型時，模型就會開始混淆，因?yàn)檫@些錯誤的標(biāo)簽會導(dǎo)致模型在真實(shí)場景中的表現(xiàn)下降。例如，當(dāng)我們輸入一張貓的照片時，模型可能會錯誤地識別為狗。這就是數(shù)據(jù)投毒的效果。
這種情況在實(shí)際的應(yīng)用中可能會造成嚴(yán)重的問題。比如，在自動駕駛汽車的場景下，如果訓(xùn)練數(shù)據(jù)被投毒，導(dǎo)致模型無法正確區(qū)分行人和非行人，那么可能會造成嚴(yán)重的安全問題。或者在金融防欺詐系統(tǒng)中，如果模型被訓(xùn)練成將欺詐行為誤判為正常行為，那么就會導(dǎo)致大量的經(jīng)濟(jì)損失。
因此，確保訓(xùn)練數(shù)據(jù)的質(zhì)量和準(zhǔn)確性，以及防止數(shù)據(jù)投毒攻擊，對于任何使用機(jī)器學(xué)習(xí)的系統(tǒng)來說都是非常重要的。
數(shù)據(jù)投毒的根源可以追溯到人類對數(shù)據(jù)和機(jī)器學(xué)習(xí)模型的依賴。在許多領(lǐng)域，如醫(yī)療、金融和安全，機(jī)器學(xué)習(xí)模型被用來處理重要的任務(wù)，如疾病診斷、股票交易和威脅檢測。然而，這些模型的設(shè)計和訓(xùn)練往往受到數(shù)據(jù)質(zhì)量的影響。如果數(shù)據(jù)被污染，那么模型的結(jié)果就可能受到誤導(dǎo)。
惡意的數(shù)據(jù)投毒可以造成嚴(yán)重的后果。例如，如果一個醫(yī)療診斷模型被投毒，那么可能會錯誤地診斷出本來健康的病人，導(dǎo)致不必要的治療甚至死亡。如果一個金融模型被投毒，可能會導(dǎo)致錯誤的投資決策，造成巨大的經(jīng)濟(jì)損失。因此，數(shù)據(jù)投毒已經(jīng)成為一個不可忽視的安全問題。
然而，數(shù)據(jù)投毒并非無解。通過加強(qiáng)數(shù)據(jù)管理，提高數(shù)據(jù)質(zhì)量，以及使用更為復(fù)雜的模型和算法，可以有效地防止和減輕數(shù)據(jù)投毒攻擊。同時，我們也需要提高公眾對數(shù)據(jù)投毒的認(rèn)識，讓更多的人了解到這種攻擊的嚴(yán)重性，從而共同抵御這種新型的網(wǎng)絡(luò)攻擊。
總的來說，數(shù)據(jù)投毒是一種新型的、復(fù)雜的網(wǎng)絡(luò)攻擊方式，其影響深遠(yuǎn)且難以預(yù)防。然而，只要我們提高了警惕，采取了有效的措施，就可以有效地防止和減輕這種攻擊帶來的危害。在未來的日子里，我們需要更加深入地研究和探討如何防止和應(yīng)對數(shù)據(jù)投毒攻擊，以確保我們的數(shù)字世界能夠更加安全、公正、公平。
