人工智能安全峰會(huì)
2023年11月07日首屆人工智能安全峰會(huì)發(fā)布《布萊奇利宣言》
首屆人工智能安全峰會(huì)于日前在英國(guó)布萊奇利園舉行，峰會(huì)發(fā)布《布萊奇利宣言》。為期兩天的峰會(huì)，美國(guó)、英國(guó)、歐盟、中國(guó)、印度等多方代表就人工智能技術(shù)快速發(fā)展帶來(lái)的風(fēng)險(xiǎn)與機(jī)遇展開(kāi)了討論。
人工智能安全嗎？一直縈繞在公眾的心頭，最典型的《我，機(jī)器人》電影里的光頭還歷歷在目。人工智能是否安全就看他的信息流是不是干凈，指令信息，邏輯判斷信息的正確性。
目前的人工智能設(shè)備或者裝備沒(méi)有達(dá)到這些光頭的水平，觸發(fā)的事件的影響度還沒(méi)有那么大，但足以讓相關(guān)機(jī)構(gòu)損失巨大的金錢(qián)財(cái)產(chǎn)。曾幾何時(shí)數(shù)據(jù)直接成了病毒，時(shí)代發(fā)展人工智能流行市面，是非曲直，人類思想道路更是需要嚴(yán)格把關(guān)，知識(shí)安全，數(shù)據(jù)安全，人工智能才能安全。人工智能的安全問(wèn)題很多，今天我們專門(mén)聊聊，最基礎(chǔ)的“數(shù)據(jù)投毒”！
- 數(shù)據(jù)投毒事件一：
2016年曾經(jīng)發(fā)生過(guò)一起真實(shí)的數(shù)據(jù)投毒事件。當(dāng)年微軟發(fā)布了一款聊天機(jī)器人Tay，原本是一項(xiàng)有趣的實(shí)驗(yàn)，旨在通過(guò)與網(wǎng)友對(duì)話學(xué)習(xí)人際交往技巧。然而，這個(gè)實(shí)驗(yàn)在不到24小時(shí)內(nèi)轉(zhuǎn)變?yōu)橐粓?chǎng)噩夢(mèng)。Tay很快從一個(gè)友好、有趣的機(jī)器人變成了一個(gè)滿嘴臟話、充滿歧視和偏見(jiàn)的人工智能。原因是一些不良分子惡意濫用了這一機(jī)會(huì)，用不適當(dāng)?shù)难赞o對(duì)Tay進(jìn)行訓(xùn)練，導(dǎo)致對(duì)話數(shù)據(jù)集被污染。最終微軟被迫緊急下線Tay，以制止它繼續(xù)學(xué)習(xí)和傳播不當(dāng)內(nèi)容。
- 數(shù)據(jù)投毒事件二：
來(lái)源: 網(wǎng)絡(luò)輿情分析師考培基地
2023年10月16日，有家長(zhǎng)發(fā)現(xiàn)在科大訊飛的學(xué)習(xí)機(jī)中，一篇標(biāo)題為《藺相如》作文含有詆毀偉人、扭曲歷史等違背主流價(jià)值觀的內(nèi)容。有自媒體稱，這是一篇早在2015年就發(fā)布于互聯(lián)網(wǎng)的文章，后由第三方引入“訊飛學(xué)習(xí)機(jī)”，但是科大訊飛未能發(fā)現(xiàn)并刪除，直到事發(fā)前仍能在學(xué)習(xí)機(jī)文庫(kù)中搜索到的上述問(wèn)題作文。
10月24日下午，科大訊飛（002230.SZ）股價(jià)跳水跌停。截至收盤(pán)，報(bào)46.7元/股，成交額超53億元，總市值蒸發(fā)約120億元。
這是兩個(gè)近期的數(shù)據(jù)投毒案例。還有“毒教材”事件也難逃同樣的謀劃操作，對(duì)人工智能的數(shù)據(jù)投毒，對(duì)人類思想的意識(shí)投毒，細(xì)思極恐，手法一致……
誠(chéng)然，在數(shù)字化的世界里，數(shù)據(jù)被譽(yù)為“新的石油”，其價(jià)值不言而喻。然而，隨著機(jī)器學(xué)習(xí)模型的廣泛應(yīng)用，一種新型的攻擊方式——數(shù)據(jù)投毒，正在悄然興起。數(shù)據(jù)投毒，是指有意或惡意地向數(shù)據(jù)集中引入虛假、惡意或有害的數(shù)據(jù)，利用訓(xùn)練或者微調(diào)（fine-tuning）過(guò)程使得模型中毒，以操縱、損害或欺騙機(jī)器學(xué)習(xí)模型的性能和輸出結(jié)果。
通過(guò)一個(gè)實(shí)際的例子來(lái)解釋什么是數(shù)據(jù)投毒，假設(shè)我們有一個(gè)機(jī)器學(xué)習(xí)模型，這個(gè)模型的任務(wù)是區(qū)分照片中的貓和狗。我們用數(shù)千張標(biāo)記有“貓”和“狗”的圖片來(lái)訓(xùn)練這個(gè)模型。訓(xùn)練完成后，當(dāng)我們輸入一張新的圖片時(shí)，模型可以告訴我們這張照片里是貓還是狗。
現(xiàn)在，假設(shè)一個(gè)攻擊者想要破壞我們的模型。他開(kāi)始增加一些標(biāo)簽不準(zhǔn)確的圖片到訓(xùn)練集中，例如，他增加了一些實(shí)際上是貓的圖片，但是給它們標(biāo)記為“狗”。這就是數(shù)據(jù)投毒。
然后，當(dāng)我們?cè)俅问褂眠@個(gè)“被投毒”的數(shù)據(jù)集訓(xùn)練模型時(shí)，模型就會(huì)開(kāi)始混淆，因?yàn)檫@些錯(cuò)誤的標(biāo)簽會(huì)導(dǎo)致模型在真實(shí)場(chǎng)景中的表現(xiàn)下降。例如，當(dāng)我們輸入一張貓的照片時(shí)，模型可能會(huì)錯(cuò)誤地識(shí)別為狗。這就是數(shù)據(jù)投毒的效果。
這種情況在實(shí)際的應(yīng)用中可能會(huì)造成嚴(yán)重的問(wèn)題。比如，在自動(dòng)駕駛汽車的場(chǎng)景下，如果訓(xùn)練數(shù)據(jù)被投毒，導(dǎo)致模型無(wú)法正確區(qū)分行人和非行人，那么可能會(huì)造成嚴(yán)重的安全問(wèn)題?；蛘咴诮鹑诜榔墼p系統(tǒng)中，如果模型被訓(xùn)練成將欺詐行為誤判為正常行為，那么就會(huì)導(dǎo)致大量的經(jīng)濟(jì)損失。
因此，確保訓(xùn)練數(shù)據(jù)的質(zhì)量和準(zhǔn)確性，以及防止數(shù)據(jù)投毒攻擊，對(duì)于任何使用機(jī)器學(xué)習(xí)的系統(tǒng)來(lái)說(shuō)都是非常重要的。
數(shù)據(jù)投毒的根源可以追溯到人類對(duì)數(shù)據(jù)和機(jī)器學(xué)習(xí)模型的依賴。在許多領(lǐng)域，如醫(yī)療、金融和安全，機(jī)器學(xué)習(xí)模型被用來(lái)處理重要的任務(wù)，如疾病診斷、股票交易和威脅檢測(cè)。然而，這些模型的設(shè)計(jì)和訓(xùn)練往往受到數(shù)據(jù)質(zhì)量的影響。如果數(shù)據(jù)被污染，那么模型的結(jié)果就可能受到誤導(dǎo)。
惡意的數(shù)據(jù)投毒可以造成嚴(yán)重的后果。例如，如果一個(gè)醫(yī)療診斷模型被投毒，那么可能會(huì)錯(cuò)誤地診斷出本來(lái)健康的病人，導(dǎo)致不必要的治療甚至死亡。如果一個(gè)金融模型被投毒，可能會(huì)導(dǎo)致錯(cuò)誤的投資決策，造成巨大的經(jīng)濟(jì)損失。因此，數(shù)據(jù)投毒已經(jīng)成為一個(gè)不可忽視的安全問(wèn)題。
然而，數(shù)據(jù)投毒并非無(wú)解。通過(guò)加強(qiáng)數(shù)據(jù)管理，提高數(shù)據(jù)質(zhì)量，以及使用更為復(fù)雜的模型和算法，可以有效地防止和減輕數(shù)據(jù)投毒攻擊。同時(shí)，我們也需要提高公眾對(duì)數(shù)據(jù)投毒的認(rèn)識(shí)，讓更多的人了解到這種攻擊的嚴(yán)重性，從而共同抵御這種新型的網(wǎng)絡(luò)攻擊。
總的來(lái)說(shuō)，數(shù)據(jù)投毒是一種新型的、復(fù)雜的網(wǎng)絡(luò)攻擊方式，其影響深遠(yuǎn)且難以預(yù)防。然而，只要我們提高了警惕，采取了有效的措施，就可以有效地防止和減輕這種攻擊帶來(lái)的危害。在未來(lái)的日子里，我們需要更加深入地研究和探討如何防止和應(yīng)對(duì)數(shù)據(jù)投毒攻擊，以確保我們的數(shù)字世界能夠更加安全、公正、公平。
