文 | 史中
說(shuō)到人工智能，人們有一個(gè)經(jīng)典的恐懼：
人工智能一旦發(fā)展，就會(huì)代替所有人的工作;繼續(xù)發(fā)展下去，最終會(huì)奴役人類(lèi)。”
有一個(gè)小故事或許可以解決他們的疑慮：
當(dāng)年倫敦城有一場(chǎng)持續(xù)幾十年的汽車(chē)代替馬車(chē)的進(jìn)程。倫敦十萬(wàn)馬車(chē)夫夙夜憂嘆，上街游行，擔(dān)心自己失業(yè)。最終馬車(chē)夫們大多成了出租車(chē)司機(jī)，世界末日并沒(méi)有來(lái)。
對(duì)于人工智能威脅論，我的判斷一貫是：“擔(dān)心被人工智能搶掉工作的人，首先會(huì)被其他人搶掉工作;擔(dān)心被人工智能奴役的人，首先會(huì)淪為其他人的附庸。”
而今天我想討論的，是另一種更實(shí)際的恐懼：人工智能本身會(huì)存在安全問(wèn)題嗎?
2017年，百度李廠長(zhǎng)把無(wú)人車(chē)搞到五環(huán)路上，還因?yàn)檫`反交規(guī)收到了罰單。雖然后來(lái)證明“實(shí)線并道”“不打轉(zhuǎn)向燈”這種神操作，都是人類(lèi)駕駛員的行為，但還是讓很多吃瓜群眾感覺(jué)有點(diǎn)驚險(xiǎn)。
未來(lái)人工智能可是要幫我開(kāi)車(chē)、幫我治病的啊，如果被黑客入侵做出什么“傻事”，后果還是挺嚴(yán)重的。隨便開(kāi)個(gè)腦洞：
如果自動(dòng)駕駛的“大腦”被入侵，在四環(huán)路上就會(huì)瞬間多出一千匹“野馬”，帶著其中的乘客上演《速激8》的戲碼。
如果自動(dòng)手術(shù)的“機(jī)器醫(yī)生”程序錯(cuò)亂，本來(lái)準(zhǔn)備開(kāi)一厘米的微創(chuàng)，結(jié)果做成了一米長(zhǎng)的開(kāi)膛。。。
這種情況究竟會(huì)不會(huì)發(fā)生呢?
一、天生安全的工具存在嗎?
按照我的套路，要回答人工智能是否安全，得先定義一下它的屬性：
無(wú)論是有人車(chē)還是無(wú)人車(chē)，它們本質(zhì)上和錘子、打火機(jī)一樣，都是“工具”。因?yàn)槲覀儗?duì)世界的理解是漸進(jìn)的，所以工具的安全性也是漸進(jìn)提高的。隨著它的“利”慢慢大于“弊”，這種工具也會(huì)漸進(jìn)式普及。
舉幾個(gè)例子吧：
1、美國(guó)在1910年頒布法律禁止酒駕;1968年才頒布法律強(qiáng)制司機(jī)系安全帶。到今天算是到了90分。在汽車(chē)普及過(guò)程中，經(jīng)歷了一百年事故頻發(fā)生率緩慢下降的階段。
2、作為世界公認(rèn)最偉大的工具，互聯(lián)網(wǎng)也經(jīng)歷了十年安全性極低的階段。在網(wǎng)絡(luò)大面積普及的2000年前后，出現(xiàn)了紅色代碼、震蕩波、熊貓燒香等等一系列病毒。一個(gè)病毒只需要十幾小時(shí)就能占領(lǐng)全世界的電腦，比1942年的蝗災(zāi)可怕多了。經(jīng)過(guò)這么多年發(fā)展，如今的網(wǎng)絡(luò)安全水平，大概也到了80分。
3、人工智能免不了也會(huì)面臨一樣的命運(yùn)。歷史不會(huì)重演，但會(huì)押韻。與其祈禱人工智能的完美，還不如腳踏實(shí)地去研究怎么把它變得安全。
說(shuō)到這，就得讓今天的主角，互聯(lián)網(wǎng)巨頭百度登場(chǎng)了。兩年前就“梭哈人工智能”(All in AI)的百度，已經(jīng)在這個(gè)賽道上領(lǐng)跑了。世界還是挺公平的：跑得快的人，就會(huì)先遇到坑。所以，百度在“人工智能安全”上也積累了不少經(jīng)驗(yàn)。
李彥宏乘坐自動(dòng)駕駛汽車(chē)，走在北京五環(huán)路上
不久前，我見(jiàn)到了百度安全事業(yè)部總經(jīng)理馬杰和百度安全產(chǎn)品部總經(jīng)理韓祖利，和他們聊過(guò)之后，我相信有兩件事會(huì)發(fā)生：
1、下一個(gè)大規(guī)模普及的人工智能產(chǎn)品，可能來(lái)自百度;
2、有了大規(guī)模的用戶(hù)，才會(huì)讓問(wèn)題暴露并引起廣泛關(guān)注。所以第一個(gè)遇到并著手解決人工智能安全問(wèn)題的，也可能是百度。
那么，目之所及，人工智能會(huì)面臨哪些具體的風(fēng)險(xiǎn)呢?
馬杰(畫(huà)左)和韓祖利(畫(huà)右)
二、人工智能有哪些安全問(wèn)題?
韓祖利把人工智能面臨的問(wèn)題，分成了五大類(lèi)。
1、傳感器欺騙
2017年的極棒黑客大賽上，來(lái)自百度安全實(shí)驗(yàn)室的小灰灰用A4紙打印的人臉就騙過(guò)了人臉解鎖裝置;同樣的 A4 紙，打印之后也可以用于破解虹膜識(shí)別;還是 A4 紙，竟然也可以破解“指靜脈識(shí)別”這種被用于社保系統(tǒng)的“高安全等級(jí)”技術(shù)。
人臉識(shí)別、虹膜識(shí)別、指紋識(shí)別、指靜脈識(shí)別，其實(shí)都是基于人工智能的一個(gè)重要分支：圖像識(shí)別技術(shù)。
小灰灰告訴我：“這些每個(gè)人都會(huì)用到的身份識(shí)別技術(shù)，原理都是通過(guò)傳感器采集信息，然后進(jìn)入算法。這樣，只要知道這些傳感器需要“看見(jiàn)”什么，我們就偽造一個(gè)給它看。就能輕松欺騙騙過(guò)它了。”
這是小灰灰拍攝的自己的眼睛，用來(lái)破解虹膜識(shí)別系統(tǒng)。
這也是韓祖利眼中人工智能面臨的第一個(gè)問(wèn)題：“傳感器欺騙”。
單純的一種驗(yàn)證方式，比如僅僅人臉識(shí)別，或僅僅虹膜識(shí)別，都存在繞過(guò)的技術(shù)，所以業(yè)內(nèi)目前的解決方案是“多因子認(rèn)證”，就是同時(shí)采用兩種或兩種以上的認(rèn)證方式。同時(shí)欺騙兩種認(rèn)證方式，難度就變得大多了。
他說(shuō)。
2、軟件缺陷
大名鼎鼎的 TensorFlow，是谷歌推出的機(jī)器學(xué)習(xí)系統(tǒng)，人人都可以利用這個(gè)平臺(tái)開(kāi)發(fā)自己的人工智能應(yīng)用。
但是，假設(shè)這個(gè)架構(gòu)本身就存在漏洞呢?
韓祖利說(shuō)：“Tensor有 887萬(wàn)行代碼，不僅如此，要運(yùn)行 Tensor，還需要調(diào)用100多個(gè)依賴(lài)庫(kù)，其中很多庫(kù)都是很多年前的“老古董”。這么多代碼已經(jīng)超出了人工審計(jì)的工作量，其中一定存在漏洞。”
這張圖表里列舉了各大人工智能平臺(tái)的漏洞情況(點(diǎn)擊可以看大圖)
看看上面這張圖，就是各大人工智能平臺(tái)的漏洞表。不用假設(shè)，他們就是有漏洞的。
對(duì)于這種漏洞，似乎沒(méi)有好的方法，就是不斷認(rèn)真審計(jì)、查找問(wèn)題。安全研究員的職責(zé)即是在此，至少百度在自家的 Paddle Paddle 人工智能平臺(tái)上是這么做的。
3、數(shù)據(jù)投毒
說(shuō)到數(shù)據(jù)投毒，是AI攻防里最驚心動(dòng)魄的部分。也是最接近人們想象的一種。
加州大學(xué)伯克利分校的著名人工智能專(zhuān)家 Down Song 算是一個(gè)“城會(huì)玩”的代表。她在一個(gè)寫(xiě)著“STOP”的標(biāo)牌上，粘貼了幾塊膠條。人類(lèi)看起來(lái)這根本沒(méi)什么，但是在自動(dòng)駕駛的人工智能看來(lái)，這就是一個(gè)時(shí)速45公里的限速牌。
想象一下，如果你的自動(dòng)駕駛汽車(chē)遇到了這樣的標(biāo)牌，一定會(huì)毫不猶豫地沖過(guò)去，讓你體驗(yàn)從急救車(chē)到醫(yī)院搶救的全套流程。
韓祖利說(shuō)，這就是標(biāo)準(zhǔn)的“對(duì)抗數(shù)據(jù)”。
同樣的玩法還有很多，比如日本的一個(gè)團(tuán)隊(duì)，在每張圖片里加上一個(gè)像素，就能讓人工智能識(shí)別產(chǎn)生翻天覆地的錯(cuò)誤，直接指鹿為馬。(順便說(shuō)下，他們搞定的是技術(shù)很強(qiáng)的 Face++ 系統(tǒng)。)
再比如，如果你欠朋友二十萬(wàn)不打算還，就得去做個(gè)整容。但是如果想讓人臉識(shí)別不認(rèn)識(shí)你，只需要這個(gè)特殊的發(fā)光眼鏡。戴上之后，就會(huì)被系統(tǒng)認(rèn)作另外一個(gè)人。
人工智能雖然被叫做人工智能，但其實(shí)目前的技術(shù)根本達(dá)不到人類(lèi)這種完備的知識(shí)體系，所以很多在人看來(lái)很 Low 的欺騙方法，就可以輕松“撂倒”它。
剛才說(shuō)的，是對(duì)抗已經(jīng)“成年”的人工智能。還有人做得更絕，在人工智能接受數(shù)據(jù)訓(xùn)練的時(shí)候，就直接把“帶毒”的數(shù)據(jù)混進(jìn)去，這樣訓(xùn)練出來(lái)的人工智能就帶有天然缺陷。
這就是“數(shù)據(jù)集投毒”了。
畢竟，現(xiàn)在的人工智能就像一個(gè)小孩子，小孩子往往是很好騙的。
4、系統(tǒng)安全
人工智能系統(tǒng)是要跑在操作系統(tǒng)之上的。而這些操作系統(tǒng)每年都會(huì)被“白帽子”找到大量漏洞，打上一串兒補(bǔ)丁。前一階段爆發(fā)的 WannaCry 病毒，沒(méi)打補(bǔ)丁的電腦就遭殃了。
尤其對(duì)于很多攜帶智能功能的硬件來(lái)說(shuō)，如果操作系統(tǒng)有漏洞不及時(shí)補(bǔ)上，就很可能被黑客控制。
5、網(wǎng)絡(luò)安全
和系統(tǒng)安全類(lèi)似，網(wǎng)絡(luò)安全也并不是人工智能面對(duì)的獨(dú)特威脅。只要有數(shù)據(jù)在網(wǎng)絡(luò)上傳輸，就存在被黑客截取數(shù)據(jù)的可能。
你可能感覺(jué)到了，要想搞掉某個(gè)人工智能，有很多角度和姿勢(shì)。其實(shí)，所有的安全都是這樣：防守的人要守住城墻的每一寸磚，而進(jìn)攻者只要找到一個(gè)點(diǎn)突破就大功告成。這是典型的內(nèi)線作戰(zhàn)和外線作戰(zhàn)的區(qū)別。不幸，人工智能由于處在進(jìn)化的頂端，不僅別人面臨的威脅它一樣不少，除此之外還面臨獨(dú)有的威脅。
三、百度的人工智能會(huì)被攻擊嗎?
說(shuō)了那么多種進(jìn)攻人工智能的方法，但大多數(shù)情況下，這些攻擊都不會(huì)真實(shí)發(fā)生。黑客攻擊某個(gè)系統(tǒng)，還要有一項(xiàng)基本要素，那就是——動(dòng)機(jī)。在現(xiàn)在這個(gè)時(shí)代，做壞事的動(dòng)機(jī)一般是錢(qián)。
我一直在強(qiáng)調(diào)平衡點(diǎn)的概念。這里就是一個(gè)例子：當(dāng)某個(gè)產(chǎn)品的用戶(hù)規(guī)模達(dá)到一定量級(jí)，越過(guò)平衡點(diǎn)，在攻擊者眼中就具有了價(jià)值。所以，百度要重點(diǎn)防御的，就是那些已經(jīng)或即將有很多用戶(hù)的產(chǎn)品。
我覺(jué)得百度目前跑在最前面的人工智能產(chǎn)品有兩個(gè)，分別是“DuerOS 人工智能操作系統(tǒng)”和“Apollo 無(wú)人駕駛系統(tǒng)”。果不其然，百度安全事業(yè)部總經(jīng)理馬杰在這兩個(gè)產(chǎn)品上投入的注意力也很多。
比如搭載了 DuerOS 的渡鴉音箱
1、先來(lái)說(shuō)說(shuō) DuerOS
DuerOS 是嵌入各種智能硬件中的人工智能操作系統(tǒng)。比如渡鴉音箱、Fill耳機(jī)，里面都內(nèi)嵌了 DuerOS。
一般情況下，像智能空氣凈化器、智能音箱、看家機(jī)器人這類(lèi)東西，都會(huì)附帶很多傳感器，例如聲音收集、視頻采集，而且一般擺在客廳甚至臥室。如果他們被黑客控制，上傳一點(diǎn)聲音、視頻，確實(shí)讓人很羞憤。。。
但要防止這些事情發(fā)生，只保證 DuerOS本身的安全性遠(yuǎn)遠(yuǎn)不夠。
DuerOS 已經(jīng)有四位數(shù)的合作伙伴，但是這些硬件往往是合作伙伴生產(chǎn)的。原則上來(lái)說(shuō)，百度只是人工智能系統(tǒng)提供商，無(wú)法控制合作伙伴的硬件安全或者操作系統(tǒng)安全。
但任何設(shè)備出現(xiàn)問(wèn)題，傷害的都是百度的品牌。所以，我們要盡力幫合作伙伴把其他安全方面也做好。
馬杰說(shuō)。
為了不當(dāng)背鍋俠，他們是怎么做的呢?
組團(tuán)打怪的人都知道，要解決自己搞不定的事情，一般需要“聯(lián)盟”。醞釀了大半年，百度終于在2017年底主導(dǎo)推出了 AI 聯(lián)盟。
它主要在倡導(dǎo)一套技術(shù)標(biāo)準(zhǔn)，包括：安全的 Linux 內(nèi)核、補(bǔ)丁熱修復(fù)技術(shù)、安全通信協(xié)議、身份認(rèn)證機(jī)制、自動(dòng)攻擊攔截五大技術(shù)。這幾乎涵蓋了文章第二部分所說(shuō)的“人工智能面臨的五大威脅”。而這其中有不少技術(shù)都是百度首席安全科學(xué)家韋韜團(tuán)隊(duì)“Xteam”的心水之作。
這段生詞有點(diǎn)多，簡(jiǎn)單總結(jié)，就是百度搞出了一整套人工智能安全方案，可以隨 DuerOS 附贈(zèng)。鑒于現(xiàn)在智能硬件廠商普遍比較低的安全能力，說(shuō)附贈(zèng)不太貼切，用馬杰的話叫做“強(qiáng)制附贈(zèng)”——只要使用 DuerOS，就必須采用 AI 聯(lián)盟認(rèn)證的安全方案。這樣省時(shí)省力，皆大歡喜。
從這個(gè)角度說(shuō)，應(yīng)用 DuerOS 的硬件，安全性是有底線保障的。
2、再來(lái)說(shuō)說(shuō) Apollo
李彥宏說(shuō)，通過(guò)Apollo平臺(tái)實(shí)現(xiàn)無(wú)人駕駛車(chē)量產(chǎn)的時(shí)間是2019年。
目前，作為開(kāi)源自動(dòng)駕駛系統(tǒng)的 Apollo 正在按部就班地迭代(懂代碼的可以到Github上監(jiān)督一下他們的進(jìn)度)，而每一次新版本發(fā)布前，都是百度安全同學(xué)熬夜的季節(jié)。因?yàn)樗麄円?fù)責(zé)審核代碼的安全性，找找里面是否存在漏洞。
這就是“軟件安全”。
apollo 系統(tǒng)
人人都喜歡老司機(jī)，因?yàn)樗麄?ldquo;穩(wěn)”。在自動(dòng)駕駛世界，人工智能的角色就是司機(jī)。Apollo 如果不“穩(wěn)”，如何齁住秋名山。講真，無(wú)人駕駛安全的重要性，要超過(guò)臥室里“上傳錄音”的凈化器。
無(wú)人車(chē)是公認(rèn)人工智能的第一個(gè)大戰(zhàn)場(chǎng)。從科學(xué)規(guī)律上來(lái)講，無(wú)論是哪個(gè)公司的無(wú)人車(chē)，只有它越普及，才越可能暴露出來(lái)安全問(wèn)題。
在現(xiàn)階段，連業(yè)內(nèi)第一梯隊(duì)的百度無(wú)人車(chē)都處在研發(fā)中，直接腦補(bǔ)《速度與激情8》里的場(chǎng)景，未免有些脫離現(xiàn)實(shí)。如果你問(wèn)我，汽車(chē)中的人工智能會(huì)面臨怎樣具體的攻擊姿勢(shì)，最科學(xué)的答案就是：我還不知道。
可以說(shuō)：對(duì)于無(wú)人車(chē)安全，挑戰(zhàn)更大，但時(shí)間窗口未到。
四、我們?cè)撚檬裁醋藙?shì)來(lái)恐懼?
正如剛才所言，人工智能很多具體的風(fēng)險(xiǎn)可能還未知。而未知天然就會(huì)引發(fā)恐懼。
我們是否該縱容自己的恐懼呢?
文章開(kāi)頭我提到了汽車(chē)代替馬車(chē)的故事，其實(shí)這個(gè)故事還有更多細(xì)節(jié)：
150年前，汽車(chē)剛被發(fā)明出來(lái)，它被認(rèn)為是怪物。
那時(shí)候倫敦城滿(mǎn)街跑的都是馬車(chē)，從旁邊冷不丁殺出一輛汽車(chē)，經(jīng)常會(huì)挑戰(zhàn)馬兒脆弱的小心臟。受驚的馬引發(fā)了不少事故。汽車(chē)本身的安全性也堪憂，翻開(kāi)一張英國(guó)報(bào)紙，一張漫畫(huà)映入眼簾：汽車(chē)爆炸，坐車(chē)的人血肉橫飛。
用這種危險(xiǎn)的玩意兒代替?zhèn)惗爻莾?yōu)雅又萌萌噠的十萬(wàn)匹馬，人們不答應(yīng)。
聽(tīng)取了群眾的呼聲，1858年英國(guó)實(shí)施了“紅旗法”，規(guī)定汽車(chē)在郊外的限速是4碼，市內(nèi)的限速是2碼(你沒(méi)看錯(cuò)，比走路還要慢)，還要在汽車(chē)前面有專(zhuān)人步行手持紅旗，提示大家“危險(xiǎn)將近”。
你看，今天隨處可見(jiàn)的普通汽車(chē)，曾經(jīng)被人當(dāng)做洪水猛獸一般對(duì)待。當(dāng)時(shí)人們的恐懼，在后人看來(lái)近乎笑談。
隨著技術(shù)的落地，不斷跟進(jìn)研究，才是對(duì)人工智能安全最負(fù)責(zé)任的態(tài)度。就像馬杰所說(shuō)：“最可怕的問(wèn)題都來(lái)源于沒(méi)有意識(shí)到。只要意識(shí)到，最終都能解決。”
除了百度安全的同學(xué)，在 BSRC(百度安全應(yīng)急響應(yīng)中心)門(mén)庭下也有很多白帽子在孜孜不倦地幫百度找到安全問(wèn)題。所以，和白帽子的合作也是百度人工智能安全重要的部分。
講真，即使對(duì)于白帽子這樣的專(zhuān)業(yè)黑客來(lái)說(shuō)，人工智能也是比較陌生的技術(shù)。而要研究AI的安全，首先需要了解它。
在馬杰心里，安全人員都有一張“技能表”。各項(xiàng)基礎(chǔ)技能，對(duì)于找到漏洞是至關(guān)重要的。例如 CPU 的架構(gòu)、系統(tǒng)內(nèi)核，這些都是高段位白帽子的必備技能。而人工智能，很可能成為“技能表”中下一個(gè)重點(diǎn)。
“無(wú)論是用人工智能找漏洞，還是找到人工智能中的漏洞，首先都要對(duì)它有充分的了解。而這種學(xué)習(xí)，越早開(kāi)始越好。“他說(shuō)。
在剛剛結(jié)束的BSRC年度盛典上，百度安全還為優(yōu)秀白帽子們發(fā)了獎(jiǎng)。今年百度給白帽子的年終獎(jiǎng)累計(jì)達(dá)到百萬(wàn)人民幣，還挺多的。
說(shuō)回新技術(shù)。我們的恐懼也許最終不能改變什么，就像“危險(xiǎn)”的汽車(chē)最終還是走進(jìn)了每個(gè)人的車(chē)庫(kù)：
19世紀(jì)末，卡爾·本茨發(fā)明了內(nèi)燃機(jī)汽車(chē)。有一次他載著當(dāng)?shù)毓賳T上路。由于和“紅旗法”類(lèi)似的法規(guī)限制，德國(guó)汽車(chē)車(chē)速不能超過(guò)6公里，所以只能龜速前進(jìn)。
突然后面一輛馬車(chē)超了過(guò)去，車(chē)夫回頭大聲嘲笑他們。
官員大怒，對(duì)本茨大喊：“給我追上去!”
本茨故作無(wú)奈：“可是政府有規(guī)定。。。”
“別管什么規(guī)定!我就是規(guī)定!追!”官員大叫。
聞聽(tīng)此言，本茨一腳油門(mén)踩下去。他們的汽車(chē)立刻超越了馬車(chē)，從此，再?zèng)]有被追上過(guò)。
馬杰所言，無(wú)外乎八個(gè)字：與其恐懼，不如擁抱。
