雷軍在全國兩會期間透露，自己去年國慶假期期間成為了AI換臉視頻的“受害者”。他表示，有人利用AI技術制作了他的聲音和形象，在各種視頻中充當“嘴替”和“臉替”。雷軍坦言，他本想通過法律途徑維權，但發現當前法律體系中對此類行為缺乏專門的立法，只能依靠隱私權、肖像權和名譽權等相關法律進行起訴，而這些法律要求量化損失，讓他深感困擾。
社交平臺上，AI生成的真人形象已屢見不鮮，且達到了以假亂真的程度。在這些“AI騙局”中，雷軍并非唯一的受害者，特別是中老年人群體，由于缺乏識別AI創作的能力，往往更容易上當受騙。陸?。ɑ┑哪棠叹褪且粋€典型的例子，她每天都會觀看一個AI生成的胖小孩短視頻，盡管陸俊多次提醒奶奶這是假的，但奶奶并不在意，只覺得這些視頻能讓自己開心。
這些AI賬號不僅瞄準了中老年群體的情感需求，還通過套近乎、講哲理等“話術”來獲取他們的信任和關注。一些AI賬號甚至已經開始利用這份“信任”通過櫥窗帶貨賺錢。例如，視頻號“·古元·”發布的視頻大多以“我的寶貝姐姐”開頭，圍繞老年女性的生活常態展開，隨后引導用戶點擊主頁關注、下單。雖然發布視頻數量不多，但櫥窗商品的銷量已突破三位數。
除了情感內容，養生內容也是“收割”老年人的重災區。一些AI賬號利用老年人的同理心賣貨，甚至通過AI換臉技術進行詐騙。據報道，去年就有一位江西老人被換臉視頻蒙蔽，要貸款200萬給網戀男友“靳東”拍戲。還有詐騙犯運用Deepfake深度偽造技術制作出公司高層發言視頻，誘導職員轉賬。這些案例都顯示了AI技術在造假和詐騙方面的巨大威脅。
針對AI技術的濫用問題，社會各界已經開始采取行動。全國政協委員和科技企業領導人在兩會上提出了加強AI安全監管的提議。同時，各平臺也在加強對AI內容的治理，推出了針對AI治理的管理政策。例如，騰訊等互聯網公司正在研究檢測AIGC的第三方工具，這些工具可以根據相似檢索、內容檢測和水印追溯等方法來檢測AI生成的內容。
國家互聯網信息辦公室也發布了《人工智能生成合成內容標識辦法（征求意見稿）》，以規范人工智能生成合成內容的標識，維護國家安全和社會公共利益。這些規定和監管政策的落地，將為剛性治理提供更多的抓手，減少被AI蒙騙的發生。
