近期，OpenAI發(fā)布的文本轉(zhuǎn)視頻模型Sora引發(fā)全球關(guān)注，被認為將顛覆視頻內(nèi)容生成方式，也進一步增加了公眾識別視頻內(nèi)容真?zhèn)蔚碾y度。擔憂情緒隨之衍生。一些業(yè)內(nèi)專家和觀察人士表示，這類技術(shù)的普及，恐導致深度偽造（Deepfake）內(nèi)容更加泛濫，造假成本更低廉，進而增加被用于詐騙、色情等違法犯罪活動的風險和隱患。
現(xiàn)實中，AI深度偽造技術(shù)的非法使用，已經(jīng)在一些網(wǎng)絡(luò)詐騙案件中出現(xiàn)。據(jù)媒體報道，今年2月，有詐騙團伙利用深度偽造技術(shù)向一家跨國公司的香港分公司實施詐騙，并成功騙走2億港元，這也是香港迄今為止損失最大的AI換臉詐騙案。
諸如此類的案例越來越多，如何應(yīng)對深度偽造和AIGC（人工智能生成內(nèi)容）等新技術(shù)帶來的安全風險，已成為全球關(guān)注的重要議題。
深度偽造已被用于違法犯罪
深度偽造是指技術(shù)利用機器的深度學習，實現(xiàn)圖像、聲音、視頻的篡改、偽造和自動生成，產(chǎn)生高度逼真且難以甄別的效果。最常見的方式就是AI換臉，此外還包括語音模擬、人臉合成、視頻生成等。
現(xiàn)實應(yīng)用中，深度偽造技術(shù)有其積極一面。業(yè)內(nèi)人士介紹，深度偽造技術(shù)開始被用于醫(yī)療和教育等領(lǐng)域。比如，通過數(shù)據(jù)和技術(shù)生成立體的身體模型視頻，讓醫(yī)生更直觀地進行醫(yī)學診斷和研究；又如，通過技術(shù)合成的歷史人物影像，讓教學視頻更有趣味等。
然而，硬幣的另一面是深度偽造技術(shù)也經(jīng)常出現(xiàn)在詐騙、色情等違法犯罪活動中。近幾年，國內(nèi)外均出現(xiàn)了利用深度偽造技術(shù)實施的詐騙案例，都造成不小的負面影響。
去年5月初，內(nèi)蒙古包頭市公安局電信網(wǎng)絡(luò)犯罪偵查局發(fā)布一起使用AI換臉技術(shù)進行電信詐騙的案件。福建省福州市某科技公司法人代表郭先生的“好友”突然通過微信視頻聯(lián)系他，聲稱自己的朋友在外地投標，需要430萬元保證金，想借用郭先生公司的賬戶走賬?；谝曨l聊天信任的前提，郭先生并未核實錢是否到賬，就陸續(xù)轉(zhuǎn)給對方共計430萬元，之后郭先生才發(fā)現(xiàn)被騙。
在香港的那起AI換臉詐騙案中，詐騙者通過搜集一家跨國公司英國高層在視頻網(wǎng)站上的公開影像，再利用AI深度偽造技術(shù)，給詐騙者換上公司高層的面部和聲音，實施詐騙，成功從香港分公司騙走2億港元。
除了詐騙，深度偽造技術(shù)還經(jīng)常對公眾人物造成名譽侵害。今年1月中下旬，香港特別行政區(qū)行政長官李家超也成為深度偽造的目標。網(wǎng)上出現(xiàn)了用人工智能偽造的電視節(jié)目片段，冒稱李家超向市民推介一項高回報的投資計劃。特區(qū)政府立即嚴正澄清，稱有關(guān)影片全屬偽造，行政長官從未作出相關(guān)言論。
美國歌手泰勒·斯威夫特，最近也深受深度偽造的困擾。近日，這名歌手的大量虛假“不雅照”在社交網(wǎng)絡(luò)傳播，引發(fā)關(guān)注和議論。這不是她第一次成為受害者。就在“不雅照”事件前不久，一則由AI生成的泰勒·斯威夫特帶貨廣告在海外社交媒體上瘋傳。這則虛假廣告利用深度偽造技術(shù)，合成了泰勒·斯威夫特的聲音，并將聲音及她的形象和某品牌炊具廣告片段拼湊在一起，宣稱免費向粉絲贈送炊具，引導受害者點擊并支付運費，但炊具不會真的送出。
“從技術(shù)原理上看，公眾人物更容易成為深度偽造的受害者。”奇安信安全專家裴智勇表示，由于公眾人物的視頻、音頻、圖片資料的公開性質(zhì)，為AI訓練提供了大量素材，被偽造內(nèi)容更加逼真，從而更容易導致深度偽造技術(shù)被非法使用。
隨著Sora等模型的開放和應(yīng)用，AI換臉技術(shù)門檻持續(xù)降低，別有用心之人利用深度偽造技術(shù)可以更輕易盜用、冒充他人身份，越來越多的普通人恐將成為潛在受害者。
實際上，國內(nèi)通過對普通人進行AI換臉實施違法犯罪的案例并不少見。2021年，杭州某派出所接到報警，受害人陳某稱他在與女網(wǎng)友視頻聊天后被對方敲詐勒索。經(jīng)警方調(diào)查，對方利用AI換臉技術(shù)，將陳某的面部信息合成到不雅視頻中，借此對其實施勒索。2022年8月，古風漢服網(wǎng)紅魏某起訴了4家運營AI換臉軟件的公司，認為對方在自己未授權(quán)的情況下上傳包含她肖像的視頻作品，生成AI換臉視頻，侵犯了其肖像權(quán)。
技術(shù)發(fā)展帶來多重安全風險
每個人的聲音和相貌都具有獨特性，而深度偽造技術(shù)正在打破這一邊界，致使“眼見、耳聞都不再為實”。
多名專業(yè)人士指出，隨著AI技術(shù)的發(fā)展和普及，深度偽造技術(shù)被用于違法犯罪活動的比例將提升。“像Sora這類模型工具和相關(guān)軟件的開發(fā)普及，即使是不了解技術(shù)的普通人，也能制作深度偽造的內(nèi)容，而且虛假內(nèi)容產(chǎn)生的速度更快，也更難被人眼識別?！迸嶂怯抡f。
普通人接觸和使用AI換臉技術(shù)的門檻的確在降低。記者調(diào)查發(fā)現(xiàn)，盡管“AI換臉”“換臉”等關(guān)鍵詞已被多個電商平臺屏蔽，但通過“定制視頻”等更隱蔽的關(guān)鍵詞，仍能找到出售換臉軟件、定制換臉視頻及教授換臉技術(shù)的賣家。在某電商平臺，一名賣家通過視頻教授AI換臉技術(shù)，還提供代碼腳本網(wǎng)頁，收費只要39.9元。這名賣家告訴記者，根據(jù)他發(fā)的視頻教程就能學會AI換臉操作。賣家提供的教學內(nèi)容顯示，用戶根據(jù)指引，完成登錄、提取臉部數(shù)據(jù)、訓練模型、換臉輸出視頻等步驟，能輕松實現(xiàn)AI換臉視頻制作。
相對當下一些AI換臉軟件多適用于拍照場景、影視劇片段的替換合成，這一賣家教授的換臉技術(shù)更能“為所欲為”：用于換臉的照片不受限制，可合成的視頻片段也不局限于影視作品，包括新聞、私人影片等都可被AI換臉。
“這些游走在法律邊緣的AI技術(shù)黑灰產(chǎn)業(yè)鏈，大大增加了技術(shù)被惡意使用的風險，給公共安全帶來更多隱患?！币幻ヂ?lián)網(wǎng)企業(yè)的網(wǎng)絡(luò)安全專員表示，現(xiàn)實中，甚至有一些金融機構(gòu)人臉識別防護墻都被AI換臉騙過，社會安全風險陡增。隨著Sora等大模型技術(shù)的開發(fā)和應(yīng)用，能實現(xiàn)用更少的人臉數(shù)據(jù)構(gòu)造高逼真的特定人臉模型，客觀上降低了不法分子制作虛假人臉視頻的成本。
目前來看，深度偽造被用于詐騙等犯罪活動的風險不斷顯現(xiàn)，并呈現(xiàn)日益嚴峻的趨勢?！袄蒙疃葌卧靸?nèi)容實施詐騙，實際是傳統(tǒng)的詐騙手法利用了新技術(shù)的一種混合詐騙方式。從詐騙劇本來看，還是傳統(tǒng)的冒充熟人、冒充領(lǐng)導等套路，但其中的面部仿真、聲紋仿真使得被害人放松警惕，更容易被騙?！迸嶂怯抡f。
結(jié)合具體的犯罪案例分析，一名反詐民警告訴記者，深度偽造用于電信詐騙犯罪活動主要表現(xiàn)在三個方面：其一，騙子通過騷擾電話錄音等來提取某人聲音，獲取素材后，利用AI技術(shù)進行聲音合成，而后用偽造的聲音欺騙被害人。其二，騙子用AI換臉技術(shù)，偽裝成被害人的熟人，再通過視頻通話方式，進行信息確認，騙取信任。其三，騙子利用AI程序篩選受害人，分析公眾發(fā)布在網(wǎng)上的各類信息，根據(jù)所要實施的騙術(shù)對人群進行篩選，在短時間內(nèi)便可生產(chǎn)出定制化的詐騙腳本，從而實施精準詐騙?！袄鐚嵤┣楦性p騙時，可以篩選出經(jīng)常發(fā)布感情類信息的人群；實施金融詐騙時，可以篩選出經(jīng)常搜索投資理財信息的人群等。”
除了網(wǎng)絡(luò)詐騙，深度偽造技術(shù)的普及，勢必將提升虛假音視頻的“真實度”，業(yè)內(nèi)人士擔心，這或?qū)⒅L不法分子發(fā)展出更多新型犯罪手段，用于金融詐騙、虛假新聞、色情制作、司法干擾等非法場景。
更進一步，深度偽造技術(shù)應(yīng)用不當還會帶來更深遠的社會危害。華東政法大學刑事法學院副教授房慧穎認為，深度偽造技術(shù)產(chǎn)生的虛假影像、聲音等內(nèi)容，不僅會讓個人名譽、財產(chǎn)和人身受到損害，還會沖擊社會信任、媒體信任，甚至被用于擾亂社會秩序甚至危害國家安全的違法犯罪活動?！吧疃葌卧旒夹g(shù)可以利用真實和虛假的信息相糅合來達到欺詐目的，隨著其被推廣和大量應(yīng)用，不可避免地會帶來信息失真與泄露等嚴重后果?！狈炕鄯f分析說，這種現(xiàn)象會使得公共信息處于真實與虛假混雜、界限模糊的窘境，加劇社會公眾對政府組織、新聞媒體的不信任，從而引發(fā)社會信任危機。
由此可見，深度偽造等技術(shù)發(fā)展應(yīng)用，對于傳統(tǒng)和非傳統(tǒng)安全，都將造成越來越大的沖擊。
技術(shù)和法律共同引導向善
盡管深度偽造等AI技術(shù)發(fā)展帶來了全新的挑戰(zhàn)，但受訪者們都認為，不能就此因噎廢食，而要堅持安全與發(fā)展并重的理念，通過完善制度和管理，實現(xiàn)促進技術(shù)革新和控制技術(shù)風險的目的。
“在技術(shù)進步的過程中，其本身就可以用來對抗深度造假行為?！迸嶂怯抡f，政府要善于用技術(shù)制約技術(shù)，加快打造深度偽造信息檢測系統(tǒng)?！罢推髽I(yè)要投入科研力量，研究基于AI生成內(nèi)容的鑒偽技術(shù)，在必要時刻，使政府、企業(yè)和公眾有能力借助工具進行鑒偽?！?/p>
此外，有受訪者建議，應(yīng)要求AI合成內(nèi)容服務(wù)商添加對用戶可見的數(shù)字水印，來告知用戶該圖像、音視頻內(nèi)容是由AI生成，以增加用戶辨別信息真?zhèn)蔚哪芰ΑＲ灿芯W(wǎng)絡(luò)技術(shù)人員建議，讓AI深度偽造技術(shù)的服務(wù)平臺、公司推行隱形水印機制，通過在視頻、音頻和圖像中嵌入不可見的水印保護信息，以快速識別AI合成內(nèi)容并進行溯源，各個社交平臺也應(yīng)以技術(shù)手段加強對于疑似AI生成圖、文、視頻內(nèi)容的識別功能。
除了技術(shù)解決方法外，法律手段也要有所作為?！翱傮w來看，我國在深度偽造方面的規(guī)范性立法做得相對較早。”房慧穎表示，我國主要從信息真實性、肖像權(quán)、個人信息保護以及國家安全等層面，對AI深度偽造技術(shù)的應(yīng)用進行立法規(guī)制。
2019年11月，我國便出臺了《網(wǎng)絡(luò)音視頻信息服務(wù)管理規(guī)定》，對網(wǎng)絡(luò)音視頻服務(wù)的使用者和提供者均提出要求，即利用基于深度學習、虛擬現(xiàn)實等的新技術(shù)新應(yīng)用制作、發(fā)布、傳播非真實音視頻信息的，應(yīng)當以顯著方式予以標識，不得利用基于深度學習、虛擬現(xiàn)實等的新技術(shù)新應(yīng)用制作、發(fā)布、傳播虛假新聞信息。
2023年1月10日，我國首部深度合成領(lǐng)域的專門法規(guī)《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》施行。該規(guī)定要求，深度偽造服務(wù)提供者應(yīng)向有關(guān)部門報告非法深度偽造、提供追索機制、提供水印免責聲明等，服務(wù)使用者應(yīng)依法告知人臉被編輯的個人并取得其單獨同意。
2023年7月，我國頒布的《生成式人工智能服務(wù)管理暫行辦法》，進一步明確將對生成式人工智能服務(wù)進行“分類”和“分級”監(jiān)管，深度偽造服務(wù)的提供者必須對使用該產(chǎn)品生成的內(nèi)容負責等。“加之此前出臺的網(wǎng)絡(luò)安全法等系列法律法規(guī)，可以說我國已經(jīng)為人工智能建構(gòu)了多元化監(jiān)管格局，實現(xiàn)了多維譜系法律法規(guī)協(xié)同治理。”房慧穎說。
放眼全球，美國和歐盟等也都對規(guī)范深度偽造技術(shù)進行了法律嘗試。據(jù)介紹，美國參眾兩院先后提出了側(cè)重點各異的《深度偽造責任法案》《2018惡意深度偽造禁止法案》《2019年深度偽造法案》《2020財年情報授權(quán)法案》四部法案。歐盟則于2022年6月更新《反虛假信息行為準則》，要求社交媒體從其平臺上刪除深度偽造新聞和其他虛假信息，打擊深度偽造和虛假賬戶，并對違反者處以最高達全球營業(yè)額6%的罰款。目前，歐盟正在推進的《人工智能法案》也明確了深度偽造技術(shù)的提供商將受到透明度和披露要求的約束。
深度偽造等AI技術(shù)發(fā)展，是推動社會進步的動力。如何引導技術(shù)向善，是一個需要各方共同探討和破解的難題。受訪者們普遍認為，各國應(yīng)加強交流合作，通過技術(shù)和法律等手段，規(guī)避人工智能技術(shù)帶來的風險隱患，使之健康有序發(fā)展。（記者 鄔林樺）
（責任編輯：梁艷）
晉公網(wǎng)安備 14090202000008號 
