近期，OpenAI發(fā)布的文本轉(zhuǎn)視頻模型Sora引發(fā)全球關(guān)注，被認(rèn)為將顛覆視頻內(nèi)容生成方式，也進(jìn)一步增加了公眾識(shí)別視頻內(nèi)容真?zhèn)蔚碾y度。擔(dān)憂情緒隨之衍生。一些業(yè)內(nèi)專家和觀察人士表示，這類技術(shù)的普及，恐導(dǎo)致深度偽造（Deepfake）內(nèi)容更加泛濫，造假成本更低廉，進(jìn)而增加被用于詐騙、色情等違法犯罪活動(dòng)的風(fēng)險(xiǎn)和隱患。
現(xiàn)實(shí)中，AI深度偽造技術(shù)的非法使用，已經(jīng)在一些網(wǎng)絡(luò)詐騙案件中出現(xiàn)。據(jù)媒體報(bào)道，今年2月，有詐騙團(tuán)伙利用深度偽造技術(shù)向一家跨國(guó)公司的香港分公司實(shí)施詐騙，并成功騙走2億港元，這也是香港迄今為止損失最大的AI換臉詐騙案。
諸如此類的案例越來越多，如何應(yīng)對(duì)深度偽造和AIGC（人工智能生成內(nèi)容）等新技術(shù)帶來的安全風(fēng)險(xiǎn)，已成為全球關(guān)注的重要議題。
深度偽造已被用于違法犯罪
深度偽造是指技術(shù)利用機(jī)器的深度學(xué)習(xí)，實(shí)現(xiàn)圖像、聲音、視頻的篡改、偽造和自動(dòng)生成，產(chǎn)生高度逼真且難以甄別的效果。最常見的方式就是AI換臉，此外還包括語音模擬、人臉合成、視頻生成等。
現(xiàn)實(shí)應(yīng)用中，深度偽造技術(shù)有其積極一面。業(yè)內(nèi)人士介紹，深度偽造技術(shù)開始被用于醫(yī)療和教育等領(lǐng)域。比如，通過數(shù)據(jù)和技術(shù)生成立體的身體模型視頻，讓醫(yī)生更直觀地進(jìn)行醫(yī)學(xué)診斷和研究；又如，通過技術(shù)合成的歷史人物影像，讓教學(xué)視頻更有趣味等。
然而，硬幣的另一面是深度偽造技術(shù)也經(jīng)常出現(xiàn)在詐騙、色情等違法犯罪活動(dòng)中。近幾年，國(guó)內(nèi)外均出現(xiàn)了利用深度偽造技術(shù)實(shí)施的詐騙案例，都造成不小的負(fù)面影響。
去年5月初，內(nèi)蒙古包頭市公安局電信網(wǎng)絡(luò)犯罪偵查局發(fā)布一起使用AI換臉技術(shù)進(jìn)行電信詐騙的案件。福建省福州市某科技公司法人代表郭先生的“好友”突然通過微信視頻聯(lián)系他，聲稱自己的朋友在外地投標(biāo)，需要430萬元保證金，想借用郭先生公司的賬戶走賬?；谝曨l聊天信任的前提，郭先生并未核實(shí)錢是否到賬，就陸續(xù)轉(zhuǎn)給對(duì)方共計(jì)430萬元，之后郭先生才發(fā)現(xiàn)被騙。
在香港的那起AI換臉詐騙案中，詐騙者通過搜集一家跨國(guó)公司英國(guó)高層在視頻網(wǎng)站上的公開影像，再利用AI深度偽造技術(shù)，給詐騙者換上公司高層的面部和聲音，實(shí)施詐騙，成功從香港分公司騙走2億港元。
除了詐騙，深度偽造技術(shù)還經(jīng)常對(duì)公眾人物造成名譽(yù)侵害。今年1月中下旬，香港特別行政區(qū)行政長(zhǎng)官李家超也成為深度偽造的目標(biāo)。網(wǎng)上出現(xiàn)了用人工智能偽造的電視節(jié)目片段，冒稱李家超向市民推介一項(xiàng)高回報(bào)的投資計(jì)劃。特區(qū)政府立即嚴(yán)正澄清，稱有關(guān)影片全屬偽造，行政長(zhǎng)官?gòu)奈醋鞒鱿嚓P(guān)言論。
美國(guó)歌手泰勒·斯威夫特，最近也深受深度偽造的困擾。近日，這名歌手的大量虛假“不雅照”在社交網(wǎng)絡(luò)傳播，引發(fā)關(guān)注和議論。這不是她第一次成為受害者。就在“不雅照”事件前不久，一則由AI生成的泰勒·斯威夫特帶貨廣告在海外社交媒體上瘋傳。這則虛假?gòu)V告利用深度偽造技術(shù)，合成了泰勒·斯威夫特的聲音，并將聲音及她的形象和某品牌炊具廣告片段拼湊在一起，宣稱免費(fèi)向粉絲贈(zèng)送炊具，引導(dǎo)受害者點(diǎn)擊并支付運(yùn)費(fèi)，但炊具不會(huì)真的送出。
“從技術(shù)原理上看，公眾人物更容易成為深度偽造的受害者?！逼姘残虐踩珜＜遗嶂怯卤硎荆捎诠娙宋锏囊曨l、音頻、圖片資料的公開性質(zhì)，為AI訓(xùn)練提供了大量素材，被偽造內(nèi)容更加逼真，從而更容易導(dǎo)致深度偽造技術(shù)被非法使用。
隨著Sora等模型的開放和應(yīng)用，AI換臉技術(shù)門檻持續(xù)降低，別有用心之人利用深度偽造技術(shù)可以更輕易盜用、冒充他人身份，越來越多的普通人恐將成為潛在受害者。
實(shí)際上，國(guó)內(nèi)通過對(duì)普通人進(jìn)行AI換臉實(shí)施違法犯罪的案例并不少見。2021年，杭州某派出所接到報(bào)警，受害人陳某稱他在與女網(wǎng)友視頻聊天后被對(duì)方敲詐勒索。經(jīng)警方調(diào)查，對(duì)方利用AI換臉技術(shù)，將陳某的面部信息合成到不雅視頻中，借此對(duì)其實(shí)施勒索。2022年8月，古風(fēng)漢服網(wǎng)紅魏某起訴了4家運(yùn)營(yíng)AI換臉軟件的公司，認(rèn)為對(duì)方在自己未授權(quán)的情況下上傳包含她肖像的視頻作品，生成AI換臉視頻，侵犯了其肖像權(quán)。
技術(shù)發(fā)展帶來多重安全風(fēng)險(xiǎn)
每個(gè)人的聲音和相貌都具有獨(dú)特性，而深度偽造技術(shù)正在打破這一邊界，致使“眼見、耳聞都不再為實(shí)”。
多名專業(yè)人士指出，隨著AI技術(shù)的發(fā)展和普及，深度偽造技術(shù)被用于違法犯罪活動(dòng)的比例將提升?！跋馭ora這類模型工具和相關(guān)軟件的開發(fā)普及，即使是不了解技術(shù)的普通人，也能制作深度偽造的內(nèi)容，而且虛假內(nèi)容產(chǎn)生的速度更快，也更難被人眼識(shí)別?！迸嶂怯抡f。
普通人接觸和使用AI換臉技術(shù)的門檻的確在降低。記者調(diào)查發(fā)現(xiàn)，盡管“AI換臉”“換臉”等關(guān)鍵詞已被多個(gè)電商平臺(tái)屏蔽，但通過“定制視頻”等更隱蔽的關(guān)鍵詞，仍能找到出售換臉軟件、定制換臉視頻及教授換臉技術(shù)的賣家。在某電商平臺(tái)，一名賣家通過視頻教授AI換臉技術(shù)，還提供代碼腳本網(wǎng)頁(yè)，收費(fèi)只要39.9元。這名賣家告訴記者，根據(jù)他發(fā)的視頻教程就能學(xué)會(huì)AI換臉操作。賣家提供的教學(xué)內(nèi)容顯示，用戶根據(jù)指引，完成登錄、提取臉部數(shù)據(jù)、訓(xùn)練模型、換臉輸出視頻等步驟，能輕松實(shí)現(xiàn)AI換臉視頻制作。
相對(duì)當(dāng)下一些AI換臉軟件多適用于拍照?qǐng)鼍?、影視劇片段的替換合成，這一賣家教授的換臉技術(shù)更能“為所欲為”：用于換臉的照片不受限制，可合成的視頻片段也不局限于影視作品，包括新聞、私人影片等都可被AI換臉。
“這些游走在法律邊緣的AI技術(shù)黑灰產(chǎn)業(yè)鏈，大大增加了技術(shù)被惡意使用的風(fēng)險(xiǎn)，給公共安全帶來更多隱患。”一名互聯(lián)網(wǎng)企業(yè)的網(wǎng)絡(luò)安全專員表示，現(xiàn)實(shí)中，甚至有一些金融機(jī)構(gòu)人臉識(shí)別防護(hù)墻都被AI換臉騙過，社會(huì)安全風(fēng)險(xiǎn)陡增。隨著Sora等大模型技術(shù)的開發(fā)和應(yīng)用，能實(shí)現(xiàn)用更少的人臉數(shù)據(jù)構(gòu)造高逼真的特定人臉模型，客觀上降低了不法分子制作虛假人臉視頻的成本。
目前來看，深度偽造被用于詐騙等犯罪活動(dòng)的風(fēng)險(xiǎn)不斷顯現(xiàn)，并呈現(xiàn)日益嚴(yán)峻的趨勢(shì)?！袄蒙疃葌卧靸?nèi)容實(shí)施詐騙，實(shí)際是傳統(tǒng)的詐騙手法利用了新技術(shù)的一種混合詐騙方式。從詐騙劇本來看，還是傳統(tǒng)的冒充熟人、冒充領(lǐng)導(dǎo)等套路，但其中的面部仿真、聲紋仿真使得被害人放松警惕，更容易被騙?！迸嶂怯抡f。
結(jié)合具體的犯罪案例分析，一名反詐民警告訴記者，深度偽造用于電信詐騙犯罪活動(dòng)主要表現(xiàn)在三個(gè)方面：其一，騙子通過騷擾電話錄音等來提取某人聲音，獲取素材后，利用AI技術(shù)進(jìn)行聲音合成，而后用偽造的聲音欺騙被害人。其二，騙子用AI換臉技術(shù)，偽裝成被害人的熟人，再通過視頻通話方式，進(jìn)行信息確認(rèn)，騙取信任。其三，騙子利用AI程序篩選受害人，分析公眾發(fā)布在網(wǎng)上的各類信息，根據(jù)所要實(shí)施的騙術(shù)對(duì)人群進(jìn)行篩選，在短時(shí)間內(nèi)便可生產(chǎn)出定制化的詐騙腳本，從而實(shí)施精準(zhǔn)詐騙。“例如實(shí)施情感詐騙時(shí)，可以篩選出經(jīng)常發(fā)布感情類信息的人群；實(shí)施金融詐騙時(shí)，可以篩選出經(jīng)常搜索投資理財(cái)信息的人群等?！?/p>
除了網(wǎng)絡(luò)詐騙，深度偽造技術(shù)的普及，勢(shì)必將提升虛假音視頻的“真實(shí)度”，業(yè)內(nèi)人士擔(dān)心，這或?qū)⒅L(zhǎng)不法分子發(fā)展出更多新型犯罪手段，用于金融詐騙、虛假新聞、色情制作、司法干擾等非法場(chǎng)景。
更進(jìn)一步，深度偽造技術(shù)應(yīng)用不當(dāng)還會(huì)帶來更深遠(yuǎn)的社會(huì)危害。華東政法大學(xué)刑事法學(xué)院副教授房慧穎認(rèn)為，深度偽造技術(shù)產(chǎn)生的虛假影像、聲音等內(nèi)容，不僅會(huì)讓個(gè)人名譽(yù)、財(cái)產(chǎn)和人身受到損害，還會(huì)沖擊社會(huì)信任、媒體信任，甚至被用于擾亂社會(huì)秩序甚至危害國(guó)家安全的違法犯罪活動(dòng)?！吧疃葌卧旒夹g(shù)可以利用真實(shí)和虛假的信息相糅合來達(dá)到欺詐目的，隨著其被推廣和大量應(yīng)用，不可避免地會(huì)帶來信息失真與泄露等嚴(yán)重后果?！狈炕鄯f分析說，這種現(xiàn)象會(huì)使得公共信息處于真實(shí)與虛假混雜、界限模糊的窘境，加劇社會(huì)公眾對(duì)政府組織、新聞媒體的不信任，從而引發(fā)社會(huì)信任危機(jī)。
由此可見，深度偽造等技術(shù)發(fā)展應(yīng)用，對(duì)于傳統(tǒng)和非傳統(tǒng)安全，都將造成越來越大的沖擊。
技術(shù)和法律共同引導(dǎo)向善
盡管深度偽造等AI技術(shù)發(fā)展帶來了全新的挑戰(zhàn)，但受訪者們都認(rèn)為，不能就此因噎廢食，而要堅(jiān)持安全與發(fā)展并重的理念，通過完善制度和管理，實(shí)現(xiàn)促進(jìn)技術(shù)革新和控制技術(shù)風(fēng)險(xiǎn)的目的。
“在技術(shù)進(jìn)步的過程中，其本身就可以用來對(duì)抗深度造假行為?！迸嶂怯抡f，政府要善于用技術(shù)制約技術(shù)，加快打造深度偽造信息檢測(cè)系統(tǒng)。“政府和企業(yè)要投入科研力量，研究基于AI生成內(nèi)容的鑒偽技術(shù)，在必要時(shí)刻，使政府、企業(yè)和公眾有能力借助工具進(jìn)行鑒偽?！?/p>
此外，有受訪者建議，應(yīng)要求AI合成內(nèi)容服務(wù)商添加對(duì)用戶可見的數(shù)字水印，來告知用戶該圖像、音視頻內(nèi)容是由AI生成，以增加用戶辨別信息真?zhèn)蔚哪芰ΑＲ灿芯W(wǎng)絡(luò)技術(shù)人員建議，讓AI深度偽造技術(shù)的服務(wù)平臺(tái)、公司推行隱形水印機(jī)制，通過在視頻、音頻和圖像中嵌入不可見的水印保護(hù)信息，以快速識(shí)別AI合成內(nèi)容并進(jìn)行溯源，各個(gè)社交平臺(tái)也應(yīng)以技術(shù)手段加強(qiáng)對(duì)于疑似AI生成圖、文、視頻內(nèi)容的識(shí)別功能。
除了技術(shù)解決方法外，法律手段也要有所作為?！翱傮w來看，我國(guó)在深度偽造方面的規(guī)范性立法做得相對(duì)較早。”房慧穎表示，我國(guó)主要從信息真實(shí)性、肖像權(quán)、個(gè)人信息保護(hù)以及國(guó)家安全等層面，對(duì)AI深度偽造技術(shù)的應(yīng)用進(jìn)行立法規(guī)制。
2019年11月，我國(guó)便出臺(tái)了《網(wǎng)絡(luò)音視頻信息服務(wù)管理規(guī)定》，對(duì)網(wǎng)絡(luò)音視頻服務(wù)的使用者和提供者均提出要求，即利用基于深度學(xué)習(xí)、虛擬現(xiàn)實(shí)等的新技術(shù)新應(yīng)用制作、發(fā)布、傳播非真實(shí)音視頻信息的，應(yīng)當(dāng)以顯著方式予以標(biāo)識(shí)，不得利用基于深度學(xué)習(xí)、虛擬現(xiàn)實(shí)等的新技術(shù)新應(yīng)用制作、發(fā)布、傳播虛假新聞信息。
2023年1月10日，我國(guó)首部深度合成領(lǐng)域的專門法規(guī)《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》施行。該規(guī)定要求，深度偽造服務(wù)提供者應(yīng)向有關(guān)部門報(bào)告非法深度偽造、提供追索機(jī)制、提供水印免責(zé)聲明等，服務(wù)使用者應(yīng)依法告知人臉被編輯的個(gè)人并取得其單獨(dú)同意。
2023年7月，我國(guó)頒布的《生成式人工智能服務(wù)管理暫行辦法》，進(jìn)一步明確將對(duì)生成式人工智能服務(wù)進(jìn)行“分類”和“分級(jí)”監(jiān)管，深度偽造服務(wù)的提供者必須對(duì)使用該產(chǎn)品生成的內(nèi)容負(fù)責(zé)等。“加之此前出臺(tái)的網(wǎng)絡(luò)安全法等系列法律法規(guī)，可以說我國(guó)已經(jīng)為人工智能建構(gòu)了多元化監(jiān)管格局，實(shí)現(xiàn)了多維譜系法律法規(guī)協(xié)同治理?！狈炕鄯f說。
放眼全球，美國(guó)和歐盟等也都對(duì)規(guī)范深度偽造技術(shù)進(jìn)行了法律嘗試。據(jù)介紹，美國(guó)參眾兩院先后提出了側(cè)重點(diǎn)各異的《深度偽造責(zé)任法案》《2018惡意深度偽造禁止法案》《2019年深度偽造法案》《2020財(cái)年情報(bào)授權(quán)法案》四部法案。歐盟則于2022年6月更新《反虛假信息行為準(zhǔn)則》，要求社交媒體從其平臺(tái)上刪除深度偽造新聞和其他虛假信息，打擊深度偽造和虛假賬戶，并對(duì)違反者處以最高達(dá)全球營(yíng)業(yè)額6%的罰款。目前，歐盟正在推進(jìn)的《人工智能法案》也明確了深度偽造技術(shù)的提供商將受到透明度和披露要求的約束。
深度偽造等AI技術(shù)發(fā)展，是推動(dòng)社會(huì)進(jìn)步的動(dòng)力。如何引導(dǎo)技術(shù)向善，是一個(gè)需要各方共同探討和破解的難題。受訪者們普遍認(rèn)為，各國(guó)應(yīng)加強(qiáng)交流合作，通過技術(shù)和法律等手段，規(guī)避人工智能技術(shù)帶來的風(fēng)險(xiǎn)隱患，使之健康有序發(fā)展。（記者 鄔林樺）
（責(zé)任編輯：梁艷）
晉公網(wǎng)安備 14090202000008號(hào) 
