12月15日,“微信珊瑚安全”發(fā)布公告稱,近期有媒體報(bào)道網(wǎng)絡(luò)存在利用AI技術(shù)仿冒名人進(jìn)行不當(dāng)營(yíng)銷的現(xiàn)象。結(jié)合用戶舉報(bào)、日常巡查等線索,微信從速?gòu)膰?yán)打擊了一批利用AI仿冒知名人士進(jìn)行不當(dāng)營(yíng)銷、惡意博取流量的違規(guī)行為,并針對(duì)相關(guān)情況開(kāi)展專項(xiàng)治理。截至目前,累計(jì)處置內(nèi)容532條,關(guān)閉賬號(hào)209個(gè)。下一步,微信將持續(xù)對(duì)“利用AI仿冒知名人士進(jìn)行營(yíng)銷宣傳”等違規(guī)行為增加打擊力度。


近年來(lái),通過(guò)AI合成技術(shù)假冒名人的事例時(shí)有發(fā)生。合成名人視頻的邊界在哪?此類視頻有哪些法律風(fēng)險(xiǎn)?平臺(tái)該如何監(jiān)管?面對(duì)AI騙術(shù)該如何應(yīng)對(duì)?


AI仿冒名人人臉、聲音 張文宏并非第一個(gè)“躺槍者”


“張文宏”深夜帶貨?本人回應(yīng)


最近,有網(wǎng)友向媒體發(fā)來(lái)一段視頻詢問(wèn)“張文宏是不是帶貨了?”在賣一種蛋白棒,家里的老人信以為真已經(jīng)下單,還轉(zhuǎn)發(fā)了很多群。


據(jù)媒體報(bào)道,在名為“般畫234”的賬號(hào)視頻中,“張文宏”反復(fù)介紹著一種產(chǎn)品,口型是他的,聲音聽(tīng)起來(lái)也很像張文宏本人,商品櫥窗內(nèi)的某蛋白棒售賣鏈接顯示已出售1200多件。目前,這段偽造的視頻在賬號(hào)內(nèi)已不可見(jiàn)。


圖片來(lái)源:央視新聞


國(guó)家傳染病醫(yī)學(xué)中心主任張文宏表示,這樣的賣貨賬號(hào)不止一個(gè),且一直在變,他已多次向平臺(tái)投訴?!斑@件事情已經(jīng)有幾個(gè)星期了,一開(kāi)始我進(jìn)行了投訴。特別是有些對(duì)AI不是很熟悉的、年紀(jì)比較大的人,他們很容易就會(huì)相信。這種行為侵占了消費(fèi)者的利益,所以我覺(jué)得應(yīng)該是有相應(yīng)的部門來(lái)處理這方面的問(wèn)題。”


12月12日,上海市消保委也對(duì)該事件嚴(yán)厲發(fā)聲,表示未經(jīng)當(dāng)事人授權(quán)的AI合成帶貨行為,已經(jīng)構(gòu)成了對(duì)消費(fèi)者的欺詐,呼吁監(jiān)管部門嚴(yán)厲處罰。


上海市消保委副秘書(shū)長(zhǎng)唐健盛表示,首先這種做法其實(shí)已經(jīng)構(gòu)成了對(duì)消費(fèi)者的欺詐,已經(jīng)上當(dāng)?shù)南M(fèi)者可按照消費(fèi)者權(quán)益保護(hù)法的規(guī)定,要求商家退一賠三,并且金額不足500元按照500元來(lái)賠。此外,相關(guān)的監(jiān)管部門應(yīng)該對(duì)這種惡劣的行為采用非常嚴(yán)厲的方法進(jìn)行處罰,因?yàn)檫@不僅僅是涉及消費(fèi)者權(quán)益,還涉及整個(gè)社會(huì)的良知跟道德。


假靳東們?cè)诙桃曨l里批量制造“愛(ài)情”


騙走劉佩玲19萬(wàn)元的假“靳東”已被判刑,但其他假“靳東”又在互聯(lián)網(wǎng)上吸引了劉佩玲,跟她談起了戀愛(ài)。為了假“靳東”,61歲的劉佩玲和丈夫離婚了,從家里搬出來(lái),獨(dú)自租住在上海。拿著每月三千多元的退休金,她仍閑不下來(lái),找了一份工作,每天除了去上班,就是對(duì)著手機(jī)和“靳東”聊天。


2024年1月23日,上海市靜安區(qū)人民法院對(duì)假冒演員“靳東”詐騙案作出一審判決。法院認(rèn)為,被告人王某燕以非法占有為目的,指使其他7名被告人假冒身份,虛構(gòu)事實(shí),多次騙取他人財(cái)物,8名被告人的行為均已構(gòu)成詐騙罪。


靜安區(qū)人民法院刑事審判庭副庭長(zhǎng)陶琛怡是本案的法官,他說(shuō),近年來(lái),假冒名人或明星進(jìn)行詐騙的犯罪屢見(jiàn)不鮮,類似假“靳東”圍獵中老年女性的案例已經(jīng)不是首次發(fā)生,這些犯罪團(tuán)伙的手法非常相似,利用名人崇拜心理、社交平臺(tái)的算法和推送機(jī)制,以及老年人的情感空虛,伺機(jī)實(shí)施犯罪騙取錢財(cái)。詳情>>>


今年11月,類似的事件再次發(fā)生。江西老太欲貸款200萬(wàn)“給靳東拍戲”,銀行向派出所報(bào)案?!拔沂窃诙桃曨l平臺(tái)上認(rèn)識(shí)的‘靳東’,‘靳東’向我表白了,并用兩人合照發(fā)布了短視頻,現(xiàn)在他拍戲需要200萬(wàn)元,我要去幫助他?!崩先寺燥@激動(dòng)地說(shuō)道。


圖片來(lái)源:江西公安


民警隨即拿起老人的手機(jī)進(jìn)行查看,發(fā)現(xiàn)老人所謂的大明星“靳東”是騙子冒充的,其所發(fā)布的視頻也是由AI合成,但老人對(duì)網(wǎng)絡(luò)知之甚少,對(duì)于騙子所說(shuō)所做深信不疑。最終,民警通過(guò)向老人展示網(wǎng)絡(luò)上一些冒充“靳東”詐騙的新聞和現(xiàn)場(chǎng)利用AI合成照片等方式,老人才幡然醒悟過(guò)來(lái),表示不會(huì)再相信網(wǎng)絡(luò)上的“靳東”。


還有他們都曾被AI仿冒


被AI技術(shù)假冒的,張文宏不是首個(gè)“躺槍者”。


今年國(guó)慶假期,短視頻平臺(tái)上出現(xiàn)了大量“雷軍AI配音”的視頻,這些惡搞視頻在社交平臺(tái)上的相關(guān)話題瀏覽量過(guò)億。視頻中,“小米CEO雷軍”銳評(píng)了堵車、調(diào)休、游戲等熱門話題,言辭犀利,還常爆粗口。事后雷軍表示:“希望大家都不要玩了,這個(gè)事情不太好。”


今年11月,胖東來(lái)創(chuàng)始人于東來(lái)被人用AI技術(shù)生成聲音去賣藥,事后胖東來(lái)發(fā)布聲明對(duì)此事進(jìn)行嚴(yán)厲譴責(zé),并表示將堅(jiān)決采取法律措施追究其法律責(zé)任。


2023年11月,黃曉明在某節(jié)目中坦言,看到了一段自己和劉亦菲為某品牌代言的視頻,自己在活動(dòng)現(xiàn)場(chǎng)極力推薦該品牌。而他本人對(duì)此竟然毫不知情,印象中從未擔(dān)任過(guò)該品牌代言人,一時(shí)間感到恍惚,難辨真假。原來(lái)該視頻是AI換臉生成的,包括人聲也可以合成。


AI合成的公眾人物人臉、聲音真的可以隨意拿來(lái)為自己所用嗎?平臺(tái)如何監(jiān)管?


北京市京都律師事務(wù)所合伙人徐偉律師認(rèn)為,未經(jīng)授權(quán)使用AI換臉技術(shù)進(jìn)行經(jīng)營(yíng)行為,已侵犯到當(dāng)事人的肖像權(quán)。在這種情況之下,如果經(jīng)營(yíng)者有夸大產(chǎn)品功效、虛高產(chǎn)品價(jià)格的行為,消費(fèi)者基于對(duì)當(dāng)事人的信任而購(gòu)買該產(chǎn)品,該行為還有可能構(gòu)成詐騙罪。而且,最高人民法院、最高人民檢察院、公安部聯(lián)合發(fā)布的《關(guān)于依法懲治網(wǎng)絡(luò)暴力違法犯罪的指導(dǎo)意見(jiàn)》中明確,對(duì)利用“深度合成”等生成式人工智能技術(shù)發(fā)布違法信息的,依法從重處罰。


對(duì)于沒(méi)有直接使用他人面部形象的情況下是否構(gòu)成侵害肖像權(quán),廣州互聯(lián)網(wǎng)法院綜合審判三庭庭長(zhǎng)曹鈺指出,由于面部特征具備極強(qiáng)的可識(shí)別性,所以在傳統(tǒng)觀念中,面部形象屬于肖像范圍并無(wú)爭(zhēng)議。但在去除面部特征的情況下,一些不具備明顯特征的身體形態(tài)、肢體動(dòng)作可識(shí)別性較弱,可能不足以使相關(guān)公眾聯(lián)想到特定自然人。


但值得注意的是,不同人物形象,可識(shí)別性的判定應(yīng)有不同標(biāo)準(zhǔn)。例如,對(duì)于媒體曝光機(jī)會(huì)較多的公眾人物來(lái)說(shuō),他外在形象為公眾所識(shí)別的可能性更高。


《中華人民共和國(guó)民法典》第1023條規(guī)定,對(duì)自然人聲音的保護(hù),參照適用肖像權(quán)保護(hù)的有關(guān)規(guī)定。


中國(guó)政法大學(xué)副教授朱巍表示,我們現(xiàn)在看到的一些編輯的人臉,包括聲音在內(nèi),實(shí)際上按照民法典的規(guī)定,都屬于當(dāng)事人權(quán)利人自己的人格權(quán)利,未經(jīng)允許的話,任何人是不得侵害的。不僅不能直接用,也不能使用當(dāng)事人的人臉信息、聲音信息進(jìn)行深度合成,不能把它放到這個(gè)深度合成的物料庫(kù)里或場(chǎng)景庫(kù)里。同時(shí),通過(guò)編輯的肖像和聲音,用這種方式展現(xiàn)出的相關(guān)內(nèi)容,屬于偽造的信息,按照網(wǎng)絡(luò)安全法的規(guī)定,這個(gè)屬于違法信息。


朱巍表示,未經(jīng)權(quán)利人同意去隨便使用別人的肖像和聲音,并且對(duì)外發(fā)布的話,按照民法典的規(guī)定是一種侵權(quán)責(zé)任,要承擔(dān)包括精神損害賠償在內(nèi)的相關(guān)責(zé)任。如果把相關(guān)的視頻,包括聲音編輯之后形成了相關(guān)的內(nèi)容,如果這個(gè)內(nèi)容違反了網(wǎng)絡(luò)安全法的相關(guān)規(guī)定,當(dāng)事人可能要承擔(dān)包括刑事責(zé)任在內(nèi)的法律責(zé)任。


朱巍表示,作為信息傳播平臺(tái)來(lái)講,雖然可能并不是深度合成服務(wù)的提供者,但是它主要傳播了這些深度合成產(chǎn)生的信息,它應(yīng)該通過(guò)包括人工智能、人工審核的方式,發(fā)現(xiàn)一些高度懷疑是AI合成的作品,要強(qiáng)制性加以標(biāo)記。如果發(fā)現(xiàn)利用AI合成的聲音和視頻傳播虛假消息,并不是把視頻刪掉就完了,應(yīng)當(dāng)對(duì)發(fā)布者采取包括信用管理在內(nèi)的強(qiáng)制措施,包括他的賬號(hào)的營(yíng)利權(quán)限,以及一些相關(guān)的特殊權(quán)限,要根據(jù)信用的降低隨之產(chǎn)生必要的處罰措施。


圖片來(lái)源:IC photo


如何有效防范AI技術(shù)的濫用?


2022年,我國(guó)頒布的《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》就劃定了深度合成技術(shù)的使用規(guī)范,包括不得利用深度合成服務(wù)侵犯他人合法權(quán)益等法律規(guī)定。


2024年9月,國(guó)家互聯(lián)網(wǎng)信息辦公室就曾發(fā)布關(guān)于《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法(征求意見(jiàn)稿)》(下稱《征求意見(jiàn)稿》)公開(kāi)征求意見(jiàn)的通知,還配套發(fā)布了國(guó)家標(biāo)準(zhǔn)《網(wǎng)絡(luò)安全技術(shù) 人工智能生成合成內(nèi)容標(biāo)識(shí)方法》。


《征求意見(jiàn)稿》明確,人工智能生成合成內(nèi)容是指利用人工智能技術(shù)制作、生成、合成的文本、圖片、音頻、視頻等信息。而要求添加的標(biāo)識(shí)的具體解釋為,“顯式標(biāo)識(shí)是指在生成合成內(nèi)容或者交互場(chǎng)景界面中添加的,以文字、聲音、圖形等方式呈現(xiàn)并可被用戶明顯感知到的標(biāo)識(shí)。隱式標(biāo)識(shí)是指采取技術(shù)措施在生成合成內(nèi)容文件數(shù)據(jù)中添加的,不易被用戶明顯感知到的標(biāo)識(shí)?!?/p>


曹鈺表示,AI技術(shù)的發(fā)展使圖像、視頻等更加容易被修改,而且修改幅度更大、更深入、更容易使觀看者難以分辨。為此,我們應(yīng)當(dāng)充分注意到AI技術(shù)對(duì)肖像權(quán)可能帶來(lái)的影響,通過(guò)強(qiáng)化行政、司法和網(wǎng)絡(luò)平臺(tái)的監(jiān)管、保護(hù),以及全社會(huì)共同提高保護(hù)意識(shí)來(lái)更好地保護(hù)肖像權(quán)在內(nèi)的各類合法權(quán)益。


【更多閱讀】

破解AI騙術(shù) 注意這幾個(gè)細(xì)節(jié)


在AI時(shí)代,眼見(jiàn)、耳聽(tīng)都不一定為實(shí),大大增強(qiáng)了迷惑性。運(yùn)用AI技術(shù),再加上套路和劇本的演繹,這樣的詐騙手段,小伙伴們要hold住。留意這些細(xì)節(jié)↓↓↓



資料來(lái)源:新華社、央視新聞、新民晚報(bào)、極目新聞、江西公安、深圳羅湖檢察、胖東來(lái)商貿(mào)集團(tuán)微信公眾號(hào)、新京報(bào)


編輯 常江

校對(duì) 劉越