涉黃AI換臉案:有人用暗戀女生換臉

據央視新聞近日報道,“ai換臉”相信大家都不陌生。只需要一張照片,通過人工智能深度合成技術,任何人都能成為視頻中的主人公,甚至連表情和動作都能以假亂真。然而,這項新技術,卻讓一些人產生了不良想法,杭州的虞某就利用“ai換臉”軟件生成大量淫穢視頻進行傳播,被換臉的有不少女明星等公眾人物,虞某甚至還提供換臉定製服務。

2022年8月,杭州市蕭山警方在網上巡查中獲取一條線索,轄區內有人利用ai技術製作淫穢視頻在網上進行大量傳播,警方依法對此立案偵查,並迅速抓獲了犯罪嫌疑人虞某,隨後該案被移送至杭州市蕭山區人民檢察院審查起訴。

杭州市蕭山區人民檢察院檢察委員會專職委員 章蕾:虞某通過在互聯網上發現了有一個ai換臉的技術軟件,他自己通過學習這個軟件,掌握了使用技能,從此開始利用ai換臉的技術去牟利。

檢察機關調查發現,虞某從2020年開始接觸“ai換臉”軟件,起初,他想通過在網上推廣該項技術以及相關的軟件來獲利,但是,一段時間過後關注他的人卻很少,一次偶然的機會,虞某看到有人在社交群組中發布淫穢信息來吸引他人關注,於是他也動起了類似念頭。

杭州市蕭山區人民檢察院第七檢察部檢察官助理 陳禹堯:他可能發現僅僅通過販賣軟件的方式,可能很難獲取到一般人的關注。因為他在網絡上看到有一些網絡群組在傳播一些淫穢色情視頻,他就想到說通過換臉軟件製作一些淫穢色情視頻,然後先放在互聯網群組上,從而吸引流量,吸引大家來關注這個軟件或者換臉視頻。

據虞某供述,為了吸引更多的關注和流量,他在社交軟件上創建了“瀏覽群”和“私人定製群”,“瀏覽群”主要用來傳播“ai換臉”的淫穢視頻吸引、招攬觀看者,其中包括一些經過虞某換臉的視頻,當有人提出“定製換臉”的需求,虞某會將這些人引入所謂“私人定製群”。

杭州市蕭山區人民檢察院第七檢察部檢察官助理 陳禹堯:通過收取入(瀏覽)群費用的方式,一個198元、298元或者398元。另外一個就是虞某還提供人臉視頻定製服務,相當於客戶如果需要定製一個換臉的視頻,他可以根據時長,根據視頻的難度大小收取相應的費用。

私人定製→“只要能看到臉的都能換”

據檢察機關調查,虞某一邊通過傳播換臉的淫穢視頻來“吸粉引流”,同時又通過出售“ai換臉”軟件和提供所謂“ai換臉”的私人定製服務,在不到半年的時間裡就獲利數萬元。而被“ai換臉”侵害人臉敏感信息的受害者,不僅包括多位知名公眾人物,還有很多不特定的普通人。

據檢察機關調查,虞某根據“ai換臉”視頻的長度、清晰度等難易條件,按照5分鐘300元、10分鐘500元等標準來收取定製的費用。虞某聲稱,“只要能看到臉的都能換”。

杭州市蕭山區人民檢察院第七檢察部檢察官助理 陳禹堯:首先這個價格也是他自己定的,再一個初級、中級、高級,可能在這個視頻最後完成換臉的效果上有一定的區別。有些人可能一開始購買了初級的教程,初級的一些素材和材料,發現最後達到的效果不能達到他所期望的效果,那麼有可能會繼續付費去購買一些高級的視頻,包括高級教程。

杭州市蕭山區人民檢察院檢察委員會專職委員 章蕾:他通過vip定製,就是客戶提要求“我今天想要把臉換成是誰的臉,你幫我定製一下,我支付相應的報酬”,通過這樣牟利的方式。

“定製”換臉對象既有公眾人物也有普通人

據檢察機關了解,虞某的客戶要求“定製”換臉的對象不僅包括一些知名的公眾人物,也有生活中的普通人,其中就有人提出想要定製自己暗戀女生的換臉視頻,而對於這些未經同意就擅自侵犯他人敏感信息的違法行為,虞某也是來者不拒。

另外,虞某除了進行定製化的換臉服務,還將“ai換臉”軟件分為初級、中級和高級三個等級進行銷售並傳授使用教程,同時還提供網上非法收集的他人人臉素材。

杭州市蕭山區人民檢察院第七檢察部檢察官助理 陳禹堯:這個軟件的入門的門檻其實是比較低的,它的操作相當於通過一些已經設定好了的運行的程序和代碼,相當於我只要按照你的步驟,把需要進行換臉的視頻放在它規定的一個文件夾里,或者是按照步驟來進行操作,它自動對你所要替換的人臉視頻裡面的人臉信息,或者照片里的信息是自動提取,自動建立學習模型進行學習,然後下一步是自動進行合成的。

據檢察機關收集的證據顯示,虞某創建的眾多社交群組中,最少的成員95人,最多的成員達2053人,通過銷售換臉淫穢視頻以及定製換臉淫穢視頻等違法行為,虞某先後收取口令紅包200餘次,總金額共計6萬餘元。

除追究刑責

檢察機關還提起民事公益訴訟

檢察機關認為,作為“ai換臉”技術的使用者,虞某通過傳播侵犯公民個人信息的方法和手段,使得更多“不特定主體”個人信息被侵害的社會危險性進一步擴大。因此,杭州市蕭山區人民檢察院在依法追究虞某刑事責任外,同時還提起民事公益訴訟。2023年7月,杭州互聯網法院對這起公益訴訟案進行審理,這也是我國首例關於“ai換臉”侵犯公民個人信息公益訴訟案的審理判決。

2023年4月14日,杭州蕭山區人民檢察院決定對虞某“ai換臉”侵犯公民個人信息公益訴訟案立案,當日履行公告程序,公告期滿,無適格主體提起訴訟。6月9日,檢察機關依法對虞某提起民事公益訴訟。7月28日,該案在杭州互聯網法院一審公開審理。

在庭審中,檢察機關出示了虞某侵犯公民個人信息、損害社會公共利益的詳細證據,包括公安機關對虞某所作的訊問、詢問筆錄、勘驗記錄、檢查記錄、鑒定意見,以及淫穢視頻1200多部、圖片1600多張等電子數據。

杭州互聯網法院互聯網審判第一庭庭長 肖芄:過去我們常常認為眼見為實,耳聽為實,但是隨着深度合成技術以及新技術的運用,我們眼見也不一定為實,新技術的不當應用或者是一種濫用,實際上衝擊了我們社會公眾主體相互之間的信任關係,特別是在互聯網空間這樣一種建立起來的信任關係。那麼對於這種信任關係、社會關係的一種侵害,其實本身也是對社會秩序的一種損害。

杭州互聯網法院經審理認為,虞某利用“ai換臉”技術侵犯公民個人信息的違法事實確鑿,因此支持檢察機關作為公益訴訟起訴人的全部訴訟請求:判令被告虞某刪除非法獲取的個人信息,公開賠禮道歉、消除影響並賠償損失共60000元,這些款項將專門用於個人信息保護、人臉深度合成技術不當應用的治理等公益事項。

杭州互聯網法院常務副院長 朱敏明:任何一項新技術,首先這個技術它總是有中立性的,那麼在技術本身我們是持接納支持的這種態度,但是技術開發應用的目的,它必須是有利於全人類的公益,不能是為了這個技術,用於個人的非法牟利,然後侵犯其他公民、集體、國家、社會的合法權益,一旦越界了就要承擔相應的責任。那麼這個案子中因為由檢察院來提起公益訴訟,然後法院來依法審判,充分發揮審判司法職能對新技術的規範。

技術無善惡但有邊界

須在法律規制內使用

2023年11月,杭州市蕭山區人民法院判決被告人虞某犯製作、傳播淫穢物品牟利罪,判處有期徒刑七年三個月,並處罰金6萬元。

“僅憑几張照片,任何人都可能成為受害者。” 從網絡主播換臉女明星直播帶貨,再到換臉被嫁接到淫穢視頻中,濫用“ai換臉”技術實施各類侵犯個人信息的行為時有發生,甚至在灰色領域甚至違法犯罪領域濫用。那麼,“ai換臉”技術的法律邊界在哪裡,又該如何規範和治理呢?

杭州互聯網法院互聯網審判第一庭庭長 肖芄:我們國家的民法典對於侵害他人,通過深度偽造方式侵害他人人身權益是有明確的規定的,禁止通過深度合成的方式去侵害公民的人身財產權益,這是民法典的規定。隨着技術的發展,個人信息保護法對於深度合成也有相關的規定,因為不管是面部的一個替換還是聲音的替換,它實際上都需要收集公民的個人信息,那麼這些都是屬於個人信息保護法特別保護的敏感的生物識別信息。

我國目前除了“民法典”“個人信息保護法”,2023年正式實施的《互聯網信息服務深度合成管理規定》《生成式人工智能服務管理暫行辦法》中也明確規定,強調使用者不得利用深度合成服務從事法律、行政法規禁止的活動,要求深度合成服務提供者要落實信息安全主體責任。

注意!“ai換臉”用來搞笑也存法律風險

法官認為, “ai換臉”技術即便只是用來搞笑或者製作惡搞照片,也有可能涉及侵犯肖像權、名譽權,造成嚴重後果的,還可能構成侮辱罪或者誹謗罪。

而“ai換臉”技術的濫用,看似是對被侵害的個人的人格權、肖像權、名譽權、隱私權的侵害,實際上更是對社會公序良俗的踐踏,是對穩定的社會環境和清朗的網絡空間的挑戰。

杭州互聯網法院常務副院長 朱敏明:一項新技術的產生往往專門針對這項新技術的法律法規會有所滯後,但是總的來說我們現在國家整個的法治體系已經相當完善,每個人你哪些行為是可以做的,哪些行為是不可以做的,它的原則性規定都是已經比較健全了。我想正常人都是能夠判斷得出來的,你去運用這項新技術,你的目的是有益於整個人類,有利於就是人民生活水平的提升,福祉的提升,還是說為了個人謀取不當的利益。那麼我就想把握好這個界限,這些新技術都是能夠為我們美好生活服務的。

(總台央視記者 張崗 李志貴)