讓facebook束手無策的“兒童色情攻擊”,最近成了眾多中國家長的噩夢。
表面上是兒童動畫片,但伴隨著輕快的音樂,畫面突然就出現(xiàn)了裸露的卡通人物,隨著劇情發(fā)展,卡通人物開始被灌腸、虐待,成人看了都會不適。但這些血腥、色情的內(nèi)容,都被隱含在小豬佩奇、艾沙公主、蜘蛛俠等經(jīng)典兒童影視作品中。
1月18日,有微博網(wǎng)友舉報,這些經(jīng)過“二次改編”的不良視頻已在騰訊、愛奇藝等頭部視頻網(wǎng)站上傳播已久。只要搜索“艾沙”、“蜘蛛俠”、“小豬佩奇”等關鍵字,相關視頻就會處于搜索列表的頂部。
不僅是騰訊、愛奇藝,這些視頻幾乎“入侵了”所有帶視頻功能的網(wǎng)站??焓謱Α敦斀?jīng)》記者表示,該公司也發(fā)現(xiàn)了少量相關視頻,目前已采取了屏蔽關鍵詞等措施。
事件的嚴重性引起了相關部門重視,1月22日上午,北京市行政市場執(zhí)法總隊發(fā)布了關于查禁“兒童邪典視頻”工作的緊急通知,要求包括視頻、搜索引擎及游戲在內(nèi)的機構立刻將其下架,并不得傳播、利用。
內(nèi)容審核一直是視頻網(wǎng)站的難題。去年年初,類似事件曾讓facebook束手無策。Facebook旗下視頻網(wǎng)站YouTube,突然涌現(xiàn)了大量兒童不宜的動畫。其中以迪士尼動畫片《冰雪奇緣》里艾莎公主的改編視頻傳播最廣。視頻中,艾莎接受了各種開喉嚨、開顱手術,畫面血腥,已被瀏覽了上百萬次。
時隔一年,這波“襲擊”到了中國。1月23日晚,微博在聲明中稱,經(jīng)過技術偵測,發(fā)現(xiàn)存在大規(guī)模惡意有組織的上傳行為。而上傳這些內(nèi)容的賬號都是UGC用戶(原創(chuàng)用戶),部分賬號的訂閱超過數(shù)萬,按照這個規(guī)模,觀看過的兒童不在少數(shù)。這些賬號不僅從外網(wǎng)搬運,有些甚至還上傳了本土制造的不良動畫視頻。
1月22日,全國“掃黃打非”辦公室部署廣東省“掃黃打非”辦公室對涉嫌制作傳播兒童色情視頻的廣州胤鈞貿(mào)易有限公司制作傳播涉兒童有害視頻一案依法進行調(diào)查。執(zhí)法部門已要求該公司將其所有相關視頻下線,并依法查封兩處生產(chǎn)經(jīng)營場所,扣押用于生產(chǎn)經(jīng)營的專用工具和設備,責令當事人停止生產(chǎn)經(jīng)營活動。
由于不良視頻的總量大,分布廣,密集上線,變種類型多,騰訊視頻已緊急組建了100人的清理小組,進行24小時排查。
截止目前,騰訊下架涉兒童邪典原視頻1464條,對23萬存疑視頻作批量下架,對53萬余條視頻作撤回復審;封禁惡意賬號621個。而微博則稱已永久封停上傳帳號87個,禁止有害上傳及屏蔽搜索關鍵詞4755個。
多數(shù)接受《財經(jīng)》記者采訪的視頻網(wǎng)站都表示,事件對目前視頻平臺UGC的審核方法、技術手段都提出了新的挑戰(zhàn)。
這些視頻大都出現(xiàn)在幾個月、甚至半年前,但并沒有被察覺。一位業(yè)內(nèi)人士分析說,視頻大都被歸入了親子、少兒、動漫分類,至多被標上“惡搞”標簽。
據(jù)了解,大部分視頻網(wǎng)站都采取先機器識別、視頻抽幀再人工復核的審核流程。一位圖像識別專業(yè)人士對《財經(jīng)》記者表示,人工智能可以對一些確定的角色和劇情進行識別,比如人物是否穿衣等,這種情況下,識別率能達90%。
“但小豬佩奇的情況要復雜得多,” 人工智能專家劉鋒對《財經(jīng)》解釋,“這些內(nèi)容和劇情不完全跟色情有關,有些甚至涉及到不健康的世界觀,都比簡單的識別色情更難。” 更重要的是,在以往的數(shù)據(jù)庫中,類似小豬佩奇、艾莎公主這樣的內(nèi)容從未被認為是恐怖、色情,因而由于缺乏模型訓練,人工智能無從識別。
此外,場景識別是另一個難點。“這些視頻里有人穿著蜘蛛俠服裝,很容易跟cosplay混淆。”另一位專業(yè)人士對《財經(jīng)》表示。
因此,這些視頻很可能在機器識別階段就逃過了審核。要杜絕此類事件的發(fā)生,目前難有萬全之策,依然要靠大量的人力投入。
去年“艾沙門”發(fā)生后,facebook曾在已有的4500名視頻審核員的基礎上,又緊急額外雇傭了3000名。歷時半年,至2017年 11月才逐漸平息那場兒童色情暴力視頻風波,刪除的視頻超過15萬個。
一位行業(yè)人士對《財經(jīng)》表示,在國內(nèi),人工核查部分大部分公司都采取外包的形式,優(yōu)先審查被舉報的視頻。但現(xiàn)在看來,視頻網(wǎng)站需要更多元的手段和處理方式,包括加強對UGC上傳者的資質(zhì)認證。
此外,視頻網(wǎng)站的另一個挑戰(zhàn)是,視頻內(nèi)容審核應該配合人工智能,不斷豐富知識庫,提升圖像識別能力的同時,人工細化視頻判定等級。比如對“不裸露但模擬性交”的情況進行人工標注。