警方调查到,消息的发布账号归属于江西南昌的一家MCN机构。这家公司的实际控制人为王某某。
在约谈中,警方从王某某处得知,网上发布的西安发生爆炸这条谣言,从文本到图片,竟然全都是通过AI生成的。
江西南昌市公安局高新分局网络安全保卫大队大队长 李毅:违法人员王某某通过国内一个网站,该网站是专门提供近期可能生成热点的一些新闻报道,或者说正在发生或即将发生的一类的事情,分级分类提供给写作者一些关键性的关键词,通过该网站生成关键词就形成了文章的标题。
王某某通过具有语音交互功能的AI软件,只需说出关键词,软件便会自动在网络上抓取相关信息,生成几百到上千字的文本,并配上貌似和事件具有相关性的虚假图片,从而形成一段看起来信息量很大,实际上子虚乌有的内容。
违法人员王某某将AI生成的这些内容,使用另一款软件自动上传到该MCN机构控制的多网络平台不同的账号上,并对外发布。
一天能生成4000至7000篇
每天的收入在1万元以上
通过AI软件生成内容的方式,这家MCN机构短时间内生成了大量的文章,最高峰一天能生成4000至7000篇。
江西南昌市公安局高新分局网络安全保卫大队大队长 李毅:王某某生成文章之后推送到各平台,然后通过关注阅读的方式,阅读量比如说达到1万,它就是系数1,然后再乘以关注、转发、评论,再乘以一个1.5的系数,最终生成平台支付给他的报酬。同时如果有广告收入的话,另行支付。他平均每天通过AI工具发布的是4000到7000条信息,最高的一条收入是700元。经初步的估算,每天的收入在1万元以上。
经警方调查,王某某共经营了5家MCN机构,运营账号842个,自今年1月以来,其中一家MCN机构利用其账号陆续在某平台上发布了“西安2024年1月10日发生爆炸,导致建筑、车辆炸毁、人员伤亡”等多条谣言信息。
经查,王某某的行为构成传播谣言虚构事实扰乱公共秩序。目前,南昌警方依据中华人民共和国治安管理处罚法相关规定,依法对王某某处以行政拘留5日,责令涉案MCN机构停业整改。
故意模仿新闻风格
迷惑性更强
江西南昌市公安局高新分局网络安全保卫大队大队长 李毅:以新闻撰稿人的角度、方向、语气,对下列关键词如“爆炸”“民生”等等信息,要求AI软件生成文章、新闻热点类的图片,全程基本不需要人工参与,所以导致在操作过程中产生了这样的谣言信息。
而涉及险情或灾情的虚假消息,更能获取高流量。
2023年12月25日,一则“重庆巫溪一民房发生爆炸事故,4人不幸遇难,官方紧急介入调查”的消息在某网络平台上发布,全文500余字,以新闻报道的口吻提供了重庆巫溪县“突发爆炸事故,现场情况十分惨烈”“发现了4名遇难者,其中包括一名儿童”“疑似与居民私拉乱接电线有关,调查组将进一步搜集证据”等细节,短时间内这则所谓的“突发新闻”便获得了几万次的点击量。阅读量暴涨,让之前在网上发文没有任何流量的康某某一开始还有些兴奋。
违法行为人 康某某:当时我发了20多条,没有啥收益,后来看了一个爆炸的新闻点赞好几十万,我就输了一个“重庆爆炸”,它就自动生成了,我就复制它的标题和文章进行发表。
重庆市梁平区公安局龙门派出所民警 毛云灿:康某某也是承认了自己利用AI工具生成了一篇虚假文章并发表在网上这一事实。但康某某显然没有意识到自己的行为已经触犯了相关法律,他认为只要自己将这篇文章给删掉,就没有事了,但其实他这样的行为,需要承担相应的法律后果。
重庆市梁平区公安局龙门派出所民警 毛云灿:康某某的行为违反了治安管理处罚法第二十五条之规定,公安机关依法对其行政拘留三日,收缴其违法所得,并封禁了其网络账号。
重庆市公安局网安总队民警陈鹏指出:在互联网科技时代,当下AI技术不但能生成文本,还能生成逼近真实的图片和音视频,这就完全颠覆了我们常规认知里的“有图就有真相”,使我们对网络谣言本身难辨其真假。也使网络谣言的社会危害性变得更大。网络并非法外之地,对于在互联网上发布不实言论、扰乱社会秩序的,公安机关将坚决依法处理,对于造成恶劣影响、情节严重的,公安机关将依法追究其法律责任。