5月16日,钛媒体获悉,今日头条“灵犬反低俗助手”日前已经完成服务升级,新增反色情短文本模型和反谩骂模型,将准确率从73%提升至82%,提高了9个百分点。截至目前,已经有超过60万人次使用“灵犬”小程序,参与打击低俗,净化网络环境。
这是“灵犬”4月上线以来,第一次大规模更新。“灵犬”只需要一段文字或文章链接就能检测内容健康指数,并返回鉴定结果,包括是否可以获得算法推荐,是否需要引入人工判断等。对于用户输入的内容,“灵犬”会先进行提取、分词和语义识别,然后根据算法规则,输出对应的分数、评级和结论。
目前,AI开展反低俗工作至少有三个难点:一是识别“内涵色情”,这类场景需要联想能力,对机器学习要求很高;二是短文本识别,一般来说,机器接收的上下文、语境越充分,判断准确度才会越高;三是对书面语和口头语的分辨,相比规范的书面语,口头语很随意,变化程度大,较难识别。
据今日头条总编辑张辅评介绍,“灵犬”制定了专门的低俗分类标准,并新建反色情短文本模型,学习了近万个标准案例,重点加强对短文本、色情、内涵色情的识别,同时注意口语语言和标题语言两个维度的覆盖。“灵犬”还新建反谩骂模型,加强对谩骂内容的识别。