净网行动:内容审核体系,把控产品风险

最新文章

对于资讯类产品和内容内产品来说,内容审核是必不可少的环节之一。用户发布的内容不受平台控制,而部分内容会给平台造成风险,审核是阻断内容风险的主要方式。

何为内容审核?

简单来说就是:对用户在社交平台上上传、发布或共享的内容(文字,图片,音频,视频)进行审查。

内容的安全直接影响网站后期能否持续被访问,审查是为了避免用户发布违法不良内容,让平台承受整改关停风险。有关部门会时不时对平台内容进行抽查,一旦被查到轻则点名批评、重则关停封杀。

互联网上每日发布海量内容,单单微博的评论日均可达亿级以上。同时,随着时代发展,在传统的图文内容以上,音视频、直播、弹幕等内容形式的兴起,对于内容审核的挑战日益增大。

很明显,在风险和用户体验双重重压之下,仅依赖人工审核是不现实的,使用机器审核并初步过滤风险内容才是最优的选择。

AI审核支持自动审核用户在社区中提交的所有文字、图片、视频、音频,防止社区中出现严重违规内容,减轻运营人员、管理人员工作负担。

敏感词功能主要是替换,简单来说就是将相关敏感词在后台上传,用户在前后台进行发帖、回复、更改昵称等行为时,若触发敏感词,则对该敏感词用**替换。
管理员设置敏感词二次审核后,用户发布的内容通过了AI审核,还需经过本地敏感词审核,敏感词库作为社区内容安全二次防线,避免出现不符合社区规范的内容。

社区内容安全的第三次防线是用户举报审核。有很多违规内容以前没有出现过;所以不在规则可以过滤的范围内,或者非常隐蔽,规则难以严格过滤。用户的投诉是发现新问题的重要渠道。

审核是对产品风险的把控,也是维护网络生态环境中重要的一环。