罗布乐思AI聊天审核效果不错 但没法替代真人

大型游戏创作平台《罗布乐思》已经使用机器学习 AI 进行语音聊天审核长达一年，由于该游戏有着大量的儿童用户，公司非常重视审核。在近日举办的 GDC  2024 年游戏开发者大会期间，罗布乐思公司高级技术总监 Kiran Bhat 和语音安全负责人 Hannes Heikinheimo 透露虽然 AI 审核取得了良好的效果，但有时候真正的人类还是能把这项工作做的更好。

Bhat 在演讲中说道：“实时监控语音听起来很难，因为要监控语音，你不仅要知道对方在说什么，还要捕捉对方说话的语气和强度，以判断某段话是否真的具有恶意。”

“上下文也是判断某段话是否具有冒犯性的一部分。所以这是一个非常困难的问题。”

他继续解释道，公司通过将违规内容涵盖到 4 个主要类别当中来应对这些问题，并表示 85% 的违规内容都属于这些分类，而且“绝大多数”都可以通过 50 个关键词来捕获。他表示：“如果你已经涵盖这些类别的前 50 个关键词，那么已经做的很不错了。“

语音安全负责人 Heikinheimo 声称 AI 监管取得了令人印象深刻的成果：在运行一年后，该系统已覆盖 31 个国家地区，并且每段“活跃聊天时间”的违规举报数量减少了一半。使用 AI 的一个优势是他们没有情感且不会疲惫，因此在“非常明显的违规情况下，机器比人类更有效、更稳定”。但是，道高一尺魔高一丈，想要真正理解意图和进行判断，他认为“人类仍然强过机器”。

Heikinheimo 说道：“在那些可能非常接近判定边缘的东西上，人类仍然表现更好。或者在非常罕见的情况下，我们没有那么多数据供机器学习系统训练。所以在这些情况下，人类仍然表现更好。”