人工智能生成儿童性剥削内容检测:ChatGPT发出警告并实施24小时使用限制

区块链文库报道:

OpenAI 发布 AI 生成儿童性虐待内容检测分类器并实施 ChatGPT 违规警告机制

人工智能公司 OpenAI 近日公开了一种能够检测由人工智能生成的儿童性虐待内容的图像分类器。同时,针对试图在 ChatGPT 中查找相关非法资料的用戶,OpenAI 引入了警告提示及 24 小时使用限制措施。

新型分类器的工作原理与优势

该新型图像分类器通过分析图像的视觉特征来评估风险等级,从而为审查人员提供优先处理建议。OpenAI 于当地时间 16 日在官方声明中表示,此次发布的措施包括图像分类器、ChatGPT 警告系统、开发者指南以及协助执法机构的工具。

此分类器是在美国失踪与受虐儿童中心(NCMEC)的协助下开发的,并向经过审核的机构免费开放 API 接口。与传统依赖数字指纹比对的传统哈希对照技术不同,新分类器能够识别尚未被列入黑名单的新图像或 AI 生成内容。OpenAI 指出,传统方法难以应对未收录的新图像,因此新分类器旨在作为现有保护机制的重要补充。

测试数据与效果评估

根据 OpenAI 对用户上传图片进行的内部评估,新分类器在发现性虐待内容的数量上与现有保护机制相当,但其标记为需审查的图像数量减少了 48%。此外,新分类器标记的图像实际包含性虐待内容的概率约为旧机制的两倍。

在合作伙伴 fal 进行的独立图像测试中,72% 的高置信度标记案例被判定为此前未被发现的性虐待内容。其他合作方的测试结果也表现良好:

  • InVideo AI:在评估中,每 4 个被标记的案例中有 1 个导致了用户账户暂停。
  • SafetyKit:成功探测到 90% 涉及以性方式描绘儿童的绘画和动画内容。

ChatGPT 违规处理与全球部署

当 ChatGPT 检测到用户请求查找相关资料时,系统将弹出警告并中断对话。对于已登录用户,OpenAI 将隐藏其对话记录,并暂停其访问 ChatGPT 的服务 24 小时。重复违规行为可能导致更长的使用限制甚至账户关闭,并可能被上报给当局。警告信息中还包含了引导用户停止有害行为的专业支持指引。

根据产品帮助文档,这些措施将在全球范围内分阶段实施,覆盖网页端和移动端的个人账户聊天及工作模式,未登录用户也将看到警告提示。目前,商业、企业、教育和医疗专用空间尚未纳入适用范围,语音模式、桌面应用程序以及 Codex 服务也暂时排除在外。

开发者支持与执法协作

OpenAI 发布了新的开发者指南,详细说明了预防、检测和报告有害内容的流程,建议结合传统哈希对照、新型分类器以及人工审查等多种手段。对于执法机构,OpenAI 提供了专门工具和培训,用于审查根据法律程序提交的长对话记录。首个工具旨在按时间顺序整理潜在相关内容,并将结果与原始材料关联。

OpenAI 表示,此次举措是今年 4 月发布的《儿童安全蓝图》的后续行动。该蓝图涵盖了应对 AI 生成性虐待内容的立法完善、加强企业与执法机构的合作以及在 AI 设计阶段嵌入安全措施等内容。此前,OpenAI 承诺投入 200 万美元(约 26.7 亿韩元)开发衡量 AI 对儿童风险与机遇的工具。

局限性与未来展望

NCMEC 评价称,新分类器有助于发现和报告此前未被识别的性虐待内容,并为寻找和保护受害者提供必要信息,多个机构的使用也将增强儿童安全防护体系。然而,OpenAI 在模型说明中指出,分类器可能存在误报正常图像或漏报有害内容的情况。由于不同服务中的图像构成和使用环境存在差异,性能可能有所不同,因此在举报前仍需由受过训练的专业人员进行确认。

© 版权声明
THE END
喜欢就支持一下吧
分享