AI 前沿
OpenAI推出儿童性虐待材料图像分类器和ChatGPT警示
OpenAI发布多项防范CSAM工具,包括可识别AI生成儿童性虐待图像的分类器、ChatGPT警示和24小时暂停机制、开发者指南及执法工具。早期合作测试显示,分类器在发现相同数量虐待图像时少标记48%图片。
OpenAI宣布推出应对儿童性虐待材料(CSAM)的新工具,涵盖新的图像分类器、ChatGPT警示与临时封禁、面向开发者的指南,以及给执法机构的一组工具。公司称新分类器可检测CSAM图像,包括AI生成图像,并通过API向部分公司免费开放。该工具寻找图像中此前未见的虐待视觉迹象并给出评分,为审核人员提供判断方向。
OpenAI表示,分类器是与美国国家失踪与受剥削儿童中心(NCMEC)共同开发,并正与Tech Coalition和ROOST合作分享访问权限。在与伙伴开展的早期测试中,分类器在发现相同数量虐待图像的情况下,标记图片数量减少48%,从而降低审核工作量;被其标记的图像属于虐待图像的可能性为原来的两倍。
ChatGPT将新增警示页面。用户尝试提出将儿童性化的提示时,系统会显示警告,引导其获取专门支持以停止有害行为,并将账户暂停24小时作为警示。平台此前已屏蔽CSAM内容及相关请求,OpenAI称反复违规可能导致账户被永久删除。相关信息和指引由Protect Children、Lucy Faithfull Foundation以及塔斯马尼亚大学Joel Scanlan等组织和研究者参与制定,后者还独立评估了威慑信息试验。
OpenAI同时发布开发者指南,说明如何使用其工具预防、检测并协助用户报告CSAM。公司称早期测试已帮助多家开发者采用儿童安全工具并注册向NCMEC报告。面向处理儿童安全案件的执法人员,OpenAI还提供专用插件、调查工具、复杂数据分析等AI功能,由项目管理员管理访问,并提供调查员培训和AI使用现场指南。