知Yizhi Daily
← Volver a esta edición

IA

OpenAI lanza un clasificador de imágenes de material de abuso sexual infantil y alertas en ChatGPT

Edición 2026-11-17 · 08:00 Hora de Pekín

OpenAI publicó varias herramientas para prevenir el CSAM, incluido un clasificador que puede identificar imágenes de abuso sexual infantil generadas por IA, alertas en ChatGPT y un mecanismo de suspensión de 24 horas, guías para desarrolladores y herramientas para las fuerzas del orden. Las pruebas iniciales con colaboradores mostraron que el clasificador marcó un 48% menos de imágenes al detectar la misma cantidad de imágenes de abuso.

OpenAI anunció el lanzamiento de nuevas herramientas para hacer frente al material de abuso sexual infantil (CSAM), que incluyen un nuevo clasificador de imágenes, alertas y suspensiones temporales en ChatGPT, una guía para desarrolladores y un conjunto de herramientas para los organismos encargados de hacer cumplir la ley. La empresa afirmó que el nuevo clasificador puede detectar imágenes de CSAM, incluidas imágenes generadas por IA, y está disponible gratuitamente a través de una API para algunas empresas. La herramienta busca signos visuales de abuso no vistos previamente en las imágenes y asigna una puntuación, ofreciendo una orientación a los moderadores de contenido.

OpenAI afirmó que el clasificador se desarrolló conjuntamente con el Centro Nacional para Menores Desaparecidos y Explotados de Estados Unidos (NCMEC) y que está colaborando con Tech Coalition y ROOST para compartir el acceso. En las pruebas iniciales con socios, el clasificador redujo en un 48% el número de imágenes marcadas al detectar la misma cantidad de imágenes de abuso, reduciendo así la carga de trabajo de moderación; las imágenes que marcó tenían el doble de probabilidades de ser imágenes de abuso.

ChatGPT añadirá una página de alerta. Cuando los usuarios intenten enviar instrucciones que sexualicen a menores, el sistema mostrará una advertencia, los dirigirá a apoyo especializado para que detengan su conducta dañina y suspenderá la cuenta durante 24 horas como medida disuasoria. La plataforma ya bloqueaba previamente el contenido de CSAM y las solicitudes relacionadas, y OpenAI afirmó que las infracciones reiteradas pueden provocar la eliminación permanente de la cuenta. La información y las directrices contaron con la participación de organizaciones e investigadores como Protect Children, Lucy Faithfull Foundation y Joel Scanlan, de la Universidad de Tasmania; este último también evaluó de forma independiente el ensayo de mensajes disuasorios.

OpenAI también publicó una guía para desarrolladores que explica cómo usar sus herramientas para prevenir y detectar el CSAM y ayudar a los usuarios a denunciarlo. La empresa afirmó que las pruebas iniciales ya han ayudado a varios desarrolladores a adoptar herramientas de seguridad infantil y a registrarse para presentar denuncias ante el NCMEC. Para los agentes del orden que tramitan casos de seguridad infantil, OpenAI también ofrece funciones de IA como complementos especializados, herramientas de investigación y análisis complejo de datos, con acceso gestionado por administradores de proyectos, además de formación para investigadores y una guía práctica sobre el uso de la IA.

Fuentes originales

TechCrunch ↗
Volver a esta ediciónAbrir lector interactivo