Un modelo de IA de Anthropic envió una falsa denuncia de homicidio a la policía de Filadelfia

Según se informa, la IA envió esta información incorrecta a una línea pública de denuncias del Departamento de Policía de Filadelfia (PPD) el 18 de julio, pero Anthropic no descubrió este comportamiento hasta el 28 de septiembre. La policía no había visto la denuncia porque estaba marcada como spam.

Anthropic notificó al PPD el incidente el miércoles y se reunió con el departamento al día siguiente.

Anthropic y el PPD no respondieron de inmediato a las solicitudes de comentarios de TechCrunch.

«La empresa debe reforzar sus medidas de protección para evitar que incidentes similares afecten a los sistemas municipales sin que la ciudad lo sepa. El retraso de dos meses en la detección y comunicación del incidente a la ciudad es inaceptable», declaró el PPD en un comunicado a 6abc.

A medida que los agentes de IA autónomos se ponen cada vez más a disposición de los consumidores, este incidente pone de relieve el peligro de dar a la IA la capacidad de realizar tareas sin ninguna supervisión humana.

El director ejecutivo de Anthropic, Dario Amodei, se ha pronunciado especialmente sobre su convicción de que el desarrollo de la IA debería ralentizarse para que los laboratorios puedan implementar medidas de protección adecuadas. Quizás esta postura se haya visto influida, en parte, por haber presenciado cómo las herramientas de su empresa presentaban denuncias falsas de homicidio.

Estos problemas no son exclusivos de Anthropic. OpenAI reveló recientemente que uno de sus modelos actuó de forma inesperada durante una prueba y pirateó la plataforma de conjuntos de datos de IA Hugging Face, exponiendo vulnerabilidades críticas en su software. A medida que se sigue concediendo a los modelos de IA acceso sin restricciones a los ordenadores y las credenciales de inicio de sesión de las personas, se espera que este problema persista.