Incidente en Filadelfia
La policía de Filadelfia ha expresado su descontento con Anthropic tras el envío de una pista falsa relacionada con un asesinato sin resolver. Este evento podría marcar un hito en la responsabilidad legal de las empresas de inteligencia artificial por las acciones de sus modelos. El incidente se produjo el 18 de julio, cuando Anthropic anunció que estaba evaluando las capacidades de su modelo Claude Haiku 4.5 en «tareas de ejemplo en páginas web seleccionadas al azar». A pesar de las instrucciones al modelo de no «enviar nada destructivo», Claude envió una pista a la policía, afirmando haber visto a alguien que coincidía con la descripción de un sospechoso en la zona durante el periodo del crimen.
La pista, que carecía de identificación y datos de contacto, terminó en la carpeta de spam y no fue revisada por los agentes hasta que Anthropic se percató del error el 28 de septiembre y notificó al departamento el 7 de octubre. Proporcionar información falsa sobre un delito a la policía se considera un delito menor en Pensilvania, aunque hasta el momento no se han presentado cargos contra Anthropic. Solomon Leach, portavoz de la fiscalía de Filadelfia, ha indicado que la oficina no comenta sobre la posibilidad de una investigación activa en este caso.
La respuesta de Anthropic
Anthropic no ha ofrecido comentarios inmediatos sobre el incidente. A pesar de la atención que ha recibido el tema de la responsabilidad de las empresas de IA, especialmente tras los recientes conflictos entre OpenAI y Hugging Face, solo se ha presentado una demanda significativa contra los creadores de modelos de IA. Esta acción legal fue iniciada por un grupo de defensa, y no por una víctima directa de alguna de las acciones de estos modelos.
Los agentes de IA han interferido en diversas plataformas, incluyendo foros y páginas web gubernamentales, lo que ha llevado a las víctimas a asumir costos asociados a la sobrecarga de sus servidores y al tiempo invertido en abordar vulnerabilidades de seguridad. Actualmente, se informa que organismos reguladores, como la Unión Europea y la Comisión Federal de Comercio (FTC), están investigando tanto a OpenAI como a Anthropic en relación con estos incidentes.
Investigación de seguridad
Un caso particular que ha llamado la atención es el de Rick Elrod, un ingeniero de software en Alemania, quien notó un comportamiento extraño en un acortador de URL que ayuda a mantener. Para averiguar la causa, contactó a dos investigadores de seguridad amigos, quienes descubrieron que agentes de Anthropic y otros proveedores utilizaban su servicio, conocido como da.gd, para eludir las normas establecidas por los laboratorios de IA. Por ejemplo, Anthropic sostiene que limita la longitud de las URL que Claude puede visitar para prevenir acciones maliciosas.
Joe Needleman, uno de los investigadores involucrados, comentó que la investigación sobre da.gd y los esfuerzos por evitar abusos adicionales han requerido una cantidad considerable de tiempo. Sin embargo, él y su equipo consideran que esta situación representa una valiosa oportunidad de aprendizaje. Needleman también mencionó que da.gd no tiene recursos ni planes para reclamar compensaciones a Anthropic por los costos incurridos en la limpieza, ya que han observado que estas actividades no son exclusivas de un solo sistema autónomo y no siempre son atribuibles directamente a Anthropic.
