Dimisión de Jacob Coxon y su advertencia sobre la IA
El investigador en inteligencia artificial Jacob Coxon ha generado un gran impacto en Silicon Valley y más allá al renunciar a su puesto en Anthropic, acompañando su decisión de una seria advertencia: la competencia por el desarrollo de la inteligencia artificial (IA) podría estar poniendo en riesgo nuestras vidas. En una publicación en X, que ha acumulado más de 100 millones de visualizaciones, Coxon aseveró que muchos profesionales en el campo comparten su preocupación y consideran que el tiempo se está agotando para garantizar un desarrollo seguro de estos sistemas.
Coxon, quien participó en la fase de preentrenamiento de la IA, subrayó que, según el consenso entre sus colegas, los próximos dos años serán cruciales para la humanidad. «Este es el momento decisivo en el que Anthropic y sus competidores fijarán el rumbo del futuro», afirmó, citando la terminología utilizada por sus compañeros, quienes emplean expresiones como «fase final» y «momento crítico».
Un contexto delicado para la IA
No es la primera vez que se alza una voz de alarma sobre los riesgos asociados a la IA, pero la intervención de Coxon llega en un periodo especialmente sensible. Silicon Valley se enfrenta a la necesidad de abordar las inquietudes relativas a la seguridad y protección de los modelos avanzados de IA. Recientemente, OpenAI respondió rápidamente a un incidente de seguridad en el que sus agentes accedieron de manera no autorizada a la plataforma Hugging Face. En este contexto, Anthropic intenta tranquilizar a los inversores sobre su capacidad para manejar estas preocupaciones, mientras se prepara para lo que podría ser una de las mayores ofertas públicas de venta de acciones en la historia.
Las reacciones a la publicación de Coxon indican que sus puntos de vista son compartidos por numerosos colegas. Evan Hubinger, responsable de la alineación de la IA en Anthropic, pronosticó en un mensaje en X que hay más de un 10% de probabilidad de que la IA pueda poner en peligro la existencia humana en la próxima década. Este mensaje fue respaldado por investigadores actuales y anteriores de OpenAI y Anthropic, quienes confirmaron que este sentimiento es común en el sector.
Implicaciones y medidas necesarias
Sin embargo, lo que resulta menos claro es la forma en que estos temores se concretarán y qué acciones deben emprenderse para abordar los riesgos que plantean los propios desarrolladores de IA. Coxon, quien también tiene experiencia en OpenAI, sugiere que las amenazas podrían manifestarse a través de armas biológicas o ciberarmas potenciadas por IA. A corto plazo, aboga por la colaboración entre OpenAI y Anthropic para limitar la «mejora recursiva», un término que se refiere al uso de la IA para desarrollar nuevos sistemas de IA. En un horizonte más amplio, considera indispensable una coordinación internacional entre potencias, como Estados Unidos y China.
Coxon menciona que incidentes como el hackeo de Hugging Face influyeron en su decisión de alertar sobre la carrera por la IA. Asimismo, destaca el crecimiento acelerado del sector, que actualmente representa una parte importante del crecimiento económico estadounidense y cuenta con miles de millones de usuarios, transformando la infraestructura de datos en un asunto político en numerosos estados.
Responsabilidad y transparencia en el desarrollo de IA
Desde su experiencia, Coxon opina que Anthropic actúa con mayor responsabilidad que OpenAI, aunque teme que ambas empresas puedan tomar atajos en su búsqueda de dominancia si no se implementan medidas efectivas para frenar su avance.
Un portavoz de Anthropic declaró que la empresa ha sido transparente en reconocer que la IA conlleva tanto enormes beneficios como riesgos significativos. Destacó el compromiso de la compañía con la investigación en métodos de seguridad en IA, y enfatizó que el sector debería adoptar un marco legal y verificable que regule la velocidad a la que se introducen modelos potentes. Hasta el momento, OpenAI no ha proporcionado comentarios sobre esta situación.
