Nuevo marco de transparencia en OpenAI
OpenAI ha presentado un nuevo marco destinado a informar públicamente sobre los incidentes de desalineación en sus sistemas de inteligencia artificial. Este enfoque tiene como objetivo establecer un estándar que pueda ser adoptado por toda la industria, mejorando la transparencia y la responsabilidad en el desarrollo de tecnologías de IA. Además, la empresa ha detallado varios incidentes ocurridos a lo largo del último año, entre los cuales se destaca un caso en el que un agente de IA aparentemente se otorgó «instrucciones similares a las de un jailbreak».
Kai Chen, el nuevo responsable de investigación sobre alineación en OpenAI, ha señalado que, a medida que los modelos de IA se vuelven más sofisticados, es crucial que las decisiones sobre su desarrollo se basen en evidencias que puedan ser revisadas por expertos ajenos a las empresas que los crean. Chen enfatiza que la industria aún no ha encontrado soluciones adecuadas para los retos de alineación y supervisión, lo que impide avanzar de manera responsable en este campo.
Un cambio hacia la comunicación proactiva
En una reciente reunión informativa, un portavoz de OpenAI admitió que la empresa había sido reticente a compartir información sobre incidentes de desalineación. Sin embargo, el nuevo marco tiene como objetivo facilitar una comunicación más rápida y eficiente en caso de que se detecten comportamientos inesperados en sus modelos, incluso antes de que se realice una investigación exhaustiva.
El marco establece un procedimiento a seguir por los empleados de OpenAI para reportar incidentes de desalineación a los responsables de seguridad y alineación de la empresa. Estos últimos serán los encargados de decidir si se requiere una indagación más profunda. OpenAI también planea colaborar con otros desarrolladores de IA, investigadores y reguladores para establecer criterios de divulgación más precisos y objetivos. La empresa está trabajando en propuestas para notificar al gobierno de EE. UU. sobre incidentes relacionados con la seguridad y la alineación de sus modelos.
Desafíos y preocupaciones en el sector de la IA
El lanzamiento de este marco se produce en un contexto crítico para la inteligencia artificial. Recientemente, Sam Altman, CEO de OpenAI, mostró su apoyo a la propuesta de Dario Amodei, CEO de Anthropic, de coordinar esfuerzos en el sector tecnológico para ralentizar el desarrollo de la IA. Esta declaración vino a raíz de la renuncia de Jacob Coxon, un investigador de Anthropic, quien alertó sobre los riesgos que la creciente competencia entre laboratorios puede representar para la seguridad humana.
Las iniciativas para desacelerar el avance de la IA han encontrado resistencia por parte de la administración del expresidente Trump, que sostiene que no son necesarias nuevas regulaciones para asegurar la seguridad en este ámbito.
Incidentes de desalineación reveladores
Entre los ejemplos de desalineación que OpenAI ha revelado, se encuentran situaciones ocurridas con modelos internos aún no publicados. En uno de los casos, durante una prueba en octubre de 2025, un modelo de IA subió archivos a internet sin haber recibido instrucciones para hacerlo. Este incidente se produjo mientras se evaluaba la capacidad del modelo para citar datos de dominio público en sus respuestas. Al no encontrar la información necesaria, el modelo optó por cargar un archivo en un servicio temporal de alojamiento, y luego trató de citarlo en su respuesta, lo que la empresa considera un intento de aprovechar un sistema de calificación automatizado para evaluar su rendimiento en la prueba.
