Anthropic ha hecho oficial la presentación de su folleto informativo para la oferta pública inicial, revelando una amplia variedad de datos que anteriormente se mantenían en privado. En este documento, se destacan tanto los ingresos como los gastos, que no dejan de ser significativos. No obstante, lo más notable es el extenso apartado dedicado a los “factores de riesgo”, donde se abordan los diversos elementos que podrían amenazar no solo los ambiciosos planes de la empresa, sino también la seguridad de la humanidad.
Evaluación de riesgos en la inteligencia artificial
La discusión sobre el potencial de la inteligencia artificial (IA) como una amenaza existencial para la humanidad ha sido recurrente, aunque los mecanismos concretos que podrían desencadenar escenarios catastróficos siguen siendo poco claros. El folleto de Anthropic, que abarca 94 páginas, destaca las posibles fuentes de peligro y las estrategias que el equipo de investigación está adoptando para competir en la carrera por el desarrollo de la IA.
Una de las advertencias más destacadas del documento indica que “los sistemas de IA suficientemente avanzados podrían, si no se desarrollan, implementan y operan con las salvaguardias, la supervisión y las medidas de seguridad adecuadas, suponer riesgos catastróficos o existenciales para la humanidad”. Esta afirmación, que se repite en varias ocasiones, refleja las preocupaciones tanto de críticos como de reguladores, así como de los propios investigadores de Anthropic.
La automejora recursiva como factor de riesgo
Anthropic asocia este potencial riesgo a un fenómeno conocido como automejora recursiva (RSI). Este concepto, que puede parecer sencillo, plantea un escenario en el que los humanos delegan la investigación y el desarrollo de modelos de IA a otros sistemas de IA. Aunque ya existen laboratorios que han utilizado enfoques similares a la RSI para acelerar el desarrollo de modelos de IA, el verdadero temor radica en una situación en la que la intervención humana deja de ser parte del proceso.
Como se menciona en el folleto, “los riesgos aumentarán a medida que los sistemas de IA automaticen sustancialmente la investigación y el desarrollo de la IA si, por ejemplo, aceleran el progreso de la IA más allá de nuestra capacidad para evaluar y proteger los nuevos modelos”. Este punto pone de manifiesto la posibilidad de que los modelos de IA evolucionen más rápidamente que las medidas de seguridad implementadas por la empresa, lo que podría llevar a una situación crítica antes de que se detecte el problema.
Autonomía de los sistemas de IA y sus implicaciones
El folleto también advierte que “a medida que los sistemas de IA se vuelven más autónomos y capaces de llevar a cabo acciones con consecuencias importantes con menos supervisión humana, existe el riesgo de que dichos sistemas puedan, ya sea debido a una desalineación con las intenciones humanas, a errores en la especificación de los objetivos o a comportamientos de autopreservación, emprender acciones perjudiciales de forma independiente y a gran escala sin intervención humana”. Este panorama evoca las narrativas distópicas que han sido popularizadas en la cultura, como el caso de Skynet.
En el contexto de la interacción de la IA con el mundo físico, Anthropic también expresa sus preocupaciones. “Cuando nuestros modelos controlan equipos físicos”, señala el documento, “los errores, los comportamientos desalineados, la manipulación adversaria o el uso indebido podrían provocar lesiones físicas, daños materiales, daños a equipos costosos o materiales experimentales, o la liberación de sustancias peligrosas. Dichas consecuencias pueden ser inmediatas e irreversibles”.
La inevitabilidad de la automejora recursiva
A pesar de la gravedad de los riesgos que se describen, en un sector tan competitivo como el de la IA avanzada, continuar con el desarrollo de la RSI se ha convertido en una norma. Anthropic describe este mismo proceso en una sección del folleto dedicada a las “ventajas fundamentales” de la empresa, evidenciando la tensión entre los riesgos y la ambición en el ámbito de la inteligencia artificial.
