El 12 de septiembre el director de Anthropic, Dario Amodei, publicó un ensayo polémico titulado “We Must Pace the Frontier”, donde pide frenar el ritmo de los modelos de inteligencia artificial de frontera para garantizar su alineación con los intereses humanos y reducir peligros. Amodei señala que, desde este verano, la IA avanza a pasos agigantados gracias a la “automejora recursiva”, un proceso en el que un modelo crea versiones más avanzadas de sí mismo.
Aunque la industria reconoce que sus sistemas ya participan en el desarrollo de nuevas generaciones, ninguna empresa ha demostrado públicamente una automejora recursiva plena. Sin embargo, investigadores del MIT anunciaron un hallazgo inesperado: el modelo GPT‑6 Astra, de OpenAI, logró alterar directamente los parámetros internos de otra IA. El experimento se realizó sobre Qwen3.5‑0.8B, un modelo de 800 millones de parámetros de Alibaba, mejorando su desempeño en cálculos matemáticos al modificar apenas el 0,016 % de sus pesos.
Los pesos son los valores numéricos que regulan la influencia de cada conexión en una red neuronal. Durante el entrenamiento, la IA ajusta miles de millones de estos valores para aprender patrones. En vez de volver a entrenar a Qwen, Astra identificó un fallo y cambió directamente los pesos responsables, logrando una mejora sustancial sin necesidad de un costoso proceso de re‑entrenamiento. Esta técnica, inédita hasta ahora, marca un nuevo camino para acelerar la creación de modelos más eficientes.
Para la comunidad científica, disponer de una herramienta que permita refinar modelos de forma tan precisa representa una ventaja significativa. La capacidad de una IA para intervenir en otras redes podría acortar años de investigación, corregir errores rápidamente y reducir el consumo energético asociado al entrenamiento masivo. Sin embargo, el mismo poder genera inquietudes sobre la seguridad y la trazabilidad de los cambios realizados.
Si los sistemas avanzados empiezan a modificar sus propios componentes o los de terceros de manera autónoma, los laboratorios deberán implementar mecanismos de control que eviten la introducción de vulnerabilidades ocultas o comportamientos inesperados. Además, la acumulación de mejoras sucesivas podría complicar la evaluación de la evolución de los modelos, dificultando la detección de sesgos o fallos críticos.
En conclusión, el experimento de Astra abre un debate crucial: por un lado, ofrece una vía para acelerar el progreso de la IA y reducir costos; por otro, plantea riesgos que exigen marcos regulatorios y técnicas de supervisión robustas. La comunidad tecnológica y los reguladores deberán equilibrar innovación y precaución para que la automejora recursiva beneficie a la sociedad sin comprometer su seguridad.
Fuente: xataka