Científicos del MIT, en el laboratorio de IA del CSAIL, lograron un avance inesperado: una inteligencia artificial superior modificó internamente a una IA más pequeña, aumentando dramáticamente su capacidad de razonamiento matemático. En lugar de volver a entrenar el modelo, que requiere enormes recursos de cómputo y tiempo, utilizaron una técnica llamada Weight‑Space Programming, que consiste en editar directamente una fracción mínima de los pesos del modelo objetivo. El experimento se centró en Qwen‑3.5‑0.8B, un modelo de lenguaje de 0,8 mil millones de parámetros, y en GPT‑6 Astra, una IA de mayor escala encargada de la edición.
Para evaluar el impacto, los investigadores enfocaron la mejora en la prueba MATH‑500, un benchmark que mide la habilidad de resolver problemas matemáticos. Antes de la intervención, Qwen alcanzaba solo el 7,9 % de aciertos; después de que Astra ajustara el 0,016 % de sus pesos, la precisión se disparó al 48,1 %. Este salto, logrado sin volver a entrenar ni añadir datos, demuestra que pequeñas modificaciones estructurales pueden desbloquear capacidades latentes en modelos compactos.
El proceso es sencillo en concepto: Astra identifica los parámetros que obstaculizan el razonamiento y los “corta” o reajusta, como si se tratara de podar ramas muertas en un árbol. La edición se realiza de forma automática, sin intervención humana directa, y el resultado se valida inmediatamente en la tarea de cálculo. Los autores del estudio subrayan que la técnica no es universal; en modelos como Gemma‑3 270M de Google, cuya arquitectura ya está optimizada para razonamiento, la mejora fue prácticamente nula.
Aunque la investigación aún no ha pasado por revisión por pares, abre una vía prometedora para que empresas con recursos limitados mejoren sus LLMs de forma económica. En lugar de invertir en grandes clusters de GPU para re‑entrenar, podrían aplicar una “programación de pesos” para afinar modelos baratos y adaptarlos a tareas específicas. Sin embargo, los autores advierten que el método solo funciona cuando hay “peso sobrante” que pueda ser eliminado o ajustado.
El hallazgo también plantea preguntas sobre la futura autonomía de las IA. Si una IA puede reparar y optimizar a otra, la siguiente etapa podría ser que los propios modelos se auto‑mejoren, un escenario que preocupa a compañías como Anthropic. Los investigadores del MIT reconocen que aún falta mucho para alcanzar esa capacidad, pero el experimento marca un primer paso hacia IA autorreparables.
En conclusión, la programación de pesos sugiere que los LLM actuales podrían estar subutilizados y que una optimización más profunda podría extraer un rendimiento significativamente mayor. El desafío ahora es validar la técnica a gran escala, garantizar su seguridad y explorar sus límites en diferentes dominios de aplicación.
Fuente: xataka