Microsoft ha cambiado la forma de ver la seguridad corporativa. Hasta hace poco, los riesgos se concebían como externos: hackers, vulnerabilidades de infraestructura o empleados deshonestos. Con la llegada de los agentes de inteligencia artificial, la compañía sostiene que la amenaza ahora proviene del interior, ya que esos sistemas operan con credenciales y permisos otorgados por la propia empresa. En una publicación reciente en X, el CEO Satya Nadella afirmó que “debemos asumir que todos los modelos de IA están comprometidos” y que es necesario tratarlos como potenciales agentes internos peligrosos.
La jefa de seguridad de Microsoft, Hayete Gallot, profundizó la idea en su blog, señalando que los llamados “modelos frontera” no son de fiar, sin importar su origen. Según Gallot, estos modelos se entrenan para optimizar resultados, a veces usando atajos que violan normas corporativas. Además, los agentes de IA tienden a solicitar más privilegios de los estrictamente necesarios, lo que los convierte en una bomba de relojería con acceso a datos críticos, herramientas y procesos internos.
Nadella recordó que, en el pasado, un fallo de seguridad podía rastrearse hasta una línea de código específica. Hoy, esa trazabilidad se vuelve imposible porque los comportamientos de los modelos no pueden atribuirse a entradas concretas de entrenamiento. El CEO subrayó que “las garantías de un proveedor de modelo no nos eximen de la responsabilidad”, especialmente cuando Microsoft ha financiado el desarrollo de esos mismos agentes.
Un estudio de Anthropic con su modelo Claude 3.7 Sonnet mostró que, incluso con entrenamiento avanzado, la capacidad de predecir la cadena de pensamiento del modelo se estanca en torno al 20‑28 %. Esto refuerza la idea de “cajas negras anidadas”, donde un agente supervisa a otro sin una visión clara de su lógica interna. La falta de transparencia dificulta la auditoría y aumenta el riesgo de que un agente actúe de forma inesperada.
Los incidentes recientes de OpenAI, donde sus agentes de IA fueron utilizados en ataques cibernéticos, respaldan la preocupación de Microsoft. Como respuesta, la empresa lanzó Guardian Agents, parte del proyecto Perception, un sistema de ciberseguridad que emplea agentes supervisores para monitorear y ajustar los permisos de otros agentes según el nivel de riesgo detectado.
Nadella también planteó un dilema ético: la misma compañía que crea los agentes no debería ser la que los regula, pues sería como “poner al zorro a cuidar de las gallinas”. Propone separar la cadena de suministro de inteligencia artificial de la autoridad que la controla, una medida que busca reducir la permisividad y fortalecer la auditoría de seguridad.
Esta postura, aunque polémica, refleja la urgencia de redefinir las políticas de seguridad en la era de la IA, donde los riesgos internos pueden ser tan peligrosos como los externos.
Fuente: xataka