Las alucinaciones de IA están introduciendo serios riesgos de seguridad en la toma de decisiones de infraestructura crítica al explotar la confianza humana a través de resultados altamente confiados pero incorrectos. Cuando un modelo de IA carece de certeza, no tiene un mecanismo para reconocerlo. En cambio, genera la respuesta más probable basada en patrones en sus datos de entrenamiento, incluso si esa respuesta es inexacta. Estos resultados pueden parecer autorizados, haciéndolos especialmente peligrosos cuando impulsan decisiones de seguridad en el mundo real. Basado en el benchmark **AA-Omniscience de Artificial Analysis**, una evaluación de 2025 de 40 modelos de IA encontró que todos menos cuatro modelos probados eran más propensos a proporcionar una respuesta confiada e incorrecta que una correcta en preguntas difíciles. A medida que la IA asume un papel más importante en las operaciones de ciberseguridad, las organizaciones deben tratar cada respuesta generada por IA como una vulnerabilidad potencial hasta que un humano la haya verificado. ## ¿Qué son las Alucinaciones de IA? Las alucinaciones de IA son resultados presentados con confianza y que suenan plausibles, pero que son factualmente inexactos. Los modelos de lenguaje base no recuperan información verificada; construyen respuestas prediciendo palabras y frases a partir de patrones aprendidos en sus datos de entrenamiento. Dado que sus respuestas son estadísticamente probables pero no necesariamente verdaderas, los resultados alucinados pueden parecerse mucho a información precisa. Mientras alucinan, los modelos de IA pueden citar fuentes inexistentes, referenciar investigaciones que nunca se realizaron o presentar datos fabricados con la misma convicción que la información confiable. Para las organizaciones, el principal problema en torno a las alucinaciones de IA no es solo la inexactitud, sino también la confianza mal depositada. Cuando una salida de IA suena como la verdad absoluta, los empleados pueden asumir que es correcta y actuar sobre ella sin verificación. En entornos de ciberseguridad, las salidas de IA incorrectas plantean riesgos de seguridad significativos porque no solo informan decisiones clave, sino que también alimentan directamente sistemas automatizados que pueden desencadenar acciones operativas. Los resultados pueden incluir interrupciones del sistema, pérdidas financieras y la introducción de nuevas vulnerabilidades. ### ¿Qué Causa las Alucinaciones de IA? El primer paso para mitigar el impacto de las alucinaciones de IA es comprender cómo se forman. Aquí están los diversos factores que pueden contribuir a las alucinaciones de IA: * **Datos de entrenamiento defectuosos:** Los modelos de IA aprenden de los datos con los que se entrenan. Si esos datos contienen información desactualizada o errores directos, el modelo incorporará esas fallas en sus resultados. No marcará las discrepancias; aprenderá de ellas. * **Sesgo en los datos de entrada:** La sobrerrepresentación de ciertos patrones o escenarios puede hacer que un modelo de IA trate esos patrones como universalmente aplicables, incluso cuando el contexto difiere. * **Falta de validación de respuesta:** Los modelos de lenguaje base no están diseñados para verificar la exactitud fáctica. Optimizan para resultados coherentes y plausibles. Si bien algunos sistemas agregan capas de recuperación o anclaje para reducir este riesgo, el proceso de generación central sigue siendo vulnerable a las alucinaciones. * **Ambigüedad del prompt:** Las entradas vagas aumentan la probabilidad de que los modelos de IA llenen los vacíos con suposiciones, elevando el riesgo de resultados incorrectos y alucinaciones. ## 3 Formas en que las Alucinaciones de IA están Impactando la Ciberseguridad No todas las alucinaciones de IA tienen el mismo impacto, pero la información incorrecta o fabricada puede dejar a las organizaciones vulnerables a serias amenazas cibernéticas. Tres formas principales en que se manifiestan las alucinaciones de IA son la omisión de amenazas, las amenazas fabricadas y las soluciones incorrectas. ### 1. Amenazas Omitidas La detección de amenazas por IA a menudo se basa en la identificación de patrones y anomalías basadas en datos históricos y comportamiento aprendido. Cuando un ciberataque se alinea con comportamientos conocidos, el modelo de IA funciona bien; pero cuando no lo hace, el modelo no tiene nada con qué compararlo, por lo que la amenaza puede pasar desapercibida. Esto es especialmente problemático para técnicas de ataque subrepresentadas y ataques 0-day, que explotan vulnerabilidades desconocidas para el proveedor y, por lo tanto, no parcheadas. Debido a que estas amenazas no se reflejan en los datos de entrenamiento, el modelo de IA carece de contexto suficiente para marcarlas, lo que resulta en una mayor probabilidad de vulnerabilidades no detectadas y una mayor exposición dentro del entorno. ### 2. Amenazas Fabricadas En contraste con las amenazas omitidas, los modelos de IA también pueden alucinar falsos positivos al reclasificar la actividad normal como maliciosa, alertando a los equipos sobre amenazas que no existen. Por ejemplo, el tráfico de red normal puede ser malinterpretado como sospechoso, activando alertas que requieren acciones de respuesta a incidentes innecesarias. Estas falsas alarmas pueden llevar a apagones del sistema, desperdicio de recursos e interrupción de operaciones para amenazas fabricadas. Con el tiempo, los falsos positivos repetidos pueden llevar a la fatiga de alertas, donde los equipos de seguridad se desensibilizan a todas las advertencias. Esto aumenta el riesgo de que las amenazas legítimas pasen por alto en entornos donde los equipos han sido condicionados a desconfiar de las alertas. ### 3. Remediación Incorrecta Esta es una de las formas más peligrosas de alucinación de IA, ya que ocurre *después* de que la confianza ya se ha establecido. Por ejemplo, un sistema de IA puede recomendar con confianza la eliminación de archivos sensibles, la modificación de configuraciones del sistema o la desactivación de reglas de firewall. Si estas acciones se ejecutan, particularmente a través de cuentas privilegiadas, pueden dejar a las organizaciones expuestas a ataques basados en identidad, movimiento lateral o pérdida de datos irreversible. Incluso cuando la detección de amenazas por IA es precisa, la guía alucinada puede escalar un incidente de seguridad contenido a una brecha más amplia. ## Cómo las Organizaciones Pueden Reducir los Riesgos de Alucinaciones de IA Aunque las alucinaciones de IA no se pueden eliminar por completo, su impacto se puede reducir significativamente a través de los siguientes controles y medidas de gobernanza. ### Requerir Revisión Humana Antes de la Acción Las salidas generadas por IA no deben desencadenar acciones sensibles o privilegiadas sin verificación humana previa. Esto es especialmente importante para flujos de trabajo que involucran cambios de infraestructura, actualizaciones de acceso o respuesta a incidentes. El requisito de revisión no solo debe ocurrir cuando algo parece incorrecto; los modelos pueden sonar igualmente confiados, ya estén en lo correcto o no. ### Tratar los Datos de Entrenamiento como un Activo de Seguridad Las alucinaciones de IA a menudo se remontan a los datos de entrenamiento. Auditar regularmente los datos utilizados para entrenar o anclar sistemas de IA eliminando registros desactualizados, conjuntos de datos sesgados e información inexacta reduce la probabilidad de que esas fallas aparezcan en los resultados. A medida que el contenido generado por IA se vuelve más común en línea, existe un riesgo creciente de que los modelos futuros se entrenen con información fabricada producida por modelos anteriores, en un fenómeno a veces denominado colapso del modelo. Sin una gobernanza de datos continua, el riesgo de salidas de IA defectuosas solo aumenta. ### Aplicar Acceso de Mínimo Privilegio para Sistemas de IA Los sistemas impulsados por IA solo deben tener los permisos necesarios para realizar sus tareas. Esto podría parecer un sistema de IA que solo tiene permitido leer archivos, no eliminarlos, incluso si una recomendación alucinada le indica que lo haga. Al restringir el acceso con el mínimo privilegio, las organizaciones garantizan que incluso si un sistema de IA genera una guía incorrecta, no puede ejecutar acciones más allá de lo que se le permite hacer. ### Invertir en Capacitación en Ingeniería de Prompts Las salidas de IA están fuertemente influenciadas por la calidad de la entrada, por lo que un prompt vago le da al modelo más oportunidades para llenar los vacíos con suposiciones incorrectas, aumentando el riesgo de alucinaciones. Las organizaciones deben priorizar la capacitación de los empleados, especialmente aquellos que interactúan directamente con sistemas de IA, sobre cómo escribir prompts específicos que impulsen al modelo a producir resultados verificables. Los empleados que entienden que las salidas de IA siempre deben validarse antes de su uso son menos propensos a interpretar el sistema de IA como autoritario por defecto. ## Colocar la Seguridad de Identidad en el Centro de la Gobernanza de IA Las alucinaciones de IA se convierten en riesgos de seguridad reales cuando conducen a la acción, lo que no es principalmente un problema del modelo, sino más bien un problema de acceso. Los incidentes de seguridad surgen cuando los sistemas de IA tienen suficiente acceso para actuar sobre una guía incorrecta, o cuando un humano confía en las salidas sin verificación. **Keeper®** está diseñado para proporcionar a las organizaciones la visibilidad y los controles de acceso necesarios para prevenir el acceso no autorizado, incluso cuando las decisiones impulsadas por IA son incorrectas. Al aplicar el acceso de mínimo privilegio, monitorear la actividad privilegiada y asegurar las Identidades Humanas y No Humanas (NHI), las organizaciones pueden reducir el riesgo de que las alucinaciones de IA evolucionen a incidentes de seguridad dañinos. **Nota**: *Este artículo fue escrito y contribuido cuidadosamente para nuestra audiencia por Ashley D’Andrea, Redactora de Contenido en **Keeper Security**.*