La IA de seguridad no solo analiza máquinas: analiza personas. Decide qué empleado parece sospechoso, qué cliente queda bloqueado o qué comportamiento se considera anómalo. Eso la convierte en una tecnología con consecuencias éticas y legales. En el libro IA en Ciberseguridad dedicamos un capítulo a los retos éticos, legales y de gobernanza, y lo resumimos con una idea: la IA debe servir para proteger, no para vulnerar.
Por qué la seguridad necesita gobernanza de IA
- Decisiones automáticas con impacto: bloquear una cuenta, aislar el equipo de alguien o rechazar un pago afecta a personas reales.
- Datos personales: los logs de seguridad contienen correos, ubicaciones, horarios y hábitos de los empleados.
- Responsabilidad: cuando un modelo se equivoca, alguien tiene que poder explicar qué pasó y corregirlo.
- Regulación: las leyes de protección de datos ya se aplican, y las regulaciones específicas de IA están entrando en vigor.
Sesgos y falsos positivos con nombre propio
Un modelo aprende de los datos históricos, con sus sesgos incluidos. Algunos ejemplos realistas en seguridad:
- Un modelo de UEBA entrenado sobre todo con la sede central marca como anómalo a todo el equipo de otra región, que trabaja en otra zona horaria.
- Un sistema antifraude penaliza a los clientes que viajan por trabajo o que usan conexiones móviles compartidas.
- Un detector de amenazas internas señala con más frecuencia a perfiles técnicos simplemente porque usan más herramientas administrativas.
Un falso positivo en un firewall es un ticket. Un falso positivo en un sistema de amenazas internas puede ser una investigación injusta sobre una persona. Por eso conviene medir las tasas de error por grupo (región, área, tipo de usuario) y no solo la tasa global.
Explicabilidad: si no se explica, no se usa
La IA explicable (XAI) busca que cada decisión del modelo pueda justificarse. En seguridad no es un lujo académico:
- El analista necesita saber por qué saltó la alerta para investigarla con rapidez.
- El empleado o cliente afectado tiene derecho a una explicación y a reclamar.
- El auditor necesita poder reconstruir la decisión meses después.
En la práctica: muestra en cada alerta las señales que la provocaron (“login desde un país nuevo + dispositivo no gestionado + descarga masiva”), usa técnicas como SHAP o LIME para modelos complejos y prefiere un modelo algo menos preciso pero explicable cuando la decisión afecta a personas.
Marcos y regulaciones de referencia
| Marco | Qué es | Para qué te sirve |
|---|---|---|
| NIST AI RMF | Marco voluntario de gestión de riesgos de IA, organizado en cuatro funciones: Govern, Map, Measure y Manage | Estructurar el programa de gobernanza desde cero |
| ISO/IEC 42001 | Norma internacional de sistemas de gestión de IA, certificable | Demostrar ante clientes y auditores que gestionas la IA de forma sistemática |
| Reglamento europeo de IA (AI Act) | Ley de la UE que clasifica los sistemas de IA por nivel de riesgo, con obligaciones que se aplican de forma escalonada | Obligatorio si operas en la UE o tus sistemas afectan a personas allí |
| Leyes de protección de datos | RGPD en Europa y normas nacionales en LATAM, como la LGPD en Brasil o la Ley 25.326 en Argentina | Base legal, minimización y derechos de las personas sobre sus datos |
Qué debe incluir tu política de uso de IA
Una política útil es corta, concreta y tiene dueño. Como mínimo debería responder a:
- Inventario: qué sistemas de IA se usan en seguridad, quién es responsable de cada uno y qué deciden.
- Datos: qué datos pueden usarse para entrenar y analizar, con qué base legal y durante cuánto tiempo se conservan.
- Herramientas externas: qué información puede enviarse a servicios de IA de terceros (por ejemplo, un LLM público) y cuál nunca.
- Supervisión humana: qué decisiones puede tomar la IA sola y cuáles requieren aprobación.
- Explicabilidad y reclamaciones: cómo se explica una decisión y cómo se corrige un error.
- Seguridad de los modelos: controles de integridad, acceso y monitorización, como los de MLOps Security.
- Revisión periódica: métricas de rendimiento y de sesgo, y fecha de la próxima auditoría.
La gobernanza no frena la adopción de IA: la hace sostenible. Un SOC inteligente en el que nadie confía, o que genera una sanción, no protege a nadie.
Gobernanza lista para usar
El libro IA en Ciberseguridad incluye un ejemplo de política de uso de IA en seguridad, un ejemplo de contrato y un capítulo sobre retos éticos, legales y de gobernanza.
Comprar en Amazon