La seguridad de IA trajo un vocabulario propio, y buena parte de las conversaciones se traba en siglas. Reunimos aquí 36 términos que aparecen en cualquier reunión sobre el tema, explicados de una forma que se puede llevar a la dirección.
Fundamentos
- IA generativa
- Inteligencia artificial que crea contenido nuevo, como texto, imagen, código o audio, a partir de una solicitud.
- LLM (modelo de lenguaje)
- El "cerebro" detrás de asistentes como ChatGPT, Claude, Gemini y Copilot. Fue entrenado con grandes volúmenes de texto para entender y generar lenguaje.
- Prompt
- La instrucción o pregunta que se envía al modelo. Todo lo que entra en él, incluidos archivos y textos pegados, forma parte del prompt.
- Token
- La unidad de texto que procesa el modelo, más o menos un fragmento de palabra. Se usa para medir límites y cobrar el uso.
- Ventana de contexto
- Cuánto texto puede considerar el modelo de una sola vez en una conversación: la solicitud, el historial y los documentos adjuntos.
- Alucinación
- Cuando el modelo inventa un dato con total seguridad. Parece correcto, pero no lo es.
- RAG
- Técnica que busca documentos de la empresa y se los entrega al modelo junto con la pregunta, para que la respuesta use información interna y actualizada.
- Fine-tuning
- Entrenamiento adicional de un modelo con datos específicos, para especializarlo en una tarea o en una forma de responder.
Agentes e integraciones
- Agente de IA
- Una IA que recibe un objetivo, decide los pasos y usa herramientas para cumplirlo, como enviar correos, consultar sistemas o ejecutar código.
- Copiloto
- Asistente de IA integrado en herramientas de trabajo, como el correo, los documentos y el editor de código, que sugiere y ejecuta tareas junto con el usuario.
- MCP (Model Context Protocol)
- Estándar abierto que conecta modelos y agentes con herramientas y fuentes de datos. Funciona como un puerto universal entre la IA y los sistemas.
- Servidor MCP
- El programa que expone las herramientas de un sistema a los agentes, por ejemplo leer correos o consultar una base de datos.
- Llamada a herramientas
- El momento en que el modelo deja de solo responder y ejecuta una acción real: enviar, crear, borrar o consultar algo.
- Autonomía
- Cuánto decide y actúa un agente por su cuenta, desde "sugiere y espera aprobación" hasta "decide y ejecuta solo".
- Skill
- Un paquete de instrucciones y recursos que le enseña a un agente a hacer una tarea específica. También puede traer riesgos, como órdenes ocultas.
- Multiagente
- Esquema en el que varios agentes colaboran, cada uno con una función, y se pasan tareas e información entre sí.
Riesgos y ataques
- Shadow AI
- Cualquier uso de IA que ocurre fuera de lo que la empresa aprobó, ve o controla.
- Prompt injection
- Instrucciones ocultas en un texto que hacen que el modelo actúe contra las reglas. Pueden venir del usuario o de contenido externo, como correos y sitios web.
- Jailbreak
- Técnicas para convencer a un modelo de que ignore sus propias protecciones y responda lo que no debería.
- Filtración de datos
- Cuando información sensible sale del entorno controlado, por ejemplo pegada en un chat externo o enviada por un agente.
- Envenenamiento de datos
- Manipular los datos que se usan para entrenar o consultar un modelo, con el fin de distorsionar sus respuestas.
- Exceso de permisos
- Cuando un agente o copiloto tiene más acceso del que necesita. Cualquier error o ataque pasa a tener un alcance mayor.
- Exposición de credenciales
- Claves de API, tokens y contraseñas que terminan en prompts, en código generado o en la configuración de agentes, al alcance de quien no debería verlos.
- Cadena de suministro de IA
- Los modelos, bibliotecas, servidores MCP y skills de terceros que usa la IA de la empresa. Un componente comprometido afecta todo lo que depende de él.
Controles y gobernanza
- Gobernanza de IA
- El conjunto de reglas, roles y controles que define quién puede usar qué IA, con qué datos y para qué.
- Inventario de IA
- La lista viva de toda la IA en uso en la empresa: herramientas, copilotos, agentes, extensiones y servidores MCP.
- Guardrail
- Una barrera que limita lo que el modelo puede recibir o responder, por ejemplo bloqueando temas, datos o acciones.
- Agente guardián
- Un agente cuya función es supervisar a otros agentes y evaluar cada acción antes de que ocurra. Gartner lo trata como una categoría propia, los guardian agents.
- Gateway de IA
- Un punto único por el que pasan las llamadas a los modelos y a las herramientas, para registrar, controlar costos y aplicar reglas.
- Enmascaramiento de datos
- Reemplazar datos sensibles, como documentos de identidad, tarjetas y credenciales, antes de que lleguen al modelo, sin dejar de usar la herramienta.
- Mínimo privilegio
- El principio de darle a cada agente, copiloto o persona solo el acceso necesario para su tarea, y nada más.
- Humano en el circuito
- Exigir la aprobación de una persona antes de acciones sensibles, como pagos, eliminaciones o envíos fuera de la empresa.
- Red teaming de IA
- Ataques simulados contra modelos y agentes para encontrar fallas antes de que alguien de afuera las encuentre.
- OWASP Top 10 para LLM
- La lista de referencia de los principales riesgos de seguridad en aplicaciones con modelos de lenguaje. El prompt injection aparece en primer lugar.
- NIST AI RMF
- El marco del instituto de estándares de Estados Unidos para gestionar los riesgos de la IA a lo largo de todo su ciclo de vida.
- EU AI Act
- La ley de la Unión Europea que regula la inteligencia artificial según el nivel de riesgo. Influye en normas de otras regiones, incluida América Latina.