Firefighter IA vs Humano: 6:0
Seis meses de datos de Firefighter en producción sobre SAP S/4HANA. Seis señales de control que el manual clásico de auditoría sesión por sesión no fue capaz de marcar. Cómo un agente de IA las hizo aflorar, la arquitectura que las hace defendibles y las acciones de una semana que su equipo puede ejecutar el lunes.
Pitido final tras seis meses de actividad Firefighter de SAP en un entorno real de producción. Team Human Review: 0. Team AI Agent: 6. Team AI no ganó por ser más rápido que el lado humano. Ganó porque jugó a un juego distinto en el mismo terreno.
Esta serie de artículos repasa cuáles fueron esos seis "goles", cómo los marcó Team AI y por qué el resultado refleja más un fallo de proceso y enfoque que errores humanos.
Los seis "goles" marcados por los agentes de IA durante el partido descrito a lo largo de esta serie:
- Gol n.º 1. La relación entre el ejecutor del FF y el auditor (auditoría por pares)
- Gol n.º 2. El origen de la actividad FF (cuentas técnicas bajo etiqueta de emergencia)
- Gol n.º 3. Exposición a RGPD durante una sesión FF (campo técnico)
- Gol n.º 4. Datos faltantes en una sesión FF aprobada (juicio de aprobación)
- Gol n.º 5. Cuenta de emergencia FF usada para cambios masivos
- Gol n.º 6. La calidad de la revisión de sesiones FF (uso no detectado de transacciones críticas)
Este artículo recorre los seis "goles" en orden y después aborda el análisis posterior al partido: cómo se construyó Team AI, la arquitectura de seis capas que lo sustenta, la disciplina de validación y las acciones de una semana que Team Human puede emprender para competir en el mismo terreno a partir del lunes.
Por Filip Nowak, GRC Advisory. Las seis señales descritas en esta serie de tres partes fueron generadas por un agente de IA de GRC en el smartGRC LAB sobre un extracto anonimizado de una implantación real de Firefighter en SAP S/4HANA productivo. La metodología, las heurísticas y la responsabilidad editorial recaen en el equipo de consultoría de GRC Advisory.
Qué es esta serie y qué no es
Se trata de un estudio de patrones de datos, dividido en tres partes para facilitar la lectura. Analiza un conjunto anonimizado de datos de actividad Firefighter de SAP a escala de producción y describe seis clases de señales de control que se hacen visibles cuando los datos se examinan de forma cruzada entre sesiones FF, en lugar de una actividad FF a la vez (el enfoque tradicional). No es un informe público de auditoría. No es una descripción de debilidades de una organización concreta. No afirma que la IA sustituya a los auditores humanos.
Lo que sí afirma: que la revisión clásica de Firefighter sesión por sesión no está diseñada para hacer aflorar patrones entre sesiones, entre usuarios y entre fuentes; que esos patrones son cuantificables en datos de producción a escala normal; y que un agente de IA de GRC dotado de la arquitectura adecuada puede extraer esos patrones con la fiabilidad suficiente para que los auditores humanos los validen y actúen sobre ellos. Cada señal fue verificada, sobre los datos subyacentes, por un consultor de seguridad GRC responsable antes de aparecer en esta serie.
El agente detecta patrones. El humano decide si el patrón es relevante para la auditoría.
El enfrentamiento
Existen dos formas de leer una sesión Firefighter. La revisión basada en sesión pregunta: ¿era legítima esta sesión concreta? Es la pregunta para la que está estructurada toda revisión clásica de auditoría Firefighter. El revisor del FF abre la sesión, lee el motivo de la reserva, repasa el registro de transacciones, busca anomalías evidentes y firma. Ese es el manual de Team Human.
El análisis basado en patrones de la IA arranca como una revisión humana típica, pero además plantea preguntas más profundas: ¿la disposición de sesiones, usuarios, fuentes, transacciones, estados de auditoría e históricos crea un patrón de riesgo? Esto requiere cruzar dominios de datos que la revisión basada en sesión no muestra de forma conjunta: grafos de relaciones entre solicitantes y aprobadores, distribuciones de hosts de origen entre cuentas, contenido del texto de cabecera de los documentos contables (analizado con patrones tipo regex), configuración de parámetros del sistema que gobiernan el registro de documentos de cambio, ratios de concentración de actividad por usuario y distribuciones de tiempo de permanencia por clase de riesgo de transacción. Ese es el manual de Team AI.
Mismos datos. Mismo terreno de juego. Dos manuales distintos. Las señales descritas en esta serie solo son visibles cuando se formulan preguntas más numerosas y de naturaleza distinta. Los datos para responderlas existen en tablas que cualquier entorno SAP y GRC ya mantiene. La perspectiva de la revisión por IA no existe en la revisión clásica de sesiones. Al menos no hasta ahora. Esa es la asimetría que convirtió el partido en una victoria de la IA por 6 a 0.
Las condiciones del partido
Seis meses de observación continua sobre un entorno productivo de SAP S/4HANA con múltiples sociedades. Casi 600 reservas de Firefighter repartidas entre 11 cuentas de emergencia y 39 usuarios finales únicos. Aproximadamente 2,55 millones de entradas del Security Audit Log. En torno a 352.000 cambios en datos maestros. Más de 201.000 documentos contables. Aproximadamente 14.000 entradas del registro de auditoría SAP por día.
Para ser explícitos sobre el origen de los datos: el conjunto de datos son datos reales de producción extraídos de una implantación real de Firefighter en SAP S/4HANA, no un entorno sintético o de pruebas. Las referencias a "nuestro LAB" apuntan al entorno analítico en el que el agente de IA de GRC procesó el extracto anonimizado, no al origen de los datos. Los identificadores concretos, los nombres de cuenta, la estructura geográfica y los rangos de fechas exactos están anonimizados; los órdenes de magnitud y los patrones estructurales se mantienen sin cambios.
El contexto del volumen importa para las aproximadamente 600 sesiones FF de este conjunto de datos. Con la tasa de muestreo habitual del 5-10%, los revisores de logs FF más cualificados y comprometidos examinan en detalle quizá entre 30 y 60 sesiones, dedicando un enorme esfuerzo y tiempo a esa actividad, tratando de detectar patrones de mala práctica dentro de cada sesión FF. Las otras 530 y pico reciben un clic de "aceptar". Muestrear al 5-10% no es una decisión de proceso, es una restricción de recursos. Con una muestra mayor, la población de auditoría debería ampliarse en un orden de magnitud y los controles que justificaban mantenerla acotada (independencia, responsabilidad, integridad de la pista de auditoría) dejarían de sostenerse.
Ningún revisor que trabaje sesión por sesión podría haber detectado los dos primeros patrones descritos a continuación: solo emergen al calcular sobre el conjunto completo de datos. La matemática y la estructura de la revisión no lo permiten. La revisión no estaba diseñada para hacer esa pregunta. Ese era el terreno en el que jugaba Team Human.
La relación entre el ejecutor del FF y el auditor (auditoría por pares)
La pregunta que responde esta señal: cuando una misma población de usuarios tanto reserva como aprueba sesiones Firefighter, ¿qué fracción de las sesiones aceptadas forma bucles cerrados en los que usuarios de uso intensivo se aprueban entre sí?
El conjunto de datos mostró 115 sesiones en seis meses, aproximadamente una de cada cuatro sesiones aceptadas, aprobadas por un auditor que él mismo figuraba entre los operadores Firefighter más intensivos. Tanto el solicitante como el aprobador pertenecían al mismo equipo operativo en la mayoría de estos casos. Cada aprobación individual, aislada, parece defendible. El patrón solo emerge al calcular el grafo usuario-auditor sobre el conjunto de sesiones aceptadas e identificar los bucles cerrados.
Por qué esto importa: un revisor que audita la sesión de un compañero de equipo opera bajo incentivos distintos a los de uno que audita a un desconocido. La confianza es más rápida que el cuestionamiento. Cuestionar la sesión de un colega genera dos costes que el revisor no puede asumir con facilidad. Primero, fricción dentro del equipo, que tiene que seguir trabajando junto. Segundo, la expectativa razonable de que la misma inspección "detallada" se devolverá la próxima vez que su propia sesión esté en cola. El cuestionamiento va cuesta arriba. La aceptación va cuesta abajo. La vía de menor resistencia es firmar y seguir adelante.
Cada aprobación individual sigue pareciendo defendible. Se siguió el proceso. El solicitante está autorizado para reservar. El auditor está autorizado para cerrar. El rastro está limpio. En la superficie, una persona ejecuta y otra verifica, lo que se interpreta como control. El riesgo sistémico vive solo en el agregado, donde las personas más capacitadas para escudriñar el trabajo de las demás son también las que menos incentivos tienen para hacerlo. Esa imagen no es visible en ningún registro de sesión individual.
Cómo marcó la IA este gol: dejó de mirar registros de sesión individuales y empezó a mirar la red que hay detrás. El agente construyó un modelo relacional de todo el ciclo de auditoría. Cada solicitante como un nodo. Cada aprobador como un nodo. Cada sesión aceptada como una arista dirigida desde el solicitante hasta el aprobador. Con ese grafo en memoria de trabajo, encontrar los bucles cerrados en los que los usuarios de uso intensivo aprueban las sesiones de los demás es una consulta única, no un barrido de 481 registros. El agente de IA también cruzó el grafo con dos capas contextuales que el flujo de trabajo manual mantiene en herramientas separadas: la matriz de autorización que define quién puede aprobar y la línea base de actividad por usuario que identifica a la población de uso intensivo. El patrón emergió en segundos porque el agente miraba la estructura de la red, no los registros individuales. Esa es la jugada con la que se marcó el gol. La calidad del FF y la revisión independiente de la actividad durante la sesión FF son el fundamento de este control. Sin revisión de calidad no hay control para este riesgo.
Por qué el manual basado en sesión de Team Human no podía igualarlo: las entradas del log existen dentro de la revisión, pero ninguna vista del flujo de trabajo permite al revisor agregarlas por host de origen entre cuentas. Agregar esa clasificación por cuenta y comparar el ratio con una línea base para cuentas de emergencia frente a cuentas técnicas exige el catálogo de roles y una heurística sobre qué proporción sugiere un uso técnico. Ninguno forma parte de la lista de comprobación por sesión. El revisor tiene los datos. Lo que no tiene es la lente. También exige que el revisor piense más allá de la lista de comprobación inmediata y formule un tipo de pregunta distinta: no solo "¿estaba justificada esta sesión concreta?", sino "¿qué patrón emerge al comparar estas sesiones entre cuentas, hosts y tipos de cuenta?". Ese es un paso analítico más profundo que el que estimula el flujo estándar. Para ser justos, este tipo de tarea es especialmente difícil para un revisor humano porque implica leer registros de revisión largos durante horas, a menudo con entradas repetitivas y de baja señal. El trabajo consume mucho tiempo, es monótono y mentalmente agotador. Pasado cierto punto, la atención decae de forma natural y los patrones sutiles se vuelven fáciles de pasar por alto. Un revisor puede procesar correctamente cada entrada individual y aun así no detectar la señal más amplia oculta a lo largo de muchas sesiones similares. Dicho de otro modo, la limitación no es que el revisor carezca de acceso a la evidencia. La limitación es que la evidencia está sepultada dentro de un flujo de trabajo FF optimizado para la validación por sesión, no para la detección de patrones entre cuentas. El dato está presente, pero el proceso de revisión no hace visible el patrón relevante.
El origen de la actividad FF (cuentas técnicas bajo etiqueta de emergencia)
La pregunta que responde esta señal: ¿qué proporción de la actividad sobre una cuenta Firefighter concreta se origina en el nombre de host de un servidor frente a la estación de trabajo de un usuario, y qué cuentas se comportan como cuentas de servicio de facto pese a su clasificación como acceso de emergencia?
El conjunto de datos mostró que el 53,7% de todas las entradas del Security Audit Log procedentes de sesiones Firefighter, aproximadamente 1,37 millones de líneas, se originaron en nombres de host de servidor. Eso es automatización ejecutándose bajo cuentas etiquetadas como acceso de emergencia, no trabajo humano de emergencia. Tres de las once cuentas Firefighter mostraron una distribución de host de origen dominada por tráfico de servidor, lo que indica que funcionan como cuentas técnicas de facto. La recomendación estructural: sustituir esas tres cuentas por cuentas técnicas de alcance acotado siguiendo el patrón Z_BC_*.
A nivel de sesión individual, ninguna sesión revela este patrón. Cada sesión muestra una reserva, una lista de transacciones y un veredicto de auditoría. El hecho de que las transacciones de la sesión se originaran en el nombre de host de un servidor en lugar de en la estación de trabajo del solicitante queda sepultado en una columna por la que el flujo de auditoría nunca agrupa. Un revisor que abre la sesión ve una actividad que parece legítima: transacciones acordes al ámbito del rol, una ventana de tiempo razonable, un log limpio. La anomalía estructural no aparece a nivel de sesión. Solo es visible cuando se clasifican las entradas del log por host de origen y se agrega el resultado por cuenta. Esa clasificación no está en la vista por sesión.
Cómo marcó la IA este gol: dejó de leer el log de auditoría como una lista de eventos de sesión y empezó a leerlo como un conjunto de datos dimensional. El agente calculó la distribución de host de origen sobre los 2,55 millones de entradas del log, desglosadas por cuenta Firefighter. En cuestión de segundos disponía de una tabla con once cuentas, cada una con un ratio de actividad servidor frente a estación de trabajo. Después cruzó esa tabla con dos cosas que el flujo de trabajo manual mantiene en lugares separados: el catálogo de roles (qué cuenta es de qué tipo) y la heurística del sector SAP (más de la mitad de actividad de host de servidor equivale a una carga de cuenta de servicio, no a una carga de acceso de emergencia). Tres cuentas Firefighter destacaron por comportarse como cuentas técnicas encubiertas. El agente produjo entonces la recomendación estructural: reclasificar esas tres cuentas al patrón Z_BC_* con alcance acotado, no "decir al revisor que mire más de cerca la próxima vez". Esa es la jugada con la que se marcó el gol.
Por qué el manual basado en sesión de Team Human no podía igualarlo: las entradas del log existen dentro de la revisión, pero ninguna vista del flujo de trabajo permite al revisor agregarlas por host de origen entre cuentas. Agregar esa clasificación por cuenta y comparar el ratio con una línea base para cuentas de emergencia frente a cuentas técnicas exige el catálogo de roles y una heurística sobre qué proporción sugiere un uso técnico. Ninguno forma parte de la lista de comprobación por sesión. El revisor tiene los datos. Lo que no tiene es la lente.
Exposición a RGPD durante una sesión FF (campo técnico)
La pregunta que responde esta señal: ¿los campos designados para referencias del sistema contienen información de identificación personal que debería residir en otro lugar?
La revisión del agente de IA mostró 19 documentos contables registrados en los que el campo de texto de cabecera BKPF contenía direcciones de correo electrónico de clientes en proveedores de correo de consumo. El texto de cabecera de un documento financiero está pensado para referencias del sistema: identificadores de factura, claves internas de correlación, punteros de cadena de documentos. La presencia ahí de datos de contacto de clientes supone una preocupación de RGPD. Los datos personales viven ahora en un campo del sistema que no tiene política de retención propia, no está registrado en el Registro de Actividades de Tratamiento de la organización como repositorio de PII y se exporta con regularidad en flujos estándar de reporting, incluidos envíos de auditoría y compartición de datos con partners.
Qué está realmente roto: BKPF-BKTXT está clasificado oficialmente como "campo de referencia técnica" en el inventario de datos. Esa clasificación implica que las consultas DSAR (art. 15 del RGPD) lo omiten, las solicitudes de supresión (art. 17) lo omiten, las políticas de retención lo omiten y las reglas de seudonimización en las exportaciones de datos lo omiten. Diecinueve direcciones de correo de clientes están ahora incrustadas en un registro contable de 5 o más años que nadie escanea en busca de datos personales, en un campo que nadie consulta al atender los derechos de un cliente. La organización no puede demostrar el cumplimiento del RGPD en sus arts. 5, 15, 17 ni 30 para esta clase de datos, y no es consciente de no poder hacerlo.
Por qué la revisión FF por sesión no detectó esto: cuando un auditor abre una sesión FF y revisa los documentos registrados, ve el texto de cabecera como una cadena de caracteres. Aunque registre mentalmente que una entrada parece un contacto de cliente, la lista de comprobación de revisión de sesiones FF no contiene ningún ítem que diga "si ves una cadena con aspecto de PII en BKPF-BKTXT, plantea un hallazgo de control". El revisor no tiene una acción de seguimiento definida. El campo está clasificado como referencia técnica, por lo que cualquier cosa que aparezca en él se trata por defecto como una referencia técnica. El humano no identificó esto como un problema no por falta de atención, sino porque el protocolo de revisión no asigna al paso de auditoría FF la verificación del cumplimiento del RGPD, y porque la conciencia de que esta información no debe divulgarse en documentos registrados es conocimiento de un consultor de RGPD, no parte de la formación estándar del revisor FF.
Cómo marcó la IA este gol: ejecutó un escaneo de patrones de contenido que la revisión FF manual no incluye. El agente tomó el conjunto completo de valores BKPF-BKTXT de los documentos registrados bajo FF, decenas de miles de cadenas, y aplicó una biblioteca de patrones regex que cubre direcciones de correo, números de teléfono, números de identificación y otros formatos de datos personales. En cuestión de segundos había marcado 19 documentos. A continuación aplicó una heurística de consultor GRC que la lista de comprobación estándar no codifica: cuando aparecen datos personales en campos no registrados como repositorios de PII, hacer aflorar el caso como un hueco de control y vincularlo a la sesión FF que lo registró. El agente conectó entonces el hallazgo con los arts. 5 (minimización de datos), 15 (derecho de acceso), 17 (derecho de supresión) y 30 (registro de actividades de tratamiento) del RGPD, produciendo no solo diecinueve documentos, sino una declaración de control defendible que un auditor interno puede llevar al DPO. Esa es la jugada con la que se marcó el gol. El tratamiento de PII bajo FF es un área de control que las operaciones conformes con RGPD deben gestionar de forma demostrable. Sin un escaneo dirigido a los campos de texto libre no hay evidencia de que este control esté operando.
Por qué Team Human no podía marcar contra esto: ningún auditor humano que revise sesiones FF de una en una ejecuta una coincidencia regex de patrones de PII sobre el campo de texto de cabecera BKPF, y la revisión por sesión muestra cadenas individuales, pero no las agrega para su escaneo. La heurística que dice "cuando aparezcan datos personales en campos designados para referencias del sistema, hacerlo aflorar como un hueco de control" forma parte de la práctica de un consultor GRC senior mapeada a artículos concretos del RGPD, no de la lista de comprobación estándar de auditoría FF. El revisor tiene las cadenas delante. Lo que no tiene es el escáner, la biblioteca de patrones de PII ni el mapeo a artículos del RGPD que convertiría esas cadenas en un hallazgo de cumplimiento accionable.
Datos faltantes en una sesión FF aprobada (juicio de aprobación)
La pregunta que responde esta señal: ¿el log de auditoría FF está capturando suficiente detalle para sostener la verificación posterior de cambios masivos de datos y, en caso contrario, dónde reside realmente la brecha?
El conjunto de datos mostró que, para aproximadamente 297.000 cambios de maestro de material realizados por el usuario FF de mayor volumen, el campo de detalles en las entradas del documento de cambio CDPOS estaba vacío. No parcial. No ilegible. Vacío. La interpretación habitual de esta brecha es que las operaciones masivas sobre datos no generan documentos de cambio a nivel de campo y que, por tanto, la verificación a nivel de detalle es imposible a posteriori.
Qué está realmente roto: los marcos de ITGC (SOX, ISO 27001 A.12.4) exigen que los cambios sobre datos que impulsan resultados financieros sean trazables a nivel de campo. 297.000 cambios registrados como "imposible de verificar" no es una brecha parcial; es un fallo completo del control de cambios a nivel de campo sobre el mayor bloque de actividad de datos maestros del ciclo. Un auditor no puede concluir efectividad operativa sobre un control en el que 297.000 entradas de evaluación devuelven "imposible de verificar". Sin embargo, la revisión por sesión trata cada entrada como una limitación conocida, la nota de trabajo permanece como "imposible de verificar" y el hallazgo acumulado nunca se eleva a nivel de plataforma.
La interpretación más profunda, surgida en una pasada de bucle de retroalimentación del análisis, es que esto no es un problema de comportamiento de logging a nivel de usuario. Es un problema de configuración de parámetros del sistema a nivel de plataforma. Es muy probable que el parámetro SAP que gobierna la captura de documentos de cambio a nivel de campo para actualizaciones masivas con MM02 y LSMW no esté habilitado en el entorno. La solución no es "decir a los auditores que revisen con más cuidado". La solución está en la configuración de SAP. Nadie lo notó ni lo solicitó, porque pedirlo haría aún más difícil una tarea de revisión ya de por sí imposible. En condiciones en las que hay 300.000 entradas esperando en la cola, la calidad de la revisión cae solo por volumen. Ni trabajando 24/7 podría completarse la verificación. Es difícil esperar que alguien pida que se capturen aún más datos. Resulta más fácil "aceptar" la revisión con la brecha y pasar a la siguiente sesión.
Cómo marcó la IA este gol: replanteó el problema con la ayuda de una pasada de bucle de retroalimentación. En la primera pasada por el conjunto de datos, el agente marcó el campo de detalles vacío como una brecha de verificación, la misma interpretación a la que llegaría un revisor humano. En una pasada posterior, con la capa de heurísticas mejorada por la corrección de un consultor GRC, el agente planteó una pregunta distinta: si la brecha es estructural (se repite a lo largo de 297.000 cambios de un mismo usuario), ¿qué configuración a nivel de plataforma controla la captura de documentos de cambio a nivel de campo para las operaciones masivas con MM02 y LSMW? Cruzó parámetros de configuración de SAP Basis, que la revisión FF manual no incluye en su lista de comprobación, e identificó que el parámetro relevante muy probablemente no está habilitado. El agente conectó entonces el hallazgo con los requisitos de logging de SOX ITGC y de ISO 27001 A.12.4, produciendo no solo una nota a nivel de sesión, sino un hallazgo de control a nivel de plataforma que la auditoría interna puede derivar al equipo de Basis para su remediación. Esa es la jugada con la que se marcó el gol. La auditoría FF no puede demostrar la efectividad operativa de los controles sobre cambios masivos de datos sin que la captura a nivel de campo esté habilitada. Sin configuración no hay evidencia de auditoría, y sin evidencia no hay un control defendible.
Por qué Team Human no podía marcar contra esto: los auditores habían anotado en sus notas de trabajo el campo de detalles vacío como "imposible de verificar" a lo largo de muchas sesiones. Correlacionar esa observación con el parámetro de configuración de SAP que controla el logging de auditoría a nivel de campo exige tanto pericia en SAP Basis como un encuadre de control de auditoría. Ambos residen en la capa de heurísticas de consultor, no en la lista de comprobación del revisor por sesión. El revisor tiene el síntoma delante. Lo que no tiene es el conocimiento de Basis más el encuadre que convertiría "no puedo verificar" en "la elección de configuración es el hueco de control, y este es el parámetro".
La solución no es "decir a los auditores que revisen con más cuidado". La solución está en la configuración del sistema.
Cuenta de emergencia FF usada para cambios masivos
La pregunta que responde esta señal: ¿cómo se distribuye la actividad Firefighter en la población de usuarios a lo largo de seis meses, y el patrón de trabajo de algún perfil concreto encaja con una firma de cuenta de servicio en lugar de con la de un usuario humano avanzado?
El conjunto de datos mostró que un único perfil de usuario concentraba el 36% de todas las entradas del Security Audit Log de Firefighter, el 85% de todos los cambios FF sobre datos maestros (299.017 registros) y el 99,8% de todos los documentos contables registrados bajo FF (201.413 de 201.840). Tres medidas independientes de actividad FF, todas apuntando al mismo perfil. La aritmética no es sutil.
Qué está realmente roto: FF es, por definición, acceso de emergencia. Excepcional. Limitado en el tiempo. Basado en reserva. Si un perfil ejecuta el 99,8% de toda la actividad contable FF en una ventana de seis meses, el acceso ya no es de emergencia para ese perfil. Es acceso elevado permanente disfrazado. El control compensatorio construido sobre el supuesto "FF es igual a excepción" deja de ser un control en el momento en que FF pasa a ser rutina. Las limitaciones de separación de funciones en el rol normal del usuario dejan de aplicar a la carga real, porque la carga real circula por la vía FF. La auditoría SOX e ITGC trata "acceso de emergencia usado para operaciones rutinarias" como una deficiencia de control automática. ISO 27001 A.9.2.5 (Revisión de los derechos de acceso de usuario) exige que las cuentas privilegiadas se revisen frente a la necesidad real. Un perfil que genera el 99,8% de los documentos contables bajo FF claramente necesita acceso permanente, no acceso de emergencia, pero el proceso de revisión no dispone de mecanismo para convertir esa necesidad en una decisión de provisión de rol permanente.
El propio patrón de trabajo encaja con una firma de interfaz por lotes, no con la de un usuario humano avanzado. Volumen elevado a lo largo de cientos de miles de transacciones. Códigos de transacción repetitivos dentro de un ámbito acotado. Sin clics exploratorios. Sin entradas de fallo de transacción. Ventanas de ejecución predecibles. O bien un humano está ejecutando más de 200.000 transacciones de forma manual, lo cual es físicamente imposible, o algún tipo de automatización está corriendo bajo esta credencial humana a través del acceso FF. Ambas interpretaciones son huecos de control. O bien la organización no sabe que está ejecutando automatización por lotes a través del acceso de emergencia, o lo sabe y ha aceptado que el acceso de emergencia es la vía operativa diaria para uno de sus usuarios más activos.
Por qué nunca se alertó de esta concentración: nadie la diseñó. Se acumuló durante años, mes a mes. En el año uno este usuario hacía quizá el 30% del trabajo de datos maestros porque era el más experimentado. En el año dos, el 50% porque los miembros más nuevos del equipo se apoyaban en él. En el año tres, el 85% porque para entonces nadie más recordaba cómo se hacía. Cuando alguien mira el agregado de seis meses, la concentración es una dependencia de punto único disfrazada de pericia. El equipo etiqueta a esta persona como contribuidor sénior insustituible. La población de auditoría la etiqueta como usuario de uso intensivo, correctamente revisado. El proceso de revisión FF no tiene una métrica llamada "tu cuota de volumen del ciclo", ni una señal que diga que esta concentración es matemáticamente incompatible con un perfil de usuario humano avanzado. La deriva es invisible en cualquier ciclo de revisión aislado, y el encuadre social de "es nuestro experto en datos maestros" la protege de ser cuestionada.
Cómo marcó la IA este gol: calculó ratios de concentración a lo largo de múltiples dimensiones de actividad FF (entradas de log por usuario, cambios sobre datos maestros por usuario, documentos contables por usuario) y comparó la distribución resultante con una biblioteca de firmas operativas. En cuestión de segundos disponía de un ranking que situaba a este único perfil en el 36%, el 85% y el 99,8% en las tres medidas. Después aplicó una heurística de consultor GRC que la revisión FF manual no codifica: cuando la distribución de un único perfil encaja con una firma de interfaz por lotes (volumen elevado, rango estrecho de transacciones, cadencia repetible, tasa de fallos prácticamente nula, ventanas predecibles), reclasificarlo como candidato a cuenta de servicio, no como usuario de uso intensivo. El agente produjo la recomendación estructural: construir un rol técnico permanente con alcance acotado Z_BTC_* y migrar esta carga de trabajo fuera de FF por completo. Conectó el hallazgo con SOX ITGC (acceso de emergencia usado para operaciones rutinarias es una deficiencia), ISO 27001 A.9.2.5 (revisión de accesos privilegiados) e ISO 22301 (continuidad de negocio, ya que una dependencia de una sola persona para el 99,8% del rendimiento contable es un riesgo de continuidad documentado). Esa es la jugada con la que se marcó el gol. Tres marcos de control apuntan a la misma solución: sacar esta carga de FF, ponerla sobre un rol técnico permanente y devolver FF a su vía excepcional.
Por qué Team Human no podía marcar contra esto: cada sesión abierta por este usuario, revisada de forma aislada, parece trabajo operativo legítimo. Las transacciones encajan con el ámbito del rol. Los motivos de reserva referencian tickets reales. El veredicto de auditoría es "aceptar". Nada en ninguna sesión individual revela que la misma persona sea responsable del 99,8% de todos los documentos contables FF del conjunto de datos. Los ratios de concentración son una propiedad del conjunto completo, no de ninguna sesión aislada. El log de sesión no incluye "tu contribución al agregado del ciclo es del 99,8%". Incluso cuando los revisores saben de manera intuitiva que esta persona "siempre está en FF", cuantificar esa intuición requiere calcular métricas de cuota por usuario sobre varias dimensiones de actividad y comparar el resultado con una biblioteca de firmas de interfaz por lotes. Ninguna de las dos cosas forma parte de la revisión por sesión. El revisor ve el volumen. No ve el ratio de concentración, ni dispone de la biblioteca de patrones para distinguir el volumen de un usuario de uso intensivo del volumen con forma de automatización.
La solución no es "revisar al usuario de uso intensivo con más cuidado". La solución es reconocer la carga de trabajo de interfaz por lotes por lo que es y sacarla por completo de FF.
La calidad de la revisión de sesiones FF (uso no detectado de transacciones críticas)
La pregunta que responde esta señal: ¿las sesiones FF que contienen transacciones de distinta clase de riesgo reciben un tratamiento diferenciado en la cola de revisión, o una transacción de alto riesgo espera los mismos días que una de bajo riesgo?
El conjunto de datos mostró nueve sesiones que ejecutaron la transacción F110 (Ejecución de pagos, que genera órdenes reales de pago bancario que sacan dinero de la empresa el mismo día). Seis de esas nueve seguían en estado de auditoría PENDIENTE semanas o meses después de cerrarse la sesión. En este conjunto de datos, el patrón de F110 se concentraba en un único perfil de finanzas. Total de ejecuciones de F110 en las nueve sesiones: 23. Número de esas 23 revisadas de forma independiente en el momento del análisis: cero. En el conjunto más amplio, el tiempo de permanencia de transacciones de alto riesgo en PENDIENTE superó al de las de bajo riesgo, el inverso de lo que pretendería una política de auditoría.
Qué está realmente roto: F110 es la transacción SAP que genera órdenes reales de pago bancario. Cada ejecución autoriza un pago saliente que abandona la cuenta de la empresa el mismo día hábil. Los marcos de ITGC (SOX, COBIT) clasifican la autorización de pagos como un control primario. ISO 27001 A.9.4.4 aborda explícitamente el control sobre programas de utilidad privilegiados, y F110 es un ejemplo de manual. Veintitrés ejecuciones de F110 con cero revisión independiente significa que el principio de cuatro ojos sobre los pagos salientes no está operando. El control sobre el papel dice "las sesiones de F110 requieren revisión independiente oportuna". El control en la práctica dice "las sesiones de F110 permanecen en PENDIENTE más tiempo que las rutinarias porque nadie se ofrece a ser el segundo par de ojos sobre un pago bancario real".
Por qué la revisión FF por sesión dejó que las sesiones de alto riesgo permanecieran más tiempo: es una paradoja de aversión al riesgo. El coste mental de cerrar una sesión de F110 es asimétrico. Una revisión de F110 cerrada de forma equivocada asocia el nombre del auditor a un pago bancario real que no debería haberse producido. Una revisión de F110 aplazada no tiene coste visible. La respuesta individual racional, dada esa asimetría, es aplazar hasta "tener tiempo para hacerla como es debido". Pero cada revisor hace el mismo cálculo, el mismo día, sobre el mismo tipo de sesión. El comportamiento del colectivo produce un SLA invertido sin que nadie del colectivo lo pretenda. A eso se añade la realidad operativa de que las sesiones de F110 tardan más en revisarse porque el análisis es más pesado (más transacciones, más importes, más referencias de facturas que comprobar), así que se eternizan. Y la cola no hace visible el efecto del colectivo a ningún revisor individual.
Cómo marcó la IA este gol: correlacionó la clase de riesgo de la transacción con la duración del estado de revisión a lo largo de todo el backlog. El agente construyó una distribución de "días en PENDIENTE" segmentada por la transacción de mayor riesgo de cada sesión (F110, SE38, SU01, SM30, todos códigos de alto riesgo conocidos) y la comparó con la distribución de las sesiones rutinarias. El resultado fue la inversión: las sesiones de alto riesgo promediaban mayor tiempo de permanencia que las de bajo riesgo. Después el agente aplicó una heurística de consultor GRC que la lista de comprobación manual no codifica: las transacciones de alto riesgo deben tener un SLA más corto en PENDIENTE, no más largo. El agente produjo la recomendación estructural: añadir un campo de clase de riesgo de transacción al criterio de ordenación de la cola de revisión FF, escalar automáticamente las sesiones que contengan códigos de alto riesgo a una vía de revisión de cuatro ojos con un SLA definido, sacarlas de la cola PENDIENTE por defecto y reportar el cumplimiento del SLA por separado. Conectó el hallazgo con SOX ITGC (control de autorización de pagos), ISO 27001 A.9.4.4 (programas de utilidad privilegiados) y el principio de cuatro ojos. Esa es la jugada con la que se marcó el gol. Pagos bancarios ejecutados bajo FF sin revisión independiente oportuna es exactamente el fallo de control que buscan los auditores en las evaluaciones externas. Sin enrutamiento por clase de riesgo, F110 se sienta en la misma cola que F-04, y la actividad de mayor riesgo recibe el menor tiempo.
Por qué Team Human no podía marcar contra esto: cada sesión se revisa cuando un auditor la abre. La cola de revisión no comunica al auditor si esta sesión es más o menos crítica en el tiempo que otras de la cola, ni cómo es el patrón de SLA a nivel de cohorte. La distribución de tiempo de permanencia no es visible dentro de ninguna sesión; es una propiedad de la cola, y la cola no la hace aflorar. Incluso cuando un revisor individual sabe que las sesiones de F110 suelen esperar demasiado, no tiene una señal cuantitativa con la que escalar ni un mecanismo para enrutar la cola de F110 de manera distinta de la cola rutinaria.
La solución no es "decir a los auditores que cierren más rápido las sesiones de F110". La solución es sacarlas de la cola por defecto y meterlas en una vía de cuatro ojos con un SLA definido.
Seis goles marcados. Antes de pasar al análisis post-partido sobre cómo se construyó realmente Team AI, conviene ser explícitos sobre lo que el agente deliberadamente no sacó a la luz.
Los goles que Team AI no marcó
Conviene poner de relieve lo que el agente no sacó a la luz. No marcó ninguna sesión individual como fraudulenta. El conjunto de datos no contenía evidencia de malos actores. No inventó hallazgos de cumplimiento que no estuvieran ahí. No propuso remediaciones que la capa de políticas no soportara. No, pese a correr sobre un modelo plenamente capaz de alucinar, alucinó transacciones, números de documento ni actividad de usuario. Las cifras de esta serie aparecen porque el agente contó directamente sobre tablas como CDPOS, BKPF y similares, no porque las estimara.
Esta es la respuesta práctica a la objeción habitual a la IA en contextos de auditoría. La alucinación ocurre cuando se pide a un modelo razonar sobre algo para lo que no tiene datos fundamentados.
El agente de este experimento tenía datos fundamentados para todo lo que dijo. La capa de heurísticas le indicaba qué buscar. La capa de herramientas le permitía extraer conteos verificados de la plataforma subyacente. La capa de retroalimentación de ejecuciones previas corrigió sus sesgos. La salida que el agente no podía fundamentar en los datos no la hizo aflorar.
Esto no es lo mismo que una garantía de ausencia de alucinaciones. Es una garantía de verificabilidad: cada conteo que el agente sacó a la luz es reproducible volviendo a ejecutar la misma consulta sobre las mismas tablas.
El modelo es la parte más pequeña de un agente de IA en auditoría. Lo que determina si la salida es defendible es la arquitectura que lo rodea.
Cómo se entrena Team AI: metodología y validación
La capa de heurísticas sobre la que razona el agente fue redactada por consultores GRC sénior con más de 15 años de experiencia en auditoría SAP, revisada por pares contra el material de formación de auditoría de la firma y controlada por versiones. Cada heurística debe referenciar una justificación documentada de control de auditoría antes de incorporarse a la biblioteca de razonamiento del agente. Las heurísticas no se añaden mediante iteración de prompts; se añaden mediante el mismo proceso por el que una firma de consultoría redactaría un nuevo control interno.
Cada señal que produjo el agente fue revisada por un consultor GRC humano antes de aparecer en esta serie. Dos señales candidatas de pasadas anteriores fueron rechazadas en revisión: una era un falso positivo basado en datos incompletos del catálogo de roles (el agente estaba trabajando con una instantánea desfasada anterior a un rediseño rutinario de SoD), y otra era una anomalía real que no tenía implicaciones relevantes para la auditoría y habría producido ruido en lugar de señal. Las seis señales publicadas pasaron esa revisión humana.
La tasa de falsos positivos a lo largo de todas las pasadas de análisis se situó en torno al 8%. Aproximadamente uno de cada doce ítems marcados por el agente fue rechazado por el revisor humano por basarse en contexto incompleto o por tratarse de un valor atípico benigno. La puntuación de confianza del agente correlaciona con la aceptación del revisor, pero no la sustituye. Cada señal de esta serie fue verificada, sobre los datos subyacentes, por un consultor GRC responsable. Ninguna señal se presenta como definitiva sin esa firma humana.
La división del trabajo es el principio. El agente detecta patrones a una escala y a lo largo de dominios de datos que la revisión humana no puede alcanzar: detección de patrones sobre 600 sesiones, cálculo de ratios sobre 2,55 millones de entradas de log, cruce entre múltiples dominios de datos. El humano decide si el patrón es relevante para la auditoría, si el encuadre es correcto y si es publicable como afirmación de control. Ninguno sustituye al otro.
Cómo se alinea Team AI: la arquitectura de seis capas
Una capa de herramientas: cada función de la plataforma GRC expuesta como una API bien tipada que el agente puede invocar sin alucinar sus argumentos. Cada acción acotada, comprobada por tipos y reversible.
Una capa de políticas: reglas Firefighter, conjunto de reglas de SoD, clases de riesgo de transacción, plantillas de comentarios de auditoría, reglas de enrutamiento de cuatro ojos. Todo en un formato estructurado sobre el que el agente consulta, en lugar de texto libre que el modelo deba interpretar.
Una capa de contexto histórico: cada veredicto de auditoría pasado con su comentario, cada motivo de reserva con su resultado, indexado y consultable.
Una capa de heurísticas: el saber hacer del consultor GRC sobre anomalías reales frente a valores atípicos benignos. La capa más difícil de construir, porque sus autores son consultores sénior, no ingenieros de LLM.
Una capa de retroalimentación: correcciones de ejecuciones previas que ajustan el sesgo del agente en la siguiente pasada.
Y por encima de todo ello, un paso determinista de verificación que vuelve a ejecutar cada conteo que produce el agente, de modo que la salida sea reproducible de principio a fin bajo demanda.
Esto es lo que significa la IA en una plataforma GRC como categoría de producto. No una caja de ChatGPT añadida a la interfaz. Las mismas funciones de auditoría que la plataforma ya tiene, expuestas como herramientas del agente, sentadas bajo capas de lógica de negocio y auditoría y de contexto histórico que constriñen estructuralmente las alucinaciones y hacen verificable cada afirmación del agente.
La plataforma GRC de otro proveedor (SAP GRC, otras de esta categoría) podría construir la misma arquitectura. En nuestra implementación, estas capacidades se entregan a través del módulo smartAccess de smartGRC. La arquitectura es neutra respecto a la plataforma.
La disciplina de mantener al agente fundamentado en datos verificables, en lugar de vender la solución al problema de la alucinación, será la que defina los próximos cinco años del GRC sobre SAP.
Cómo vuelve Team Human al partido
Mida su propio terreno
Las señales son reproducibles. Viven en datos que su organización ya tiene, en tablas que su plataforma GRC ya consulta. Las siguientes preguntas pueden responderse sobre su propio conjunto de datos Firefighter con la misma capa de herramientas que usó el agente de este experimento: tablas de documentos de cambio, cabeceras de documentos contables, entradas del log de auditoría, historial de reservas, catálogos de roles. Para la señal de relación: del total de sesiones Firefighter aceptadas en su último ciclo, ¿qué fracción fue aprobada por un miembro de su decil superior de usuarios de uso intensivo?
Para la señal de relación (Gol n.º 1): construya un grafo dirigido de reservas FF en el que cada solicitante sea un nodo, cada aprobador sea un nodo y cada sesión aceptada sea una arista del solicitante al aprobador. ¿Qué fracción de las sesiones aceptadas forma bucles cerrados en los que usuarios FF de uso intensivo cierran las sesiones de los demás?
Para la señal de origen de la actividad: por cuenta Firefighter, ¿cuál es el ratio entre entradas del log de auditoría originadas en nombres de host de servidor frente a estaciones de trabajo de usuario? ¿Qué cuentas cruzan el umbral que sugiere una carga propia de cuenta de servicio?
Para la señal de ubicación de los datos: una búsqueda regex en el texto de cabecera BKPF de los últimos seis meses. ¿Cuántos documentos contienen direcciones de correo u otros formatos de datos personales?
Para la señal de completitud del logging: ¿está habilitado en su entorno el parámetro de SAP que controla la captura de documentos de cambio a nivel de campo para operaciones masivas con MM02 y LSMW?
Para la señal de concentración: por perfil de usuario Firefighter, ¿cuál es su cuota del total de documentos contables y cambios sobre datos maestros?
Para la señal de prioridad de revisión (Gol n.º 6): en su cola PENDIENTE actual, ¿cuál es la distribución de tiempo de permanencia de las sesiones que contienen F110, SE38, SU01 o SM30 frente al tiempo de permanencia de las sesiones rutinarias?
Cada una de estas consultas es una tarea de una semana para un analista SAP/GRC competente. Los patrones que hagan aflorar, si los hubiera, no serán las mismas cifras que aparecen en esta serie. Distintos entornos producen distintas distribuciones. Las preguntas son las mismas.
Tres acciones de una semana
Las señales se traducen en acciones concretas de una semana para distintos roles de la operación GRC, con independencia de cualquier programa estructural plurianual de cambio.
Un CISO debería encargar una auditoría del origen de la actividad sobre las cuentas Firefighter de su propia organización. Una consulta de un día sobre el Security Audit Log producirá el mismo tipo de porcentaje que el Gol n.º 2, u otro distinto. Si el número es alto, algunas cuentas de emergencia podrían estar operando como cuentas técnicas encubiertas.
Un GRC Manager debería añadir un campo de clase de riesgo de transacción al criterio de ordenación de la cola PENDIENTE del flujo de auditoría, mapeando el Gol n.º 6 a un cambio de configuración de la cola de revisión y no a un proyecto. La política Firefighter que ya redactó clasifica F110 como de alto riesgo; el flujo necesita leer esa clasificación.
Un auditor interno debería solicitar al equipo de SAP Basis la confirmación de si el parámetro de captura de documentos de cambio a nivel de campo (Gol n.º 4) está habilitado en el entorno, y tratar la respuesta como un hallazgo de evaluación de control en cualquier caso.
Cada una de ellas es una acción de una semana, no un programa plurianual.
El partido más grande
La pregunta no es si poner IA en el GRC. La pregunta es si las plataformas GRC expondrán sus funciones de auditoría como herramientas de agente de la misma forma en que las expusieron como interfaces humanas hace diez años, y si las heurísticas que los consultores GRC llevan en la cabeza se codificarán en una capa de contexto sobre la que un agente pueda razonar de forma consistente. Los primeros proveedores que lo hagan, con la disciplina de mantener al agente fundamentado en datos verificables en lugar de vender la solución al problema de la alucinación, definirán cómo será el GRC sobre SAP en los próximos cinco años.
Que su ciclo de auditoría encuentre estos patrones antes de que aparezcan en el informe de un auditor externo depende por completo de qué herramientas ponga en manos de las personas responsables de encontrarlos. Las señales de esta serie eran el primer entregable del agente. Las soluciones estructurales a las que apuntan son ahora un problema de todos.
Sobre esta serie. El conjunto de datos analizado en este artículo procede de una implantación real de Firefighter en SAP S/4HANA productivo; el análisis lo llevó a cabo el smartGRC LAB de GRC Advisory sobre un extracto anonimizado de esos datos. El artículo no nombra, identifica ni atribuye el análisis a ninguna organización concreta. Si opera SAP Firefighter a gran escala y desea comentar la posibilidad de realizar un análisis similar sobre sus propios datos, en smartgrc.eu encontrará los datos de contacto y una vista previa en vivo de la UX. Esta es la edición consolidada de la serie de tres partes publicada anteriormente como Partes 1, 2 y 3.
¿Quiere realizar el mismo análisis sobre sus datos de Firefighter?
Los agentes de IA de smartGRC para la gobernanza de accesos en SAP trabajan sobre sus propios datos de producción, con plena firma del auditor. Seis consultas, una semana de tiempo de analista, hallazgos de control defendibles: reserve una llamada de 30 minutos para ver cómo se vería en su entorno.