Segurança de IA fica impossível de operar quando scanners, filtros de prompt, red-team tools, catálogos, IAM, logs, reviews de fornecedores e planilhas descrevem fragmentos diferentes do mesmo sistema sem identidade compartilhada.
O NIST AI RMF inclui Govern, Map, Measure e Manage e pede mecanismos para inventariar sistemas de IA. Um inventário útil não para em “modelo e owner”. Ele conecta caso de uso, owner, modelo e provider, versões de prompt, dados, agentes, tools, identidades, permissões, deployments, avaliações, incidentes e requisitos aplicáveis.
Sem relações, cada ferramenta produz findings órfãos. Um alerta de prompt injection vale pouco se a plataforma não responde qual agente usou o prompt, quais dados podia ler, quais tools chamava, quais tenants foram afetados e onde a mesma configuração existe.
Planilhas documentam política. Gateways bloqueiam calls. Red-team tools encontram falhas. Um control plane conecta tudo: risk tier determina avaliações; resultados decidem release; política de deployment define modelos, dados e tools; evidência runtime prova se as restrições foram mantidas.
O NIST AI RMF Playbook enfatiza políticas transparentes, papéis, documentação e risco contínuo. O Generative AI Profile adiciona ações para riscos únicos ou ampliados por sistemas generativos. A plataforma deve transformar outcomes em controles técnicos e evidências reutilizáveis.
MITRE ATLAS oferece uma base viva de táticas e técnicas contra sistemas de IA. OWASP GenAI Security Project e AI Exchange oferecem orientação prática. O control plane deve mapear findings, avaliações, detecções e mitigations a uma taxonomia comum para revelar se existem controles apenas para prompt injection enquanto model theft, data poisoning, excessive agency, supply chain e vazamento ficam descobertos.
Cobertura também precisa de contexto arquitetural. O mesmo modelo pode ser baixo risco em resumo interno e alto risco conectado a dados de clientes e tools financeiras. Postura pertence ao sistema implantado, não só ao artefato de modelo.
| Capacidade | Pergunta respondida | Evidência coletada | Ação habilitada |
|---|---|---|---|
| Inventário de IA | O que existe, onde, por quê e quem responde? | Casos, modelos, prompts, dados, tools, owners, vendors e deployments. | Descobrir shadow AI, atribuir tier e aplicar gates. |
| Mapeamento de dados | Quais dados sensíveis entram, saem ou treinam? | Fontes, classes, retrievals, destinos, retenção e regiões. | Bloquear fluxos, minimizar dados e avaliar exposição. |
| Grafo de identidade | Quem chama modelos, dados, agentes e tools? | Principals, agentes, escopos, delegação, secrets e permissões. | Aplicar least privilege, revogar e reconstruir ações. |
| Registro de avaliações | Quais riscos foram testados para este release? | Datasets, ataques, métricas, thresholds, findings e regressões. | Bloquear release, comparar versões e exigir remediação. |
| Política e telemetria runtime | O comportamento ficou dentro dos limites? | Prompts, outputs, retrieval, tools, decisões, custos e incidentes. | Detectar, conter, investigar e ajustar controles. |
| Risco de vendor e modelo | Quais terceiros afetam segurança, privacidade e resiliência? | Termos, regiões, treinamento, retenção, attestations, mudanças e incidentes. | Aprovar, restringir, monitorar, substituir ou sair. |
A plataforma não precisa substituir toda ferramenta especialista. Deve normalizar identidades, findings, políticas e evidências para scanners, gateways, SIEM, catálogos, IAM, avaliações e tickets cooperarem. As ferramentas continuam úteis; o control plane torna outputs comparáveis e acionáveis.
Também não pode virar dashboard passivo. Controles de alta confiança devem aplicar modelos aprovados, classes de dados, permissões de tools, release gates, logging e expiração de exceções. Riscos de menor confiança criam reviews, testes ou investigações.
Eu construiria um grafo de sistemas de IA como source of truth, com adapters que descobrem endpoints, prompts, vector stores, agentes, tools, IAM, avaliações e telemetria. Políticas se ligariam às relações do grafo e produziriam controles preventivos e requisitos de evidência.
A visão principal começaria em qualquer feature e revelaria owner, tier, modelo, vendor, data flows, permissões, testes, versões, exceções, incidentes, custos e findings. Outra visão começaria em risco ou fornecedor e mostraria todos os sistemas afetados.
Segurança de IA não é um scanner na fronteira do modelo. É controle contínuo sobre modelos, dados, identidades, prompts, tools, fornecedores e decisões humanas. O control plane funciona quando governança alcança runtime e evidência runtime muda governança.
Artigo sobre plataformas e control planes de segurança de IA cobrindo inventário, prompts, data flows, identidades, permissões, avaliações, logs, risco de fornecedores, governança e MITRE ATLAS.