L’autonomie gagne une seule limite à la fois.
L'automatisation de sécurité devrait réduire les dégâts sans créer un second système d'exploitation moins responsable. La différence est la gouvernance: qui peut agir, dans quels limites, et comment le résultat est vérifié.
AI peut aider les équipes de sécurité à interpréter le contexte, à comparer les possibilités et à développer des hypothèses utiles. Cela ne fait pas d'un système AI l'autorité d'une décision à haute influence.
Commencez par la permission
Chaque action a besoin d'un propriétaire clair, d'un scope clair et d'une politique qui explique pourquoi il est permis.Le système devrait être en mesure de recommander un pas suivant sans élargir silencieusement son autorité.
Gardez les actions limitées
Les limites rendent l'automatisation lisible. Une réponse doit être limitée par la ressource, le résultat prévu et le risque opérationnel qu'elle peut introduire. Lorsque le système ne peut pas fixer ces limites, il devrait rester conseillé.
Vérification, récupération, apprentissage
La vérification est obligatoire après une action significative.Si l'état prévu n'est pas restauré, le système devrait préserver un mode sûr et mettre la décision en main humaine responsable. Un enregistrement de la décision et du résultat rend la prochaine révision plus épais.
L’autonomie gérée se déplace rapidement là où la politique est claire, se déplace là où l’incertitude est matérielle et laisse derrière elle des preuves que les gens peuvent inspecter.