Guardrails für KI-Agenten

Agenten lesen Code, rufen Werkzeuge auf und verändern Systeme. Damit das kontrollierbar bleibt, braucht jeder Schritt klare Grenzen.

Ich baue technische Kontrollpunkte in Ihre Entwicklungs- und Anwendungsprozesse ein: wer handelt, was der Agent sehen und tun darf, wann ein Mensch entscheidet und wie jeder Lauf nachvollziehbar bleibt.

Acht Kontrollpunkte

Von der Identität bis zur Bewertung – entlang eines Agentenlaufs.

  1. Identity

    Jeder Agent handelt unter einer eigenen, zuordenbaren Identität – nicht mit geliehenen Rechten eines Menschen.

  2. Context

    Der Agent erhält nur das Wissen, das für die Aufgabe freigegeben ist. Die Begrenzung greift vor der Suche.

  3. Tools

    Welche Werkzeuge und MCP-Server erreichbar sind, ist registriert und geprüft – nicht zufällig konfiguriert.

  4. Permissions

    Rechte gelten pro Aktion: lesen, ändern, veröffentlichen und löschen sind verschiedene Dinge.

  5. Execution

    Ausführung in einer begrenzten Umgebung mit Kosten-, Zeit- und Umfangsgrenzen.

  6. Approval

    Riskante oder irreversible Schritte entscheidet ein Mensch. Eine Freigabe ist eine eigene, protokollierte Entscheidung.

  7. Audit

    Quellen, Modell, Promptversion, Werkzeugaufrufe und Ergebnis werden je Lauf festgehalten.

  8. Evals

    Wiederholbare Tests prüfen, ob Modell- oder Promptänderungen das Verhalten verschlechtern.

Wogegen Guardrails schützen

Indirekte Prompt Injection

Anweisungen stecken nicht in der Nutzereingabe, sondern in Dokumenten, Webinhalten oder Tool-Ergebnissen, die der Agent verarbeitet.

Privilegierte MCP-Tools

Ein einzelner Server mit weitreichenden Rechten macht jeden Agenten, der ihn nutzen darf, genauso mächtig.

Tool-Missbrauch

Erlaubte Werkzeuge werden für nicht vorgesehene Zwecke oder in schädlicher Reihenfolge aufgerufen.

Missbrauch von Identitäten und Rechten

Agenten erben Tokens oder Zugänge von Menschen und handeln damit weit über ihre Aufgabe hinaus.

Agenten-Lieferkette

Externe MCP-Server, Plugins, Prompts und Modelle ändern sich ohne Prüfung – und mit ihnen das Verhalten des Agenten.

Rechte-Modell pro Aktion

Ein Zielmodell für Kundenprojekte. Nur riskante oder irreversible Aktionen brauchen eine Freigabe – alles andere läuft ohne Unterbrechung.

Zielmodell; die konkrete Ausprägung wird je Projekt vereinbart.
Aktion Regel
Repository lesenerlaubt
Tests ausführenerlaubt
Lokalen Branch anlegen und ändernerlaubt
GitHub-Issue anlegennach Policy
Push, Merge, Produktions-DeploymentFreigabe durch einen Menschen
Ressourcen löschenverboten oder nur mit ausdrücklicher Freigabe

Kosten und Nachvollziehbarkeit

Kostenkontrolle

  • Budgets und Limits pro Team, Agent oder Aufgabe
  • Transparenz über Modellnutzung und Tokenverbrauch
  • Günstigeres Modell, wo es für die Aufgabe genügt
  • Caching wiederkehrender Anfragen

Audit

  • Protokoll je Agentenlauf: Eingabe, Quellen, Modell, Prompt- und Werkzeugversion
  • Werkzeugaufrufe und Ergebnisse statt unsichtbarer Nebenwirkungen
  • Freigaben mit Verantwortlichem und Begründung
  • Keine sensiblen Argumente ungefiltert in Logs

Organisatorische und regulatorische Anforderungen

Technische Governance und Guardrails unterstützen die Umsetzung organisatorischer und regulatorischer Anforderungen.

Stand September 2026: Große Teile der EU-KI-Verordnung (AI Act) gelten seit dem 2. August 2026. Pflichten für Hochrisiko-Systeme nach Anhang III gelten nach dem AI Omnibus ab dem 2. Dezember 2027. Diese Seite ist keine Rechtsberatung; die rechtliche Einordnung erfolgt durch Ihre Fachberatung.

Wie das in der Praxis aussieht

In meiner eigenen, lokal produktiv genutzten Plattform DehoBrain – keine Kundenreferenz – setze ich einen Teil dieser Kontrollpunkte bereits um: Proxy-Prüfung externer MCP-Server, Freigabe-Gates für riskante Fähigkeiten, einen separat geschützten Live-Deploy, auf den Arbeitskontext begrenzten Wissenszugriff und Provenienz je Agentenlauf. Das vollständige Rechte-Modell pro Aktion oben ist das Zielmodell für Kundenprojekte.

DehoBrain im Detail · Agentic Engineering

Welche Rechte haben Ihre Agenten heute?

Lassen Sie uns klären, wo Ihre Agenten arbeiten und welche Kontrollpunkte fehlen.
Unverbindlich, 30 Minuten, kostenfrei.

Erstberatung vereinbaren (30 Min., kostenfrei)