Ein Kunde erfährt, dass sein Tarif auf PrePaid umgestellt wird. Hinter der Entscheidung steht eine KI. Er fragt: Warum?
Diese Frage hat zwei Dimensionen. Die geschäftliche: Verstehe ich selbst, was das System getan hat? Die rechtliche: Muss ich den Vorgang erklären können, wenn der Kunde widerspricht oder ein Gericht fragt?
Die zweite Frage ist nicht das Thema dieses Artikels. Sie gehört in die Rechtsabteilung. Was hier zählt: Wenn die Antwort "ja, ich muss“ lautet, hat das Konsequenzen für die KI, die im Prozess steckt. Genau dort wird die Wahl der Technologie entscheidend.
Was Erklärbarkeit ist
Erklärbarkeit ist die Fähigkeit eines automatisierten Systems, seine Entscheidung nachvollziehbar zu machen. Das gilt für regelbasierte Systeme genauso wie für KI. Wer nach fünf Mahnungen dem Kunden Strom sperrt, ist verpflichtet, darzulegen, warum fünf, warum Sperrung, warum kein Härtefall geprüft wurde. Die Anforderung ist nicht neu und nicht an Technologie gebunden.
Ein Beispiel macht das konkret. "Diese Kunden werden im nächsten Quartal vermutlich kündigen“ ist eine Aussage. "Der Grund ist, dass die Wartezeit im Service in den letzten Monaten gestiegen ist und der Verbrauch gesunken ist“ ist eine Begründung. Diese muss ein System liefern können, wenn sie gefordert ist.
Bei einer Regel stellt das kein Problem dar. Bei KI hängt das vom genutzten Modell ab. Manche können das. Andere nicht.
Wo Erklärbarkeit zentral wird
Es gibt Anwendungsfelder, in denen Erklärbarkeit als Anforderung gilt. Aus der Energiewirtschaft kennt man die Liste: Bonitätsbewertung beim Vertragsabschluss, Sperrentscheidungen bei Versorgungsverträgen, Konditionsanpassungen ohne Kundenzustimmung, vollautomatische Kündigungen, Profiling im Sinne von Art. 22 DSGVO. Der EuGH hat 2023 im Schufa-Urteil den Anwendungsbereich erweitert. Schon ein Scoring-Wert kann als automatisierte Entscheidung gelten.
Eine grobe Unterscheidung hilft im Alltag. Wo eine Entscheidung auf eindeutigen Tatsachen und einer sauberen AGB-Klausel beruht, reicht oft eine Wenn-Dann-Logik. Beispiel: fünf fruchtlose Mahnungen führen zur Sperrung. Hier muss niemand ein KI-Modell einbauen. Wo eine Entscheidung dagegen auf Profiling beruht, also auf der Bewertung des Kunden anhand von einer Vielzahl an Merkmalen, kommt KI ins Spiel. Beispiel: PrePaid-Tarif auf Basis eines externen Scores kombiniert mit den Kundendaten im operativen System. In diesem zweiten Fall wird Erklärbarkeit Pflicht.
Ein Anwendungsfeld führt über die Stadtwerkswelt hinaus, ist aber lehrreich: KI im Recruiting. Der AI Act benennt sie in Annex III ausdrücklich als Hochrisiko-Anwendung. In vielen Unternehmen läuft sie trotzdem täglich, mit der Begründung "der Mensch entscheidet am Ende“. Wer sich darauf verlässt, sollte das EuGH-Schufa-Urteil kennen. Wer sich maßgeblich auf eine automatisierte Vorauswahl stützt, hat eine automatisierte Entscheidung getroffen.
Dieser Artikel beurteilt nicht, ob im konkreten Fall eine Pflicht greift. Das ist juristische Einschätzung. Was hier zählt: Sobald die Anforderung im Raum steht, hat sie Konsequenzen für die Technologiewahl.
Welche KI kann Erklärbarkeit liefern?
Die Antwort hängt von der Modell-Klasse ab.
Analytische KI (Machine Learning). Modelle wie Entscheidungsbäume, lineare Regression, Random Forest oder Gradient Boosting lernen aus historischen Daten und erstellen Prognosen. Dabei ist es nachvollziehbar, welche Eingangsvariablen wie zum Ergebnis beigetragen haben. Die Logik ist entweder direkt sichtbar oder lässt sich nachträglich erschließen. Bei komplexeren Modellen ist die Erklärung nicht perfekt, aber möglich. In den meisten Anwendungsfällen ist sie ausreichend.
Generative KI (Sprachmodelle). Modelle wie ChatGPT, Claude oder Gemini sind strukturell anders gebaut. Sie haben Milliarden Parameter und erzeugen Antworten aus Wahrscheinlichkeitsverteilungen über Wörter (siehe Würfel oder Uhrwerk). Die Modelle können ihre Entscheidung nicht im klassischen Sinn belegen. Wenn ChatGPT eine Begründung formuliert, ist diese selbst wieder eine Wahrscheinlichkeitsrechnung, kein Rückblick auf den Entscheidungsweg.
Was das praktisch heißt. Eine Anwendung mit Erklärbarkeitspflicht lässt sich mit analytischer KI bauen. Mit einem Sprachmodell nicht. Wer in einem solchen Prozess generative KI einsetzt, baut ein System, das die Anforderung strukturell nicht erfüllen kann.
Typische Anwendungen, unterschiedliche Werkzeugentscheidungen
Bonitätsbewertung. Hier ist Erklärbarkeit zentral. Ein Sprachmodell als Bonitätsprüfer scheidet aus. Es kann keinen Score begründen, der einer Anfechtung standhält. Hier passt analytische KI mit nachvollziehbarer Entscheidungslogik. Kündigungsvorhersage. Hier ist Erklärbarkeit geschäftlich unentbehrlich, auch wenn keine gesetzliche Pflicht im engen Sinn greift. Wer weiß, warum ein Kunde kündigt, kann gezielt Maßnahmen einleiten. Eine Liste mit Namen ohne Begründung nützt dem Vertrieb wenig. Auch hier ist analytische KI das passende Werkzeug.
Anliegenbearbeitung und interne Recherche. Hier ist Erklärbarkeit nicht zwingend, weil ein Mensch die Kontrolle behält oder Fehler leicht korrigierbar sind. Bei einzelnen Operationen passt ein Sprachmodell, etwa für die Übersetzung von Tarifbedingungen in einfache Sprache oder die Themenklassifikation eingehender Anfragen. Als Teil eines Agenten kann es mehrstufig handeln. Der Recherche-Agent durchsucht interne Dokumente und liefert die Antwort mit Quellen. Der Antwort-Agent formuliert einen Entwurf aus Vertrags- und Verbrauchsdaten, den der Sachbearbeiter prüft. Das Sprachmodell bleibt Werkzeug. Der Mensch entscheidet.
Was bei der Werkzeugauswahl zu tun ist
Rechtlichen Rahmen prüfen. Mit der Rechtsabteilung klären, ob für diesen Prozess Erklärbarkeit nötig ist.
Architektur transparent machen. Beim Anbieter oder bei der IT erfragen, welches Modell die Entscheidung im Kern trifft. Analytische KI oder Sprachmodell?
Wenn Erklärbarkeit Pflicht ist und ein Sprachmodell die Entscheidung trifft, ist die Architektur ungeeignet. "Erklärbarer Output“ aus einem Sprachmodell bleibt Marketing.
Für eine strukturierte Eignungsprüfung habe ich die HOIKEI-Methodik entwickelt. Sie verbindet die Bewertung der Prozess-Eignung mit der Frage nach der richtiger Modellklasse.
Wer den Prozess kennt und die Modell-Klasse passend wählt, hat den größten Teil gewonnen.