Eine Confusion Matrix (Verwechslungsmatrix oder Fehler-Matrix) ist ein nützliches Werkzeug zur Beurteilung der Leistung eines Klassifikationsmodells. Sie zeigt eine tabellarische Übersicht über die tatsächlichen und vorhergesagten Klassifikationen eines Modells und ermöglicht so eine detaillierte Analyse der Fehler.

Die Matrix hat in der Regel vier Hauptelemente für ein binäres Klassifikationsproblem (zwei Klassen): True Positive (TP): Fälle, bei denen die positive Klasse korrekt vorhergesagt wurde (das Modell sagt „positiv“ und das tatsächliche Ergebnis ist auch „positiv“). True Negative (TN): Fälle, bei denen die negative Klasse korrekt vorhergesagt wurde (das Modell sagt „negativ“ und das tatsächliche Ergebnis ist auch „negativ“). False Positive (FP) (auch bekannt als Type-I-Fehler): Fälle, bei denen fälschlicherweise eine positive Vorhersage gemacht wurde (das Modell sagt „positiv“, aber das tatsächliche Ergebnis ist „negativ“). False Negative (FN) (auch bekannt als Type-II-Fehler): Fälle, bei denen fälschlicherweise eine negative Vorhersage gemacht wurde (das Modell sagt „negativ“, aber das tatsächliche Ergebnis ist „positiv“).

je nach Bedarf, in der Regel beim trainieren eines Neuen Klassifikationsmodells

Hat man beispielweise eine KI-Anwendung z. B. auf das Erkennen von Autos auf Bildern trainiert, wird diese Tabelle mit einer Anzahl von Datensätzen (Bildern) gefüttert, von denen vorab klar oder zumindest zweifelsfrei festgestellt ist, wie viele Bilder wirklich Autos enthalten und wie viele nicht und in welchem Bild diese Autos dargestellt sind und in welchen Bildern nicht. Nachdem die Anwendung nun die (bekannten) Bilder klassifiziert hat, erstellt man mit den gewonnenen Daten die Confusion Matrix.

Ein Modell untersucht, ob eine E-Mail Spam ist oder nicht. Es gibt 100 E-Mails, von denen 40 tatsächlich Spam sind und 60 keine Spam-E-Mails (Ham). Nach der Vorhersage durch das Modell ergibt sich folgende Verteilung: Vorhersage: Spam Tatsächlicher Spam 30 (TP) Tatsächlicher Kein Spam 5 (FP) Vorhersage: Kein Spam 10 (FN) 55 (TN) In diesem Beispiel bedeutet das: 30 E-Mails wurden korrekt als Spam identifiziert (True Positives, TP). 10 E-Mails wurden fälschlicherweise als Nicht-Spam klassifiziert, obwohl sie Spam sind (False Negatives, FN). 5 E-Mails wurden fälschlicherweise als Spam klassifiziert, obwohl sie kein Spam sind (False Positives, FP). 55 E-Mails wurden korrekt als Nicht-Spam identifiziert (True Negatives, TN).

Fallabhängig