Accuracy ist eine Metrik, die angibt, wie oft ein Modell korrekte Vorhersagen trifft. Sie wird berechnet als der Anteil der korrekten Vorhersagen (True Positives + True Negatives) an der Gesamtzahl der Vorhersagen. Sie misst somit, wie genau das Modell insgesamt ist.

accuracy = [True Positives (TP) + True Negatives (TN) ] / Gesamtanzahl der Vorhersagen (TP+TN+FP+FN)

je nach Bedarf, in der Regel beim trainieren eines Neuen Klassifikationsmodells

Precision, Recall

In diesem Beispiel bedeutet eine Accuracy von 85%, dass das Modell in 85% der Fälle korrekte Vorhersagen gemacht hat.

Ausgehend auf der Grundlage des Beispiels der KPI Confusion Matrix, ergäben sich für die Accuracy folgende Werte: True Positives (TP): 30 (E-Mails, die korrekt als Spam erkannt wurden) True Negatives (TN): 55 (E-Mails, die korrekt als kein Spam erkannt wurden) False Positives (FP): 5 (E-Mails, die fälschlicherweise als Spam markiert wurden) False Negatives (FN): 10 (E-Mails, die fälschlicherweise als kein Spam markiert wurden) Die Gesamtanzahl wäre also 100, woraus sich eine Accuracy von accuracy = ( 30 + 50 ) / ( 30 + 55 + 5 + 10 ) = 85 / 100 = 0,85 = 85% ergibt

Fallabhängig

Recall (auch als Sensitivität oder True Positive Rate bezeichnet) ist eine Metrik, die misst, wie gut ein Modell die tatsächlichen positiven Fälle erkennt. Mit anderen Worten, Recall gibt an, wie viele der tatsächlich positiven Fälle vom Modell korrekt als positiv klassifiziert wurden.

Recall = True Positives (TP) / [True Positives (TP) + False Negatives (FN)]

je nach Bedarf, in der Regel beim trainieren eines Neuen Klassifikationsmodells

Accuracy, Precision

Precision fokussiert sich darauf, wie präzise die positiven Vorhersagen sind (wie viele der vorhergesagten positiven Fälle sind tatsächlich positiv?). Recall misst, wie gut das Modell tatsächlich alle positiven Fälle erkennt (wie viele der tatsächlichen positiven Fälle wurden als positiv erkannt?).

Im Beispiel der KPI Confusion Matrix wurden Spam E-Mails nicht als Spam erkannt, False Negatives (FN): 10 (E-Mails, die fälschlicherweise als Nicht-Spam markiert wurden, obwohl sie Spam sind) Recall = 30 / ( 30 + 10 ) = 30 / 40 = 0,75 = 75%. In diesem Beispiel bedeutet ein Recall von 75%, dass das Modell 75% der tatsächlich als Spam klassifizierten E-Mails korrekt erkannt hat.

Fallabhängiger Recall bedeutet, dass das Modell möglichst viele positive Fälle findet, es kann aber möglicherweise mehr Fehler (False Positives) machen

Eine Confusion Matrix (Verwechslungsmatrix oder Fehler-Matrix) ist ein nützliches Werkzeug zur Beurteilung der Leistung eines Klassifikationsmodells. Sie zeigt eine tabellarische Übersicht über die tatsächlichen und vorhergesagten Klassifikationen eines Modells und ermöglicht so eine detaillierte Analyse der Fehler.

Die Matrix hat in der Regel vier Hauptelemente für ein binäres Klassifikationsproblem (zwei Klassen): True Positive (TP): Fälle, bei denen die positive Klasse korrekt vorhergesagt wurde (das Modell sagt „positiv“ und das tatsächliche Ergebnis ist auch „positiv“). True Negative (TN): Fälle, bei denen die negative Klasse korrekt vorhergesagt wurde (das Modell sagt „negativ“ und das tatsächliche Ergebnis ist auch „negativ“). False Positive (FP) (auch bekannt als Type-I-Fehler): Fälle, bei denen fälschlicherweise eine positive Vorhersage gemacht wurde (das Modell sagt „positiv“, aber das tatsächliche Ergebnis ist „negativ“). False Negative (FN) (auch bekannt als Type-II-Fehler): Fälle, bei denen fälschlicherweise eine negative Vorhersage gemacht wurde (das Modell sagt „negativ“, aber das tatsächliche Ergebnis ist „positiv“).

je nach Bedarf, in der Regel beim trainieren eines Neuen Klassifikationsmodells

Hat man beispielweise eine KI-Anwendung z. B. auf das Erkennen von Autos auf Bildern trainiert, wird diese Tabelle mit einer Anzahl von Datensätzen (Bildern) gefüttert, von denen vorab klar oder zumindest zweifelsfrei festgestellt ist, wie viele Bilder wirklich Autos enthalten und wie viele nicht und in welchem Bild diese Autos dargestellt sind und in welchen Bildern nicht. Nachdem die Anwendung nun die (bekannten) Bilder klassifiziert hat, erstellt man mit den gewonnenen Daten die Confusion Matrix.

Ein Modell untersucht, ob eine E-Mail Spam ist oder nicht. Es gibt 100 E-Mails, von denen 40 tatsächlich Spam sind und 60 keine Spam-E-Mails (Ham). Nach der Vorhersage durch das Modell ergibt sich folgende Verteilung: Vorhersage: Spam Tatsächlicher Spam 30 (TP) Tatsächlicher Kein Spam 5 (FP) Vorhersage: Kein Spam 10 (FN) 55 (TN) In diesem Beispiel bedeutet das: 30 E-Mails wurden korrekt als Spam identifiziert (True Positives, TP). 10 E-Mails wurden fälschlicherweise als Nicht-Spam klassifiziert, obwohl sie Spam sind (False Negatives, FN). 5 E-Mails wurden fälschlicherweise als Spam klassifiziert, obwohl sie kein Spam sind (False Positives, FP). 55 E-Mails wurden korrekt als Nicht-Spam identifiziert (True Negatives, TN).

Fallabhängig