KI-Metriken
KI-Metriken bewerten die Qualität und Zuverlässigkeit der augegebenen Daten einer KI basierend auf dem Training. In Serviceware Flows werden für die Bewertung der Intent Recognition auf Basis des Intent-Trainings die im folgenden Abschnitt beschriebenen Metriken verwendet.
Grundlegende Begriffe
Die folgenden Begriffe sind zunächst für das Verständnis der KI-Metriken wichtig:
- wahres positives Ergebnis
- Das Modell macht eine korrekte positive Vorhersage. Der Chatkonsument fragt zum Beispiel, ob Serviceware einen Standort in Idstein hat. Das Modell gibt die Antwort, dass Serviceware einen Standort in Idstein hat. Da Serviceware tatsächlich einen Standort in Idstein hat, hat das Modell eine wahre positive Antwort auf die Frage gegeben. Es handelt sich also um ein wahres positives Ergebnis.
- falsches positives Ergebnis
- Das Modell macht eine falsche positive Vorhersage. Der Chatkonsument fragt zum Beispiel, ob Serviceware einen Standort in Leipzig hat. Das Modell gibt die Antwort, dass Serviceware einen Standort in Leipzig hat. Das Modell hat also eine positive Antwort auf die Frage gegeben, jedoch ist die Antwort tatsächlich falsch, da Serviceware in Wirklichkeit keinen Standort in Leipzig hat. Es handelt sich also um ein falsches positives Ergebnis.
- wahres negatives Ergebnis
- Das Modell macht eine korrekte negative Vorhersage. Der Chatkonsument fragt zum Beispiel, ob Serviceware einen Standort in Leipzig hat. Das Modell gibt die Antwort, dass Serviceware keinen Standort in Leipzig hat. Da Serviceware tatsächlich keinen Standort in Leipzig hat, hat das Modell also eine wahre negative Antwort auf die Frage gegeben. Es handelt sich also um ein wahres negatives Ergebnis.
- falsches negatives Ergebnis
- Das Modell macht eine falsche negative Vorhersage. Der Chatkonsument fragt zum Beispiel, ob Serviceware einen Standort in Idstein hat. Das Modell gibt die Antwort, dass Serviceware keinen Standort in Idstein hat. Das Modell hat also eine negative Antwort auf die Frage gegeben, jedoch ist die Antwort falsch, da Serviceware in Wirklichkeit einen Standort in Idstein hat. Es handelt sich also um ein falsches negative Ergebnis.
KI-Metriken
- Genauigkeit
- Die Genauigkeit gibt den Anteil der korrekt gemachten Vorhersagen eines Modells im Verhältnis zur Anzahl aller gemachten Vorhersagen an.
- Präzision
- Die Präzision gibt das Verhältnis zwischen den wahren positiven Ergebnissen und den insgesamt vom Modell als positiv vorhergesagten Ergebnissen an.
- Sensitivität
- Die Sensitivität, auch Recall genannt, ist eine Metrik, die aussagt, wie gut das Modell in der Lage ist positive Ergebnisse zu identifizieren. Die Metrik berechnet sich über das Verhältnis zwischen den korrekt vorhergesagten positiven Ergebnissen und der Gesamtzahl der tatsächlich positiven Ergebnisse.
- F1-Score
- Der F1-Score kombiniert die Sensitivität und die Präzision eines Modells. Der F1-Score kann als gewichteter Durchschnitt dieser beiden Metriken gewertet werden.