Qualität der Vorschläge messen

Diese Seite erklärt, wie die dargestellte Qualität der Vorschläge innerhalb der Software berechnet wird.

Was ist ein Konfidenzlevel?

Ein Konfidenzlevel ist eine Zahl zwischen 0 und 1, die die Wahrscheinlichkeit angibt, dass der Vorschlag der Software korrekt ist und die Anforderungen eines Nutzers erfüllt.

Quelle: https://medium.com/voice-tech-global/machine-learning-confidence-scores-all-you-need-to-know-as-a-conversation-designer-8babd39caae7

Genauigkeit (Precision) und Trefferquote (Recall)

Diese Kennzahlen sind ein Mass, wie gut die Vorschläge der Software aus Sicht des validierenden Menschen gepasst haben.

Für die Berechnung von Genauigkeit (Precision) und Trefferquote (Recall) werden ausschliesslich Mappings genutzt, welche durch eine Person bestätigt oder korrigiert wurden.

Open

Diese Grafik veranschaulicht, welche Elemente für die Messung der Qualität relevant sind.

Veränderungen der Qualitätsmasse am Beispiel Attribut Mapping

• Initialer Zustand

  • Genauigkeit = 100% (roter Bereich = 0)

  • Trefferquote = 100% (grauer Bereich = 0)

• Ein Benutzer löscht ein Mapping.

  • Das Mapping war somit ein false positive d.h. roter Bereich + 1

  • Die Genauigkeit sinkt.

• Ein Benutzer fügt ein Mapping hinzu.

  • Das Mapping war somit ein false negative d.h. grauer Bereich + 1

  • Die Trefferquote sinkt.

• Ein Benutzer ändert ein Mapping. Dies entspricht dem Löschen und Hinzufügen eines Mappings.

  • Die Genauigkeit und die Trefferquote sinken.

• Ein Benutzer ändert ein Mapping welches bereits früher definiert wurde. Dies entspricht dem Löschen und Hinzufügen des Mappings.

  • Die Genauigkeit und die Trefferquote sinken.

• Ein Benutzer bestätigt ein Mapping welches bereits früher definiert wurde.

  • Die Genaugkeit und die Trefferquote bleiben gleich.

Messverfahren

Für die Berechnung der Kennzahlen werden nur neue Mappings verwendet, welche durch einen Benutzer validiert und bestätigt wurden (Spalte Feedback gegeben? = Ja).

Nur für diese Mappings kann die Onedot Software feststellen, ob die Onedot-Vorschläge richtig waren oder nicht. Für nicht validierte Mappings kann keine Genauigkeit (Precision) und keine Trefferquote (Recall) berechnet werden.

Bei einer abgeschlossenen Feedback-Aufgabe wird oberhalb des Datensatzes die Basislinie für die Berechnung der Zennzahlen in % der Zeilen angezeigt.

Im Fortschrittsbericht aus der Fortschrittsansicht sind weitere Informationen wie Anzahl der Vorschläge (# Vorschläge) und Anzahl bestätigter Vorschläge (# bestätigten Vorschlägen) enthalten.

Weiterführende Literatur

• Genauigkeit und Trefferquote - Beurteilung eines binären Klassifikators (Deutsch)

• F-Maß - Beurteilung eines binären Klassifikators (Deutsch)

• https://en.wikipedia.org/wiki/Precision_and_recall (Englisch)

• https://en.wikipedia.org/wiki/F-score (Englisch)