Ein Anbieter führt ein System vor, das Dokumente liest, und nennt eine Genauigkeit von neunundneunzig Prozent. Die Zahl beruhigt alle im Raum für die Dauer des Termins. Sie beantwortet nicht die Frage, die eigentlich gestellt wurde: was passiert, wenn es falsch ist.
Genauigkeit und Konfidenz beantworten verschiedene Fragen. Genauigkeit misst die Leistung gegen geprüfte Antworten; Konfidenz ist der Wert, den ein Modell einer einzelnen Vorhersage gibt. Keine von beiden entscheidet für sich, ob ein System ohne Prüfung handeln darf.
Was beschreibt eine Genauigkeitsquote?
Genauigkeit beschreibt die Leistung an einer definierten, geprüften Stichprobe. Sie kann Erwartungen für ähnliche künftige Arbeit begründen, aber nur wenn diese Stichprobe die Dokumente, Felder und Bedingungen abbildet, die im Unternehmen vorkommen.
Vor allem sagt sie nichts über die Verteilung. Neunundneunzig Prozent klingen gleich, ob das fehlende eine Prozent eine falsch gelesene Hausnummer ist oder eine Rechnung, die an das falsche Unternehmen ging. Der Durchschnitt kennt den Unterschied nicht. Das Unternehmen schon.
Was beschreibt ein Konfidenzwert?
Das hängt von Tool und Vorhersage ab. Ein Feldwert kann schätzen, ob ein ausgelesener Wert richtig ist; ein Dokumenttyp-Wert kann die Ähnlichkeit zu einer gelernten Klasse beschreiben. Lesen Sie die Definition des Anbieters, bevor Sie eine Zahl deuten.
Manche Tools liefern Werte zu einzelnen Wörtern oder Feldern. Andere geben nicht für jedes Ergebnis eine Konfidenz aus. Eine Zahl, die entsteht, indem man ein Chatmodell fragt, wie sicher es sich fühlt, ist nicht automatisch eine kalibrierte Wahrscheinlichkeit.
Was sagt ein Konfidenzwert nicht?
Auch ein hoher Wert ist kein Beweis für Richtigkeit. Prüfen Sie die Kalibrierung: Wie viele der Ergebnisse mit ähnlichem Wert sind in einem getrennten, repräsentativen Testsatz tatsächlich richtig? Sauber aussehende Eingaben können trotzdem die falsche Antwort erzeugen.
Nutzen Sie Konfidenz als ein Prüfsignal neben fehlenden Feldern, Formatprüfungen, widersprüchlichen Kennungen und Geschäftsregeln. Folgenreiche Aktionen können unabhängig vom Wert eine Freigabe verlangen.
Wie sähe ein nützlicher Test aus?
Angenommen, ein Pilot umfasst zweihundert Dokumente. Eine vorgeschlagene Schwelle schickt vierzig zur Prüfung und akzeptiert hundertsechzig. Die Kontrolle der akzeptierten Ergebnisse findet vier Fehler. Das sind 97,5 % beobachtete Genauigkeit in der akzeptierten Gruppe, kein Beleg dafür, dass das nächste Dokument sicher ist.
Sehen Sie sich nun an, was diese vier Fehler waren. Ein Satzzeichenfehler und eine falsche Bankverbindung dürfen nicht dasselbe Gewicht haben. Wiederholen Sie den Test über Dokumentarten und schwierige Eingaben hinweg, bevor Sie über die Schwelle entscheiden.
Wer legt fest, wo die Schwelle liegt?
Die Abnahmekriterien gehören dem Unternehmen, mit fachlichem Beitrag des Anbieters. Setzen Sie Schwellen anhand repräsentativer Prüfdaten und der Kosten von Fehlern, nicht anhand einer Zahl, die in einer Vorführung beruhigend wirkt.
Einen Entwurf vorzubereiten und eine Zahlung auszuführen brauchen verschiedene Kontrollen. Verstehen Sie einen risikoärmeren Anwendungsfall nicht als Erlaubnis zu raten: Legen Sie fest, was vorgeschlagen, was geschrieben werden darf und was immer eine Freigabe braucht.
Was passiert, wenn die Schwelle zu hoch oder zu niedrig liegt?
Eine hohe Schwelle kann mehr Prüfarbeit erzeugen, als das Team bewältigt. Messen Sie diese Last und benennen Sie einen Verantwortlichen, damit sich Ausnahmen nicht in einer unbeaufsichtigten Liste stapeln.
Eine niedrige Schwelle lässt zu viele Fehler durch. Passen Sie sie nur gegen geprüfte Ergebnisse an und nehmen Sie auch nach dem Start weiter Stichproben. Neue Dokumentarten oder veränderte Bedingungen verlangen womöglich strengere Kontrollen, nicht lockerere.
Was sollte ein Käufer stattdessen fragen?
Fragen Sie, was getestet wurde, wie Fehler bewertet wurden, welche Fälle geprüft werden müssen und wer sie bearbeitet. Verlangen Sie sowohl die Fehlerquote in den akzeptierten Fällen als auch den Anteil, der an Menschen geht. Fehler in kritischen Feldern gehören getrennt ausgewiesen.
Sinnvoll ist nicht der Kauf einer einzelnen beeindruckenden Zahl, sondern ein Prozess mit gemessenem Qualitätsniveau, klaren Abbruchregeln und einem gangbaren Weg für Ausnahmen.
Weiterführend: Microsoft zu Genauigkeit und Konfidenz in der Dokumentenverarbeitung
