Unterabschnitte
Es existiert kein offiziell standardisiertes Vorgehen zum Testen biometrischer Systeme.
Daher liegt es nahe, gewisse Richtlinien zu erstellen, nach denen solche Systeme getestet
und gemessen werden können, um Vergleiche zwischen verschiedenen Technologien
und Implementierungen ziehen zu können.
Natürlich ist nicht immer das Vorgehen in der hier dargestellten Form sinnvoll.
Die hier besprochenen ``Richtlinien'' sollen lediglich dabei helfen, systematische
Tests durchzuführen und es erleichtern, Gründe für Abweichungen und deren
Effekte zu erklären.
2.1 Performanz
Der Begriff Performanz im Zusammenhang mit dem Testen von biometrischen Systemen
umfasst einiges mehr, als man beim direkten Verständnis dieses Begriffes nahelegt.
Die Gesamtperformanz eines biometrischen Systems wird von mehreren, nicht
nur zeitlichen Faktoren beeinflusst.
Vor allem Fehlerraten sind eine wichtige
Bewertungsgrundlage der Gesamtperformanz eines
biometrischen Systems. Dabei werden nicht nur die algorithmischen
Verfahren bewertet, sondern auch das Zusammenspiel zwischen den verschiedenene
beteiligten Ein- und Ausgabegeräten.
Im folgenden Kapitel werden drei Typen von Evaluierungen biometrischer Systeme
vorgestellt: technologische, Szenario-basierte und operative Evaluierung.
Vor der Durchführung der Testreihen sollte man genau festlegen, was man
erreichen will und welche Ziele man verfolgt.
Folgende Fragen helfen bei der Ermittlung technischer Gegebenheiten.
- Sind Protokollierungsfunktionen vorhanden? Wenn nicht, müssen
Informationen manuell erfasst werden.
- Speichert das System Bilder oder Merkmale einer Transaktion? Für
eine Offline-Auswertung ist das notwendig.
- Generiert das System Ja/Nein Entscheidungen oder vergibt es
Bewertungspunkte? Im ersteren Fall müssten für verschiedene
Sicherheitsstufen Testreihen durchgeführt werden, um aussagekräftige
DET-Kurven5.5 zu erhalten.
- Generiert das System unabhängige Templates?
- Ist das ``Software developer's Kit'' (SDK) verfügbar? Für Offline-Erzeugung
von echten und gefälschten Bewertungspunkten werden Module des SDK benötigt:
(i) für die erzeugung von Templates aus den protokollierten Daten.
(ii) zur Extraktion von Merkmalen aus den Daten und (iii) zur Erzeugung von
Bewertungspunkten zwischen extrahierten Merkmalen und gespeicherten Templates.
Bewertungspunkte sollten im Offline-Betrieb diesselben Ergebnisse erzielen
wie im Online-Betrieb (bei gleichen Eingaben)
- Welche Auflösung bzw. Genauigkeit sollte für die Sensoren gewählt werden?
- Sind ungefähr die zu erwartenden Fehlraten bekannt? Dies hilft bei der
Bestimmung des Testumfangs und der beteiligten Kandidaten.
- Welche Faktoren beeinflussen die Performanz des Systems?
Für das simulieren realer Bedingungen ist eine gute Auswahl
an repräsentativen Benutzern notwendig. Dabei sollte auf die
Gegebenheiten des zu simulierenden Systems Rücksicht genommen
werden.
Bei der Entscheidung, wie viele Testpersonen an der Durchführung
beteiligt werden sollen, muss auf die vorhandenen Kapazitäten
Rücksicht genommen werden. Oft ist es auch möglich, mehrere Vorgänge
pro Person zuzulassen, z.B. mehrere Finger pro Person mit
einzubeziehen. Für die statistische Signifikanz (siehe Kapitel 5.6)
muss ebenfalls eine gewisse Masse an Testmaterial vorhanden sein.
Performanzermittlung, 29. Jan 2004
|
|