Unterabschnitte
4. Datenerfassung und Protokollierung
In diesem Kapitel wird beschrieben, wie man verschiedene Aspekte der
Testdurchführung angehen sollte.
4.1 Vermeidung von Erfassungsfehlern
Bei der Erfassung der Daten können an vielen Stellen Fehler
auftreten, die durch eine gute Planung oder durch eine gute
Betreuung weitestgehend minimiert werden können.
4.1.1 corpus errors
Hier handelt es sich um Fehler, die bei der Erfassung auftreten können.
- Testpersonen benutzen die Geräte falsch. Z.B. einen Fingerabdruckscanner
falsch herum benutzen.
- Fälle in denen leere oder korumpierte Bilder aufgenommen
wurden. Z.B. wenn eine Person nach Eingabe ihrer PIN vor dem
Auslösen der Kamera weiterläuft.
4.1.2 database errors
Fehler, die bei der Verarbeitung oder Speicherung auftreten können
- Testpersonen wird eine falsche PIN zugewiesen
- Eine PIN wurde falsch eingegeben
- Falsches Merkmal wurde verwendet, z.b. Mittelfinger anstelle
von Zeigefinger
Die eingesetzte Software sollte den Aufwand an Eingaben
mittels Tastatur minimieren, doppelte Kontrollen der eingegebenen
Daten und Datenredundanz sind wünschenswert.
In jedem Fall müssen nach Auftreten und Erkennen solcher Fehler
entsprechende Einträge im Protokoll hinterlegt werden. Systeme,
die eine gute automatische Protokollierfunktion aufweisen, können
es erleichtern, im Nachhinein Fehler zu korrigieren.
Idealerweise protokolliert ein System jeden Datentransfer,
speichert die entstandenen Bilder und auch die sonstigen Parameter
wie vorgegebene Identität, Abgleichwerte und Bildqualität. Daraus
ergeben sich dann folgende Vorteile:
- Vorlagen des Enrolments und Abgleichwerte können offline
verarbeitet werden. Damit kann ebenfalls ein kreuzweises Vergleichen
durchgeführt werden (jedes Sample mit jedem Template).
- Die gespeicherten Bilder können erneut verwendet werden,
um z.B. Algorithmen zu verbessern oder sogar um andere zu testen.
- Die Bilddaten können von Personal auf Plausibilität untersucht
werden und anhand des Protokolls können ebenso fehlgeschlagene
Transaktionen ausgefiltert werden.
- Eine Verminderung der manuellen Datenerfassung, und die damit
verbundenen Transaktionsfehler
Einige System erlauben eine solche Vorgehensweise aufgrund ihrer
Bauweise nicht, oder dem Testdurchführer sind die notwendigen Informationen
nicht verfügbar. Bei Manipulationen an den Sensoren muss darauf geachtet
werden, dass nicht die Gesamtperformanz des Systems darunter leided. Eine
veränderung der Scangeschwindigkeit z.B. würde ganz anderes Verhalten
der Testpersonen nach sich ziehen.
4.2.2 binäre Entscheidungssysteme
Manche Systeme generieren lediglich eine JA/NEIN-Entscheidung und liefern
nicht die Abgleichswerte zurück.
- Für eine DET-Kurve (siehe 5.5) müssen gültige und fälschliche Daten
erfasst werden für eine Vielzahl von Sicherheitseinstellungen des
verwendeten Systems. Diese Einstellungen (z.B. Sicherheit ``leicht'',
``mittel'' und ``hoch'') fliessen ebenfalls als Parameter in die Kurve
ein und verändern die Ausprägung
- Bei Online-Auswertungen ist es nötig, das jede Testperson Transaktionen
für jede Einstellungsvariante der Sicherheit vornimmt. Man kann in der Regel
nicht vereinfachend annehmen, dass eine Akzeptanz auf einen hohen Sicherheitsniveau
auch eine Akzeptanz auf einem niedrigeren nach sich zieht, ebenso umgekehrt.
Bei technologischer Evaluierung können Bilder der Merkmale aufgenommen
werden, die entsprechende Auswertung findet offline und ohne Beisein von
Testpersonen statt.
Während Szenario Evaluierung werden die Testpersonen die Geräte in einer
kontrollierten, der Realität nachempfundenen Umgebung bedienen. Hierbei kann
auch zum Abgleich der Daten eine Offline-Auswertung erfolgen.
Die Operative Evaluierung liefert Ergebnisse in Echtzeit. In der Regel
werden keine Bilder der Transaktion gespeichert, Abgleichwerte müssen also
online generiert werden. Um den Aufwand an Betreuung zu minimieren sollte ein
Transaktionsprotokoll automatisch geführt werden.
In manchen Fällen ist es möglich, die aufgenommenen Daten für andere Zwecke wieder zu verwenden.
4.3 Enrolment und Testtransaktionen
Jede Testperson führt ein Enrolment durch. Es muss dabei darauf geachtet werden
dass die Person nicht mehrfach enroled wird.
Es sollte ermöglicht werden, diese Daten sofort nach dem Enrolment zu überprüfen,
jedoch nicht in die Statistik einfliessen zu lassen. Die Überprüfung soll lediglich
groben Fehlern vorbeugen. Die dabei aufgenommenen Daten können jedoch verwendet werden,
um bei offline-Auswertungen Falschauthorisationen durchzuführen.
Während einer technologischen Evaluierung muss strikt darauf geachtet werden,
dass die Daten möglichst mit derselben Ausstattung gesammelt werden. Eine Änderung in
Protokolle, Speicherart und Eingabegeräten resultiert eventuell in gravierenden
Unterschieden. Sollten dennoch bekannte Effekte auftreten, sollten diese entweder bei
allen Enrolments auftreten oder zufällig gleichverteilt sein.
In der Szenario Evaluierung wird das Verhalten eines Zielsystems simuliert, daher
sollte das bei den Umweltbedingungen berücksichtigt werden. Störungen wie nahe
Lautsprecher bei akkustischen Systemen oder beeinflussende Lichtquellen bei
optische Sensoren müssen eingegrenzt werden.
Die Operative Evaluierung lässt selten eine Beeinflussung der bereits genannten
Faktoren zu. Das Enrolment kann sogar unter Umständen vor der Testphase abgeschlossen
sein.
Daten für eine technologischen Evaluierung sollten aus einem Umfeld stammen,
das für den zu testenden Algorithmus geeignet ist. Dabei sollten die Ansprüche an
die Algorithmen nicht zu hoch gesetzt werden, aber auch nicht zu niedrig (die
``goldene Mitte'' finden).
Falls zwischen der Erfassung der Daten für die Authentisierung und der für das
Enrolment eine grössere Zeitspanne vergangen ist, tritt ein sogenannter ``Alterungseffekt''
auf und macht es unter Umständen den Algorithmen schwerer, korrekte Ergebnisse
zu erzielen.
Um aussagekräftige Ergebnisse bei einer Szenario Evaluierung zu erhalten,
müssen die Umwelbedingungen des simulierten Umfelds berücksichtigt werden. Diese
sollten dem zu modelierenden angepasst werden. Hier sollte ebenfalls der
Alterungseffekt berücksichtigt werden. Auch Schädigungen
am biometrischen Merkmal sollten mit in das Szenario aufgenommen werden.
Bei einer Operativen Evaluierung ist es wichtig, dass nicht bestimmte
Benutzergruppen überregelmässig die Systeme benutzen. Oft ist es zudem nicht
möglich, Fehler bei der Datenerfassung zu lokalisieren. Auch können Daten
verfälscht werden durch Benutzer die wissentlich oder absichtlich das System
täuschen oder damit ``spielen'' wollen. Jedoch ist Vorsicht geboten, falls solche
Effekte auftreten: die gesammelten Daten sollten nur ausgeschlossen werden,
wenn man sich der Fehlbenutzung sicher sein kann.
Durch protokollierung der Zeitpunkte einer Transaktion kann man den
Alterungseffekt besser dokumentieren.
Gefälschte Transaktionen werden bewusst herbeigeführt, um das System
auf Resistenz gegenüber Falsch-Authorisierungen testen zu können.
Diese können online oder offline auf verschiedenen Arten herbeigeführt werden.
- Online Transaktionen: ausgewählte Testpersonen versuchen, sich
als andere Testpersonen auszugeben. Dabei wird das Sample mit einem
falschen Template verglichen.
- Offline Transaktionen: jedes gespeicherte Sample kann mit jedem
nicht passenden gespeicherten Template in beliebiger Kombination
abgeglichen werden.
Bei technologischen Evaluierungen werden solche Transaktionen immer
offline simuliert.
Bei Szenario Evaluierungen hängt die Möglichkeit des Offline-Testens
von der Speicherung der nötigen Bilder ab. In diesem Fall kann man durch
Kombination der aufgenommenen Daten weitaus mehr gefälschte Transaktionen
simulieren als im Online-Betrieb.
Operative Evaluierungen ermöglichen ein Offline-Testen der gefälschten
Transaktionen nur dann, wenn sie die Daten speichern. Normalerweise werden
diese Daten jedoch durch Online-Testen ermittelt. Um eine statistisch signifikante
Rate zu ermitteln sollten so viel wie möglich Testpersonen in solche absichtlichen
Täuschungsversuche mit einbezogen werden. Hierbei ist es besser, wenn alle
Testpersonen sich an wenigen bestimmten nicht-eigenen Templates versuchen als dass
wenige Testpersonen sich an vielen nicht-eigenen Templates versuchen.
Performanzermittlung, 29. Jan 2004
|
|