eMail
 Suche
 Impressum

Unterabschnitte


4. Datenerfassung und Protokollierung

In diesem Kapitel wird beschrieben, wie man verschiedene Aspekte der Testdurchführung angehen sollte.


4.1 Vermeidung von Erfassungsfehlern

Bei der Erfassung der Daten können an vielen Stellen Fehler auftreten, die durch eine gute Planung oder durch eine gute Betreuung weitestgehend minimiert werden können.


4.1.1 corpus errors

Hier handelt es sich um Fehler, die bei der Erfassung auftreten können.
  • Testpersonen benutzen die Geräte falsch. Z.B. einen Fingerabdruckscanner falsch herum benutzen.
  • Fälle in denen leere oder korumpierte Bilder aufgenommen wurden. Z.B. wenn eine Person nach Eingabe ihrer PIN vor dem Auslösen der Kamera weiterläuft.


4.1.2 database errors

Fehler, die bei der Verarbeitung oder Speicherung auftreten können

  • Testpersonen wird eine falsche PIN zugewiesen
  • Eine PIN wurde falsch eingegeben
  • Falsches Merkmal wurde verwendet, z.b. Mittelfinger anstelle von Zeigefinger
Die eingesetzte Software sollte den Aufwand an Eingaben mittels Tastatur minimieren, doppelte Kontrollen der eingegebenen Daten und Datenredundanz sind wünschenswert.
In jedem Fall müssen nach Auftreten und Erkennen solcher Fehler entsprechende Einträge im Protokoll hinterlegt werden. Systeme, die eine gute automatische Protokollierfunktion aufweisen, können es erleichtern, im Nachhinein Fehler zu korrigieren.

4.2 Daten und Details der Erfassung

Idealerweise protokolliert ein System jeden Datentransfer, speichert die entstandenen Bilder und auch die sonstigen Parameter wie vorgegebene Identität, Abgleichwerte und Bildqualität. Daraus ergeben sich dann folgende Vorteile:

4.2.1 Systeme mit diskreten Abgleichwerten

  • Vorlagen des Enrolments und Abgleichwerte können offline verarbeitet werden. Damit kann ebenfalls ein kreuzweises Vergleichen durchgeführt werden (jedes Sample mit jedem Template).
  • Die gespeicherten Bilder können erneut verwendet werden, um z.B. Algorithmen zu verbessern oder sogar um andere zu testen.
  • Die Bilddaten können von Personal auf Plausibilität untersucht werden und anhand des Protokolls können ebenso fehlgeschlagene Transaktionen ausgefiltert werden.
  • Eine Verminderung der manuellen Datenerfassung, und die damit verbundenen Transaktionsfehler
Einige System erlauben eine solche Vorgehensweise aufgrund ihrer Bauweise nicht, oder dem Testdurchführer sind die notwendigen Informationen nicht verfügbar. Bei Manipulationen an den Sensoren muss darauf geachtet werden, dass nicht die Gesamtperformanz des Systems darunter leided. Eine veränderung der Scangeschwindigkeit z.B. würde ganz anderes Verhalten der Testpersonen nach sich ziehen.


4.2.2 binäre Entscheidungssysteme

Manche Systeme generieren lediglich eine JA/NEIN-Entscheidung und liefern nicht die Abgleichswerte zurück.
  • Für eine DET-Kurve (siehe 5.5) müssen gültige und fälschliche Daten erfasst werden für eine Vielzahl von Sicherheitseinstellungen des verwendeten Systems. Diese Einstellungen (z.B. Sicherheit ``leicht'', ``mittel'' und ``hoch'') fliessen ebenfalls als Parameter in die Kurve ein und verändern die Ausprägung
  • Bei Online-Auswertungen ist es nötig, das jede Testperson Transaktionen für jede Einstellungsvariante der Sicherheit vornimmt. Man kann in der Regel nicht vereinfachend annehmen, dass eine Akzeptanz auf einen hohen Sicherheitsniveau auch eine Akzeptanz auf einem niedrigeren nach sich zieht, ebenso umgekehrt.

Bei technologischer Evaluierung können Bilder der Merkmale aufgenommen werden, die entsprechende Auswertung findet offline und ohne Beisein von Testpersonen statt.
Während Szenario Evaluierung werden die Testpersonen die Geräte in einer kontrollierten, der Realität nachempfundenen Umgebung bedienen. Hierbei kann auch zum Abgleich der Daten eine Offline-Auswertung erfolgen.
Die Operative Evaluierung liefert Ergebnisse in Echtzeit. In der Regel werden keine Bilder der Transaktion gespeichert, Abgleichwerte müssen also online generiert werden. Um den Aufwand an Betreuung zu minimieren sollte ein Transaktionsprotokoll automatisch geführt werden. In manchen Fällen ist es möglich, die aufgenommenen Daten für andere Zwecke wieder zu verwenden.


4.3 Enrolment und Testtransaktionen

Jede Testperson führt ein Enrolment durch. Es muss dabei darauf geachtet werden dass die Person nicht mehrfach enroled wird.
Es sollte ermöglicht werden, diese Daten sofort nach dem Enrolment zu überprüfen, jedoch nicht in die Statistik einfliessen zu lassen. Die Überprüfung soll lediglich groben Fehlern vorbeugen. Die dabei aufgenommenen Daten können jedoch verwendet werden, um bei offline-Auswertungen Falschauthorisationen durchzuführen.
Während einer technologischen Evaluierung muss strikt darauf geachtet werden, dass die Daten möglichst mit derselben Ausstattung gesammelt werden. Eine Änderung in Protokolle, Speicherart und Eingabegeräten resultiert eventuell in gravierenden Unterschieden. Sollten dennoch bekannte Effekte auftreten, sollten diese entweder bei allen Enrolments auftreten oder zufällig gleichverteilt sein.
In der Szenario Evaluierung wird das Verhalten eines Zielsystems simuliert, daher sollte das bei den Umweltbedingungen berücksichtigt werden. Störungen wie nahe Lautsprecher bei akkustischen Systemen oder beeinflussende Lichtquellen bei optische Sensoren müssen eingegrenzt werden. Die Operative Evaluierung lässt selten eine Beeinflussung der bereits genannten Faktoren zu. Das Enrolment kann sogar unter Umständen vor der Testphase abgeschlossen sein.

4.4 Gültige Transaktionen

Daten für eine technologischen Evaluierung sollten aus einem Umfeld stammen, das für den zu testenden Algorithmus geeignet ist. Dabei sollten die Ansprüche an die Algorithmen nicht zu hoch gesetzt werden, aber auch nicht zu niedrig (die ``goldene Mitte'' finden).
Falls zwischen der Erfassung der Daten für die Authentisierung und der für das Enrolment eine grössere Zeitspanne vergangen ist, tritt ein sogenannter ``Alterungseffekt'' auf und macht es unter Umständen den Algorithmen schwerer, korrekte Ergebnisse zu erzielen.
Um aussagekräftige Ergebnisse bei einer Szenario Evaluierung zu erhalten, müssen die Umwelbedingungen des simulierten Umfelds berücksichtigt werden. Diese sollten dem zu modelierenden angepasst werden. Hier sollte ebenfalls der Alterungseffekt berücksichtigt werden. Auch Schädigungen am biometrischen Merkmal sollten mit in das Szenario aufgenommen werden. Bei einer Operativen Evaluierung ist es wichtig, dass nicht bestimmte Benutzergruppen überregelmässig die Systeme benutzen. Oft ist es zudem nicht möglich, Fehler bei der Datenerfassung zu lokalisieren. Auch können Daten verfälscht werden durch Benutzer die wissentlich oder absichtlich das System täuschen oder damit ``spielen'' wollen. Jedoch ist Vorsicht geboten, falls solche Effekte auftreten: die gesammelten Daten sollten nur ausgeschlossen werden, wenn man sich der Fehlbenutzung sicher sein kann.
Durch protokollierung der Zeitpunkte einer Transaktion kann man den Alterungseffekt besser dokumentieren.

4.5 Gefälschte Transaktionen

Gefälschte Transaktionen werden bewusst herbeigeführt, um das System auf Resistenz gegenüber Falsch-Authorisierungen testen zu können. Diese können online oder offline auf verschiedenen Arten herbeigeführt werden.
  • Online Transaktionen: ausgewählte Testpersonen versuchen, sich als andere Testpersonen auszugeben. Dabei wird das Sample mit einem falschen Template verglichen.
  • Offline Transaktionen: jedes gespeicherte Sample kann mit jedem nicht passenden gespeicherten Template in beliebiger Kombination abgeglichen werden.
Bei technologischen Evaluierungen werden solche Transaktionen immer offline simuliert.
Bei Szenario Evaluierungen hängt die Möglichkeit des Offline-Testens von der Speicherung der nötigen Bilder ab. In diesem Fall kann man durch Kombination der aufgenommenen Daten weitaus mehr gefälschte Transaktionen simulieren als im Online-Betrieb.
Operative Evaluierungen ermöglichen ein Offline-Testen der gefälschten Transaktionen nur dann, wenn sie die Daten speichern. Normalerweise werden diese Daten jedoch durch Online-Testen ermittelt. Um eine statistisch signifikante Rate zu ermitteln sollten so viel wie möglich Testpersonen in solche absichtlichen Täuschungsversuche mit einbezogen werden. Hierbei ist es besser, wenn alle Testpersonen sich an wenigen bestimmten nicht-eigenen Templates versuchen als dass wenige Testpersonen sich an vielen nicht-eigenen Templates versuchen.

Performanzermittlung, 29. Jan 2004
Menü

Home
Funstuff
Linux
Hardware
Distributionen
Spiele
Kontakt
Projekte
Java
Webcut
Strength and Honor
A-Mobile
Holy-Wars 2
Holy-Wars 3
-> Dokumentation
-> Biometrie
-> Performanzermittlung
Mmpg
Mmpg-peer to peer
Javadoc
Mmpgp2p-Server
Semantic Web
WSA



- Impressum -
designed using WebCut - Copyright (c) 2001-2008 by Markus Sinner