Die Gebrauchstauglichkeit wird getestet

In Usability-Tests bitten Sie potentielle Nutzer, gezielte Aufgaben im Rahmen von Kernfunktionen der Software zu lösen, z.B. einen Text zu lesen und die dazugehörige Übung zu absolvieren. Die Methode ist also wie ein Cognitive Walkthrough aufgabenorientiert. Da Sie bei Usability-Tests aber mit Testpersonen arbeiten, sind ihre Ergebnisse besonders realistisch. Was lässt sich dagegen sagen, wenn Ihre Testperson eine Übung erst gar nicht findet oder bei dem Versuch, sie zu lösen, verwirrt abbricht?

Im Rahmen von Usability-Tests hat sich die so genannte Thinking-aloud-Methode bewährt. Die Testpersonen führen eine konkrete Aufgabe durch und werden gebeten, dabei laut zu denken. Zusätzliche wertvolle Informationen können Sie aus der Beobachtung der nonverbalen Äußerungen Ihrer Testpersonen ziehen, z.B. Anzeichen von Überraschung, Ungeduld, Freude, Frustration.

Usability-Tests zeigen unwiderlegbar, welche Probleme Ihre zukünftigen Anwender mit Ihrem Lernmodul haben könnten und vor allem warum. Ergebnisse von Usability-Tests lassen sich hervorragend verwenden, wenn es darum geht, Ihre Software-Entwickler von der Notwendigkeit eines Redesigns zu überzeugen. Lassen Sie sie einfach bei den Tests zusehen oder machen Sie einen Videomitschnitt.

Usability-Tests sind unabdingbar, aber zeitaufwändig. Mitunter müssen Sie Ihre Testpersonen bezahlen. Deshalb ist diese Methode erst dann angebracht, wenn alle erkennbaren Usability-Probleme bereits behoben sind. Sie werden jetzt auf die Probleme aufmerksam, auf die Sie ohne Ihre Testpersonen durch andere Methoden des Usability-Engineering nicht gekommen wären. Seien Sie auf Überraschungen gefasst.

Sie benötigen:

5 Testpersonen reichen, um auf wesentliche Usability-Probleme aufmerksam zu werden.
1 Testleiter
1 Beobachter und Protokollanten
1 Tonaufnahmegerät
Zeit: 1-1½ Stunden pro Test; mit Vor- und Nachbereitung: insgesamt 15-20 Stunden

Durchführung

Vorbereitungsphase:

Identifizieren Sie 1-3 zentrale Handlungen, die Ihre Studierenden an dem Lernmodul durchführen werden. Formulieren Sie daraus je eine Aufgabe für Ihre Testpersonen. Beispiel: "Lesen Sie die Lerneinheit 2 und führen Sie die Übung dazu durch."
Oder: Testen Sie 1-3 zweifelhafte Handlungssequenzen.
Schreiben Sie einen Leitfaden für die Testleitung. Der Leitfaden enthält:

eine freundliche Begrüßung, einen Dank an die Testperson, dass sie ihre Zeit zur Verfügung stellt und die Versicherung, dass Sie ihre Mithilfe schätzen.
eine Versicherung, dass nicht die Testperson getestet wird, sondern die Software und dass die Testperson nichts falsch machen kann.
Erläuterungen zu der Funktion des Testleiters und des Beobachters.
die Frage, ob die Testperson einer Tonaufnahme zustimmt und die Versicherung, dass die Aufnahme anonym ist und nach ihrer Auswertung gelöscht wird.
die Spielregeln, die der Testperson erklären, was sie erwartet (siehe unten).

Besprechen Sie mit dem Beobachter, was er notieren soll (nonverbale Reaktionen auf die Software und auf welchem Screen die Reaktion auftrat).
Finden Sie fünf Testpersonen. Evtl. müssen Sie sie stundenweise bezahlen. Wir empfehlen 15 € pro Stunde.
Testen Sie, ob Ihr Aufnahmegerät funktioniert.
Führen Sie einen kurzen Vortest durch. (Ist die Aufgabe verständlich? Funktioniert der Rechner? Lädt sich das Lernmodul?)

Testphase:

Führen Sie Ihre Testperson anhand Ihres Leitfadens in ihre Funktion und ihre Aufgabe ein.
Geben Sie ihr ihre Aufgabe schriftlich. Sagen Sie der Testperson, dass Sie ihr nicht helfen werden. Bitten Sie sie zu sagen, wann sie die Aufgabe abbrechen würde, falls sie nicht weiterkommt.
Die Testperson führt nun ihre Aufgabe durch. Dabei sitzen Sie als Testleiter neben der Person und der Beobachter etwas entfernter.
Ermuntern Sie die Testperson freundlich bei jedem Schritt, die sie unternimmt, laut zu denken. Manche Testpersonen empfinden das laute Denken als künstlich und fühlen sich wohler, wenn sie mit einem Partner die Aufgabe gemeinsam lösen und dabei laut reflektieren.
Erlaubte Fragen des Testleiters sind z.B.:

"Was erwarten Sie, wenn Sie hier klicken?"
"Ist das, was Sie jetzt sehen, das, was Sie erwartet haben?"
"Warum glaubten Sie, dass dieser Link Sie weiter bringt?"

Helfen Sie Ihrer Testperson nicht. Halten Sie Umwege und Irrtümer aus, ohne Kommentare abzugeben. So erfahren Sie am meisten über Missverständnisse mit Ihrem Lernmodul.
Danken Sie der Testperson für ihre Geduld und versichern Sie ihr, dass ihre Hilfe wertvoll war.

Auswertung:

Verarbeiten Sie die Missverständnise und Probleme zwischen Ihren Testpersonen und Ihrem Lernmodul zu einem Usability-Bericht für die Software-Entwickler (vgl. Usability-Inspektion). Verwenden Sie dabei aussagekräftige Notizen des Beobachters und veranschaulichen Sie überraschende Befunde durch wörtliche Kommentare der Testpersonen.

Bitte beachten Sie:

Die Durchführung von Usability-Tests wird von Anfängern gerne unterschätzt. Die Gefahr ist groß, dass ungeübte Test-Leiter die Methode wenig ausschöpfen oder Ergebnisse durch ungeschicktes Verhalten manipulieren:

Die Befragungsfalle:

Gerne werden Usability-Tests mit Fragen zu Vorlieben und Einschätzungen während eines gemeinsamen Walkthroughs durch das Lernmodul verwechselt. Sobald Sie solche Fragen stellen, vergeben Sie die Chance, etwas über das tatsächliche Verhalten Ihrer Testpersonen und ihr unbewusstes Modell von der Software zu erfahren.

Unbewusste Hilfestellung geben:

Achten Sie bei den Aufgabenformulierungen darauf, dass Sie nicht Bezeichnungen benutzen, die mit Ihren Linkbenennungen übereinstimmen. Anderenfalls braucht Ihre Testperson nur noch den Bildschirm nach dem Stichwort zu scannen, ohne wirklich zu wissen, was sie tut.
Stellen Sie keine suggestiven Fragen, wie z.B. "Würdest du jetzt auf X klicken?"

Bewertungen abgeben:

Vermeiden Sie jeden Kommentar über die Vorgehensweise Ihrer Testperson (wie Lob und Kritik). Sie soll unbeeinflusst ihren Weg gehen und unbeeinflusst sagen, wann sie die Aufgabe für gelöst hält bzw. aufgibt.

Lernchancen vergeben:

Wenn Ihre Testperson nicht laut denkt, braucht sie immer wieder Ihre Aufforderung dazu. Anderenfalls erfahren Sie nichts darüber, w a r u m sie ggf. Probleme mit der Software erlebt.

Quellen und weiterführende Ressourcen

Information & Design (2003):
Information & Design (Hrsg.): What is Usability Testing? (Last Updated: May 7, 2003)
http://www.infodesign.com.au/usabilityresources/evaluation/usabilitytesting.asp [aufgerufen: 17.05.2005]
Kommentar: (1 Seite Text) Kurze Richtlinien

Information & Design (2003):
Information & Design (Hrsg.): Common Mistakes. (Last Updated: May 7, 2003)
http://www.infodesign.com.au/usabilityresources/evaluation/usabilitytestingmistakes.asp [aufgerufen: 17.05.2005]
Kommentar: Kurze Richtlinien

Schulz (2001):
Schulz, Ursula: Usability Tests: quick & dirty (Last Updated: November 2001)
http://www.bui.fh-hamburg.de/pers/ursula.schulz/webusability/quicktest.html
Kommentar: Kurze Richtlinien. - 5 Seiten Text

Dumas (1993):
Dumas, Joseph S.; Redish, Janice C.: A Practical Guide to Usability Testing. Norwood, NJ: Ablex, 1993

Rubin (1994):
Rubin, Jeffrey: Handbook of Usability Testing. New York, NY: Wiley, 1994