Wie viele Testpersonen braucht ein Nutzertest?

Die Zahl geht auf den Usability-Forscher Jakob Nielsen zurück, Mitgründer der Nielsen Norman Group. In seinem Artikel aus dem Jahr 2000 beschreibt er ein Modell, das er mit Tom Landauer aus vielen Projekten abgeleitet hat. Im Durchschnitt deckte eine einzelne Testperson 31 Prozent der Bedienungsprobleme auf.

Jede weitere Person findet vieles davon erneut. Nach fünf Personen sind es im Modell rund 85 Prozent. Die 31 Prozent sind allerdings ein Mittelwert: Liegt der Wert in einem Projekt tiefer, braucht es mehr Sitzungen.

Das Modell ist keine Garantie. Aufgaben, Auswahl der Personen und die Art der Probleme bestimmen, was ein Test zeigt. Seltene, aber schwere Probleme können auch nach fünf Sitzungen verborgen bleiben.

Nielsens eigentliche Empfehlung lautet nicht «teste nur fünf», sondern «teste öfter». Statt 15 Personen auf einmal rät er zu drei Studien mit je fünf. Die zweite Runde zeigt, ob die Korrekturen wirken, und findet Probleme, die vorher von grösseren verdeckt waren.

Für das Team vom Anfang heisst das: dieselben 15 Sitzungen, verteilt auf drei Runden mit ein paar Tagen dazwischen, um den Prototyp anzupassen. Die Zahl der Sitzungen bleibt gleich, aber ihr lernt dreimal statt einmal.

Die Fünf gilt für qualitative Tests, bei denen ihr beobachtet, wo Menschen zögern und warum. Wollt ihr eine Zahl, etwa eine Erfolgsquote, ist das eine quantitative Frage. Dafür empfiehlt die Nielsen Norman Group in den meisten Fällen 40 Personen.

Diese Empfehlung beruht auf einer Fehlerspanne von 15 Prozent bei 95 Prozent Sicherheit, berechnet für eine Erfolgsquote. Wollt ihr zwei Varianten vergleichen, hängt die nötige Zahl zusätzlich vom erwarteten Unterschied und vom Aufbau der Studie ab.

Unterschiedliche Nutzergruppen brauchen eigene Personen. Nutzen Kundinnen und Aussendienst ein Portal ganz unterschiedlich, testet ihr mit beiden. Laut Nielsen reichen dann drei bis vier Personen pro Gruppe, ab drei Gruppen je drei, weil sich vieles überschneidet.

Eine Sprachregion ist nicht automatisch eine eigene Gruppe. Unterscheiden sich Begriffe, Aufgaben oder Erwartungen deutlich, plant sie als eigene Gruppe ein. Sonst genügt es, Personen aus beiden Regionen in die Runde zu nehmen.

Die Personen bringen die Aufgaben und Voraussetzungen eurer tatsächlichen Nutzer mit. Bei einem internen Werkzeug sind das Mitarbeitende aus dem betroffenen Bereich. Bei einer App für Kunden reicht das eigene Team nicht, denn es kennt die Begriffe und Umwege schon.

Passende Teilnehmende lassen sich auch über spezialisierte Dienstleister rekrutieren. Auch wir haben schon mit Teilnehmenden gearbeitet, die ein solcher Dienstleister gefunden hat. Plant pro Runde eine Reserveperson ein, falls jemand kurzfristig absagt.

Eine gute Testaufgabe nennt das Ziel und lässt den Weg offen. «Buche einen Termin für nächste Woche» zeigt mehr als «Klicke oben rechts auf Termine».

Bild und Ton einer Testsitzung sind Personendaten. Wer ein nichtöffentliches Gespräch ohne Einwilligung aller Beteiligten aufzeichnet, macht sich nach dem Strafgesetzbuch strafbar. Darauf weist der Eidgenössische Datenschutz- und Öffentlichkeitsbeauftragte (EDÖB) ausdrücklich hin.

Holt die Zustimmung deshalb vor der Aufnahme ein und erklärt, wofür ihr aufzeichnet und wer Zugriff erhält. Erfasst nur, was die Untersuchung braucht, und legt fest, wann ihr die Aufnahmen löscht.

Zeigt der Test Gesundheitsdaten, etwa in einer Krankenkassen-App, muss die Einwilligung ausdrücklich sein. Bei heiklen Daten lohnt sich ein Blick mit eurer Datenschutzstelle.

Ob eure Frage fünf Personen braucht oder 40, klären wir gern mit dir.

Nutzertest planen →