LU01d - Aufbau eines Testprotokolls

Auf einen Blick
Ein Testprotokoll hält die Ergebnisse eines Testdurchlaufs fest: wer wann welche Programmversion getestet hat, was bei jedem Testfall tatsächlich passiert ist (IST) und was als Nächstes zu tun ist.

Lernziele

Sie können

Wozu ein Testprotokoll?

Ein Testprotokoll gehört immer zu genau einem Testdurchlauf und einer Programmversion. Wird das Programm geändert, gibt es einen neuen Testdurchlauf mit allen Testfällen und ein neues Protokoll.

Bestandteile

Kopf

Ergebnisse

Für jeden Testfall eine Zeile mit

Fazit

Zusammenfassung und Empfehlung, wie es weitergeht.

Beispiel

Programm Dreiecksseite berechnen Version 1.2
Datum, Uhrzeit 15.10.2024, 15:00 Getestet von Marcel Suter
Testumgebung Windows 11, Python 3.12 Testfälle LU01c, Nr. 1–4
Nr Erwartetes Ergebnis (SOLL) Tatsächliches Ergebnis (IST) Bewertung Bemerkung
1 Seite c: 5 Seite c: 5.00 N Ausgabe mit zwei Nachkommastellen
2 Seite a: 3 Seite a: 2.9998 H Ergebnis ungenau
3 Eine der Seiten hat die Länge 0: Berechnung nicht möglich Programmabsturz H Absturz auch bei Seite b = 0
4 Alle drei Seiten angegeben: Berechnung nicht möglich wie erwartet OK
Fazit 1 Testfall OK, 1 Nebenfehler, 2 Hauptfehler. Das Programm berechnet die Seite a ungenau und stürzt bei der Seitenlänge 0 ab. Es muss überarbeitet und erneut vollständig getestet werden.

Die Spalte «Erwartetes Ergebnis» ist optional, weil sie bereits in den Testfällen steht. Sie macht das Protokoll aber leichter lesbar.

Bewertung

Kürzel Bedeutung Erklärung Beispiel
OK Korrekt IST entspricht dem SOLL.
H Hauptfehler Das Programm arbeitet falsch. Der Fehler muss behoben werden. Falsches Resultat, Absturz
N Nebenfehler Das Programm arbeitet richtig, aber die Darstellung oder ein Text ist fehlerhaft. Der Fehler sollte behoben werden. Tippfehler, falsche Anzahl Nachkommastellen

Kann ein Testfall nicht durchgeführt werden, zum Beispiel weil das Programm vorher abstürzt, wird das ebenfalls festgehalten: Bewertung H, Bemerkung «nicht durchführbar, weil …».

Bemerkungen formulieren

Die Bemerkung hilft der Entwicklerin, den Fehler zu finden. Besonders wertvoll sind Hinweise, wann ein Fehler auftritt und wann nicht.

Hilfreich Wenig hilfreich
Rundungsfehler tritt nur bei Seitenlängen über 50 auf. Rechnet falsch.
Fehlermeldung erscheint, verschwindet nach Korrektur aber nicht. Fehlermeldung komisch.
Absturz auch bei Seite b = 0, nicht aber bei Seite b = 0.1. Stürzt manchmal ab.

Die Bemerkung beschreibt, was beobachtet wurde. Sie enthält keine Vermutung über die Ursache und keinen Lösungsvorschlag (siehe Psychologie des Testens).

Fazit

Das Fazit fasst die Ergebnisse in Zahlen zusammen und gibt eine Empfehlung:

Situation Empfehlung
Alle Testfälle OK Das Programm kann freigegeben werden.
Nur Nebenfehler Das Programm kann korrigiert werden. Ein erneuter Test ist nicht zwingend.
Mindestens ein Hauptfehler Das Programm muss überarbeitet und erneut vollständig getestet werden.

Kontrollfragen

  1. Warum erstellt man nach einer Korrektur ein neues Protokoll, statt das alte zu ergänzen?
  2. Ein Button ist mit «Brechnen» beschriftet. Ist das ein Haupt- oder ein Nebenfehler?
  3. Wozu gehört die Testumgebung in den Protokollkopf?
  4. Verbessern Sie die Bemerkung «geht nicht».

Marcel Suter