LU02c - Test Coverage

Auf einen Blick
Die Testabdeckung (Coverage) misst, welcher Anteil einer Software durch die Testfälle tatsächlich geprüft wurde. Die Codeabdeckung zählt zum Beispiel, wie viele Anweisungen, Zweige und Bedingungen bei allen Testfällen zusammen mindestens einmal ausgeführt wurden.

Lernziele

Sie können

Wozu Testabdeckung?

Die Codeabdeckung gehört zum Glassbox-Test: Man braucht den Quellcode, um sie zu bestimmen. Sie wird vor allem bei Komponenten- und Integrationstests eingesetzt.

Die Arten der Codeabdeckung

Abdeckung Frage Berechnung
Funktionsabdeckung (Function Coverage) Wurde jede Funktion mindestens einmal aufgerufen? aufgerufene Funktionen ÷ alle Funktionen
Anweisungsabdeckung (Statement Coverage) Wurde jede Anweisung mindestens einmal ausgeführt? ausgeführte Anweisungen ÷ alle Anweisungen
Zweigabdeckung (Branch Coverage) Wurde bei jeder Verzweigung jeder Weg mindestens einmal genommen? genommene Zweige ÷ alle Zweige
Bedingungsabdeckung (Condition Coverage) Hat jede (Teil-)Bedingung mindestens einmal true und einmal false ergeben? aufgetretene Ergebnisse ÷ (2 × Anzahl Bedingungen)

Die Arten sind von schwach nach stark geordnet: 100 % Zweigabdeckung schliesst 100 % Anweisungsabdeckung ein, aber nicht umgekehrt.

Anweisung oder Zweig?

zahl = int(input('Zahl > '))
if zahl > 0:
    print('gültig')
zahl = int(input('Zahl > '))
if zahl > 0:
    print('gültig')
else:
    print('ungültig')
Links (ohne else) Rechts (mit else)
Anweisungsabdeckung 100 % 1 Testfall genügt, z. B. 5: Alle Anweisungen werden ausgeführt. 2 Testfälle, z. B. 5 und -5
Zweigabdeckung 100 % 2 Testfälle: Auch der unsichtbare Weg «Bedingung ist false, nichts passiert» ist ein Zweig. 2 Testfälle, z. B. 5 und -5

Ein if ohne else hat trotzdem zwei Zweige. Gerade der fehlende else-Fall versteckt oft Fehler, zum Beispiel eine vergessene Fehlermeldung.

Bedingungsabdeckung bei verknüpften Bedingungen

Besteht eine Bedingung aus mehreren Teilbedingungen, die mit and oder or verknüpft sind, betrachtet die Bedingungsabdeckung jede Teilbedingung einzeln.

zahl = int(input('Zahl > '))
if zahl > 0 and zahl < 100:
    print('gültig')
Testfall zahl > 0 zahl < 100 Gesamt
-5 false (wird nicht geprüft) false
150 true false false
50 true true true

Kurzschlussauswertung: Python wertet and und or von links nach rechts aus und hört auf, sobald das Ergebnis feststeht. Ist bei and der linke Teil false, wird der rechte gar nicht geprüft. Das muss man beim Zählen berücksichtigen.

Durchgerechnetes Beispiel

def rabatt(alter, mitglied):
    prozent = 0                       # A1
    if alter < 16 or alter >= 65:     # B1: alter < 16, B2: alter >= 65
        prozent = 50                  # A2
    if mitglied:                      # B3
        prozent = prozent + 10        # A3
    return prozent                    # A4

Das Programm hat 4 Anweisungen (A1–A4), 4 Zweige (2 if mit je true und false) und 3 Teilbedingungen (B1–B3).

Testfälle Anweisungen Zweige Bedingungen
T1: rabatt(70, True) A1–A4: 4/4 = 100 % if1 true, if2 true: 2/4 = 50 % B1 false, B2 true, B3 true: 3/6 = 50 %
T1 + T2: rabatt(30, False) 100 % zusätzlich if1 false, if2 false: 4/4 = 100 % zusätzlich B2 false, B3 false: 5/6 ≈ 83 %
T1 + T2 + T3: rabatt(10, True) 100 % 100 % zusätzlich B1 true: 6/6 = 100 %

Schon ein einziger Testfall erreicht 100 % Anweisungsabdeckung. Für die Bedingungsabdeckung braucht es drei, weil die Kinder (alter < 16) sonst nie geprüft würden.

Schleifen

Auch while- und for-Schleifen enthalten eine Bedingung:

Für eine vollständige Abdeckung braucht es mindestens einen Testfall, bei dem der Schleifenkörper ausgeführt wird. Sinnvoll sind zusätzlich Testfälle, bei denen die Schleife gar nicht, genau einmal und mehrmals durchlaufen wird.

Grenzen der Codeabdeckung

100 % Codeabdeckung heisst nicht, dass das Programm fehlerfrei ist.

Abdeckung automatisch messen

Von Hand ist das Zählen nur bei kleinen Programmen machbar (siehe LU02.A02 - Markieren mit dem Leuchtstift). In Python misst das Paket pytest-cov (basiert auf coverage.py) die Abdeckung automatisch:

pip install pytest-cov
pytest --cov=rabatt --cov-branch --cov-report=term-missing

Der Bericht zeigt pro Datei die Anweisungs- und Zweigabdeckung und listet die Zeilen auf, die nie ausgeführt wurden.

Kontrollfragen

  1. Warum genügt bei if ohne else ein Testfall für 100 % Anweisungsabdeckung, aber nicht für 100 % Zweigabdeckung?
  2. Wie viele Testfälle brauchen Sie mindestens für 100 % Bedingungsabdeckung bei if alter >= 18 and ausweis:? Nennen Sie konkrete Werte.
  3. Ein Programm hat 100 % Zweigabdeckung und trotzdem einen Fehler. Wie ist das möglich?
  4. Welche drei Durchläufe einer Schleife sollte man testen?

Quellen


Marcel Suter