LU02c - Test Coverage
Auf einen Blick
Die Testabdeckung (Coverage) misst, welcher Anteil einer Software durch die Testfälle tatsächlich geprüft wurde.
Die Codeabdeckung zählt zum Beispiel, wie viele Anweisungen, Zweige und Bedingungen bei allen Testfällen zusammen mindestens einmal ausgeführt wurden.
Lernziele
Sie können
- Funktions-, Anweisungs-, Zweig- und Bedingungsabdeckung unterscheiden,
- die Abdeckung für ein kleines Programm von Hand berechnen,
- gezielt Testfälle ergänzen, um die Abdeckung zu erhöhen,
- erklären, warum 100 % Abdeckung kein fehlerfreies Programm garantiert.
Wozu Testabdeckung?
- Lücken finden: Wir sehen, welcher Code noch nie getestet wurde, und können gezielt Testfälle ergänzen.
- Doppelspurigkeiten erkennen: Testfälle, die genau dasselbe abdecken, lassen sich zusammenlegen.
- Fortschritt messen: Die Abdeckung ist eine einfache Kennzahl, um zu entscheiden, ob genug getestet wurde (Testende-Kriterium, siehe LU02a).
Die Codeabdeckung gehört zum Glassbox-Test: Man braucht den Quellcode, um sie zu bestimmen. Sie wird vor allem bei Komponenten- und Integrationstests eingesetzt.
Die Arten der Codeabdeckung
| Abdeckung | Frage | Berechnung |
|---|---|---|
| Funktionsabdeckung (Function Coverage) | Wurde jede Funktion mindestens einmal aufgerufen? | aufgerufene Funktionen ÷ alle Funktionen |
| Anweisungsabdeckung (Statement Coverage) | Wurde jede Anweisung mindestens einmal ausgeführt? | ausgeführte Anweisungen ÷ alle Anweisungen |
| Zweigabdeckung (Branch Coverage) | Wurde bei jeder Verzweigung jeder Weg mindestens einmal genommen? | genommene Zweige ÷ alle Zweige |
| Bedingungsabdeckung (Condition Coverage) | Hat jede (Teil-)Bedingung mindestens einmal true und einmal false ergeben? | aufgetretene Ergebnisse ÷ (2 × Anzahl Bedingungen) |
Die Arten sind von schwach nach stark geordnet: 100 % Zweigabdeckung schliesst 100 % Anweisungsabdeckung ein, aber nicht umgekehrt.
Anweisung oder Zweig?
zahl = int(input('Zahl > ')) if zahl > 0: print('gültig')
zahl = int(input('Zahl > ')) if zahl > 0: print('gültig') else: print('ungültig')
Links (ohne else) | Rechts (mit else) |
|
|---|---|---|
| Anweisungsabdeckung 100 % | 1 Testfall genügt, z. B. 5: Alle Anweisungen werden ausgeführt. | 2 Testfälle, z. B. 5 und -5 |
| Zweigabdeckung 100 % | 2 Testfälle: Auch der unsichtbare Weg «Bedingung ist false, nichts passiert» ist ein Zweig. | 2 Testfälle, z. B. 5 und -5 |
Ein if ohne else hat trotzdem zwei Zweige. Gerade der fehlende else-Fall versteckt oft Fehler, zum Beispiel eine vergessene Fehlermeldung.
Bedingungsabdeckung bei verknüpften Bedingungen
Besteht eine Bedingung aus mehreren Teilbedingungen, die mit and oder or verknüpft sind, betrachtet die Bedingungsabdeckung jede Teilbedingung einzeln.
zahl = int(input('Zahl > ')) if zahl > 0 and zahl < 100: print('gültig')
| Testfall | zahl > 0 | zahl < 100 | Gesamt |
|---|---|---|---|
-5 | false | (wird nicht geprüft) | false |
150 | true | false | false |
50 | true | true | true |
- Bedingungsabdeckung: Mit
-5und150hat jede Teilbedingung einmaltrueund einmalfalseergeben? Nein:zahl < 100war bei-5gar nicht an der Reihe. Mit150und50istzahl < 100abgedeckt, mit-5und50istzahl > 0abgedeckt. Alle drei Testfälle zusammen erreichen 100 %. - Mehrfachbedingungsabdeckung: Sie verlangt alle Kombinationen der Teilbedingungen. Die Kombination
false/falseist hier aber unmöglich, weil keine Zahl gleichzeitig kleiner gleich 0 und grösser gleich 100 ist. Solche unmöglichen Kombinationen zählen nicht.
Kurzschlussauswertung: Python wertet and und or von links nach rechts aus und hört auf, sobald das Ergebnis feststeht. Ist bei and der linke Teil false, wird der rechte gar nicht geprüft. Das muss man beim Zählen berücksichtigen.
Durchgerechnetes Beispiel
def rabatt(alter, mitglied): prozent = 0 # A1 if alter < 16 or alter >= 65: # B1: alter < 16, B2: alter >= 65 prozent = 50 # A2 if mitglied: # B3 prozent = prozent + 10 # A3 return prozent # A4
Das Programm hat 4 Anweisungen (A1–A4), 4 Zweige (2 if mit je true und false) und 3 Teilbedingungen (B1–B3).
| Testfälle | Anweisungen | Zweige | Bedingungen |
|---|---|---|---|
T1: rabatt(70, True) | A1–A4: 4/4 = 100 % | if1 true, if2 true: 2/4 = 50 % | B1 false, B2 true, B3 true: 3/6 = 50 % |
T1 + T2: rabatt(30, False) | 100 % | zusätzlich if1 false, if2 false: 4/4 = 100 % | zusätzlich B2 false, B3 false: 5/6 ≈ 83 % |
T1 + T2 + T3: rabatt(10, True) | 100 % | 100 % | zusätzlich B1 true: 6/6 = 100 % |
Schon ein einziger Testfall erreicht 100 % Anweisungsabdeckung. Für die Bedingungsabdeckung braucht es drei, weil die Kinder (alter < 16) sonst nie geprüft würden.
Schleifen
Auch while- und for-Schleifen enthalten eine Bedingung:
true: Der Schleifenkörper wird ausgeführt.false: Die Schleife wird verlassen. Das passiert bei jeder Schleife, die endet.
Für eine vollständige Abdeckung braucht es mindestens einen Testfall, bei dem der Schleifenkörper ausgeführt wird. Sinnvoll sind zusätzlich Testfälle, bei denen die Schleife gar nicht, genau einmal und mehrmals durchlaufen wird.
Grenzen der Codeabdeckung
100 % Codeabdeckung heisst nicht, dass das Programm fehlerfrei ist.
- Fehlender Code wird nicht entdeckt: Hat die Programmiererin die Prüfung auf negative Beträge vergessen, gibt es dafür auch keine Zeile, die nicht abgedeckt wäre. Solche Fehler findet nur der Blackbox-Test.
- Falsche Werte werden nicht entdeckt: Ein Testfall kann eine Zeile ausführen, ohne das Ergebnis richtig zu prüfen.
- Aufwand: Die letzten Prozente sind oft sehr teuer. In der Praxis sind Zielwerte von 70–90 % üblich.
Abdeckung automatisch messen
Von Hand ist das Zählen nur bei kleinen Programmen machbar (siehe LU02.A02 - Markieren mit dem Leuchtstift).
In Python misst das Paket pytest-cov (basiert auf coverage.py) die Abdeckung automatisch:
pip install pytest-cov pytest --cov=rabatt --cov-branch --cov-report=term-missing
Der Bericht zeigt pro Datei die Anweisungs- und Zweigabdeckung und listet die Zeilen auf, die nie ausgeführt wurden.
Kontrollfragen
- Warum genügt bei
ifohneelseein Testfall für 100 % Anweisungsabdeckung, aber nicht für 100 % Zweigabdeckung? - Wie viele Testfälle brauchen Sie mindestens für 100 % Bedingungsabdeckung bei
if alter >= 18 and ausweis:? Nennen Sie konkrete Werte. - Ein Programm hat 100 % Zweigabdeckung und trotzdem einen Fehler. Wie ist das möglich?
- Welche drei Durchläufe einer Schleife sollte man testen?
