Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

Link zu dieser Vergleichsansicht

Beide Seiten der vorigen Revision Vorhergehende Überarbeitung
modul:m450:learningunits:lu04:xfail [2026/11/17 08:01] – Kompetenz-Tags ergänzt, Verweis auf LU03e adminmodul:m450:learningunits:lu04:xfail [2026/11/17 08:03] (aktuell) – Namensfehler (Bert/Raphael) korrigiert, import sys, strict=True, Ausgabe, Kontrollfragen admin
Zeile 1: Zeile 1:
 ====== LU04d - Fehler erwartet ====== ====== LU04d - Fehler erwartet ======
- +<WRAP center round info 80%> 
-<WRAP center round info 60%> +**Auf einen Blick**\\ 
-Es gibt Situationen, in den wir erwarten, dass ein Test scheitert. +Mit ''@pytest.mark.xfail'' markieren wir einen Test, von dem wir erwarten, dass er (noch) fehlschlägt. 
-Anstatt den Test zu überspringen, markieren wir ihn mit ''@pytest.mark.xfail''.+Anders als bei ''skip'' wird der Test trotzdem ausgeführt. Besteht er plötzlich, meldet PyTest ''XPASS''. So merken wir, sobald der Code funktioniert.
 </WRAP> </WRAP>
  
 {{:modul:m450:learningunits:lu04:failure.jpg?600|}} {{:modul:m450:learningunits:lu04:failure.jpg?600|}}
  
-Es mag zunächst wenig intuitiv sein, einen Test auszuführen, der erwartungsgemäss scheitern soll. +===== Lernziele ===== 
-Wenn der Test sowieso fehlschlägt, kann ich den Test ja einfach vorerst überspringen.+Sie können 
 +  * erklären, wann ''xfail'' besser geeignet ist als ''skip'', 
 +  * Tests mit ''@pytest.mark.xfail'' markieren und die Resultate ''xfailed'' und ''XPASS'' interpretieren, 
 +  * mit ''strict=True'' erzwingen, dass ein unerwartet bestandener Test auffällt.
  
-Betrachten wir einmal folgende Situation in einem Projekt: +===== skip oder xfail? ===== 
-  * Tag 1:  +Es mag zunächst wenig intuitiv sein, einen Test auszuführen, der erwartungsgemäss scheitern soll. Betrachten wir folgende Situation:
-    * Andrea hat den Auftrag die Klasse ''Customer'' zu programmieren.  +
-    * Raphael schreibt die Tests für die Applikation welche diese Klasse enthält. Da die Klasse ''Customer'' noch nicht lauffähig ist, markiert Bert die Tests mit ''@pytest.mark.skip''. +
-  * Tag 2: +
-    * Andrea hat die Klasse ''Customer'' teilweise fertig gestellt. +
-    * Raphael führt die Tests durch. Aufgrund der Markierung werden die Tests für ''Customer'' nicht ausgeführt und PyTest meldet keine Fehler. +
-  * Tag 3: +
-    * Andrea ist fertig mit dem Programmieren der Klasse ''Customer''. +
-    * Bei den Tests von Raphael tritt noch immer kein Problem auf, da die Tests ja übersprungen werden.  +
-Im dümmsten Fall glauben Andrea und Raphael, dass die Applikation korrekt läuft, da ja keine Fehler bei den Tests erkannt wurden.+
  
-Nehmen wir nun an, Raphael hätte die Tests mit ''@pytest.mark.xfail'' markiert: +  * **Tag 1:** 
-  * Schon am Tag 2 würden einige Tests das Resultat ''unexpectedly passing (XPASS)'' melden. +    * Andrea hat den Auftrag, die Klasse ''Customer'' zu programmieren. 
-  * Am Tag 3 würden (fast) alle Tests ''XPASS'' melden.+    * Raphael schreibt die Tests dazu. Da die Klasse ''Customer'' noch nicht lauffähig ist, markiert er die Tests mit ''@pytest.mark.skip''. 
 +  * **Tag 2:** 
 +    * Andrea hat die Klasse ''Customer'' teilweise fertiggestellt. 
 +    * Raphael führt die Tests durch. Die Tests für ''Customer'' werden übersprungen und PyTest meldet keine Fehler. 
 +  * **Tag 3:** 
 +    * Andrea ist fertig mit der Klasse ''Customer''. 
 +    * Bei Raphaels Tests tritt noch immer kein Problem auf, da die Tests ja übersprungen werden.
  
-Dadurch merkt Raphael automatisch, dass die Klasse ''Customer'' ganz oder teilweise umgesetzt ist.+Im dümmsten Fall glauben Andrea und Raphael, dass die Applikation korrekt läuft, obwohl kein einziger Test die Klasse ''Customer'' geprüft hat.
  
-===== pytest.xfail =====+Hätte Raphael die Tests mit ''@pytest.mark.xfail'' markiert: 
 +  * Schon am Tag 2 würden einige Tests ''XPASS'' (unexpectedly passing) melden. 
 +  * Am Tag 3 würden (fast) alle Tests ''XPASS'' melden.
  
-==== Dekorator ====+Raphael merkt so automatisch, dass die Klasse ''Customer'' ganz oder teilweise umgesetzt ist, und kann die Markierung entfernen. 
 + 
 +===== Dekorator =====
 <code python> <code python>
 +import sys
 +import pytest
 +
 +
 @pytest.mark.xfail @pytest.mark.xfail
 def test_one(): def test_one():
-   ... +    ... 
-    + 
-@pytest.mark.xfail(reason='this is expected to fail')+ 
 +@pytest.mark.xfail(reason='Klasse Customer noch nicht fertig')
 def test_two(): def test_two():
     ...     ...
-     + 
-@pytest.mark.xfail(condition=sys.version_info < (3, 7))+ 
 +@pytest.mark.xfail(sys.platform == 'win32', reason='Fehler unter Windows noch offen')
 def test_three(): def test_three():
 +    ...
 +
 +
 +@pytest.mark.xfail(strict=True, reason='Klasse Customer noch nicht fertig')
 +def test_four():
     ...     ...
 </code> </code>
  
-==== Innerhalb der Funktion ==== +  * Mit einer Bedingung (wie bei ''test_three'') wird nur ein Fehlschlag erwartet, wenn die Bedingung zutrifft. 
-Wir können ''pytest.xfail'' auch innerhalb einer Testfunktion aufrufen. +  * Mit ''strict=True'' gilt ein ''XPASS'' als **Fehler**. Die Testsuite wird rot, sobald der Code funktioniert, und Sie müssen die Markierung entfernen. 
-Im Gegensatz zum Dekorator wird dabei jedoch die Ausführung der Funktion abgebrochen und keine weiteren Befehle ausgeführt. + 
-Dadurch ist diese Variante weniger geeignet.+===== Resultate in der Ausgabe ===== 
 +<code> 
 +$ pytest -rxX 
 +test_customer.py xX.                                                    [100%] 
 +=========================== short test summary info ============================ 
 +XFAIL test_customer.py::test_one - Klasse Customer noch nicht fertig 
 +XPASS test_customer.py::test_two - Klasse Customer noch nicht fertig 
 +=================== 1 passed, 1 xfailed, 1 xpassed in 0.02s ==================== 
 +</code> 
 + 
 +^ Zeichen ^ Resultat ^ Bedeutung                                                    ^ 
 +| ''x''   | xfailed  | Der Test ist wie erwartet fehlgeschlagen.                    | 
 +| ''X''   | xpassed  | Der Test hätte fehlschlagen sollen, hat aber bestanden.      | 
 + 
 +===== pytest.xfail() innerhalb der Funktion ===== 
 +Sie können ''pytest.xfail()'' auch innerhalb einer Testfunktion aufrufen. Die Ausführung bricht dann sofort ab, die restlichen Anweisungen laufen nicht mehr. Deshalb kann so nie ein ''XPASS'' entstehen. Der Dekorator ist meistens die bessere Wahl.
  
 <code python> <code python>
-def test_read_entry(monkeypatch, capsys, attributes):+def test_read_entry(attributes):
     if attributes not in ['BASIS', 'ERWEITERT']:     if attributes not in ['BASIS', 'ERWEITERT']:
         pytest.xfail('Test kann erst durchgeführt werden, wenn die Attribute der Klasse "Entry" definiert sind')         pytest.xfail('Test kann erst durchgeführt werden, wenn die Attribute der Klasse "Entry" definiert sind')
 +    ...
 </code> </code>
  
-===== Exception erwartet ===== +===== xfail ist nicht pytest.raises ===== 
-Beim Testen müssen wir immer auch die korrekte Verarbeitung von Ausnahmefällen prüfen. +Erwarten Sie, dass Ihr Programm bei ungültigen Eingaben eine Exception auslöst, ist das **korrektes** Verhalten. Dafür verwenden Sie ''pytest.raises'' und nicht ''xfail'':
-Daher schreiben wir Unittests, die bewusst eine Exception im Programm auslösen sollen.+
  
 <code python> <code python>
 def test_illegal_value(): def test_illegal_value():
 +    account = BankAccount('Anna', 100.0)
     with pytest.raises(ValueError):     with pytest.raises(ValueError):
-        account.balance = '3ex'+        account.deposit(-20.0)
 </code> </code>
  
-In diesem Beispiel geben wir einen formal falschen Wert für den Kontostand an. 
-Sofern die Methode einen ''ValueError'' auslöst, gilt der Test als erfüllt. 
 Ausführlicher wird ''pytest.raises'' in [[modul:m450:learningunits:lu03:exceptions|LU03e - Klassen und Fehlerfälle testen]] erklärt. Ausführlicher wird ''pytest.raises'' in [[modul:m450:learningunits:lu03:exceptions|LU03e - Klassen und Fehlerfälle testen]] erklärt.
 +
 +===== Kontrollfragen =====
 +  - Warum ist ''xfail'' für Tests von unfertigem Code besser geeignet als ''skip''?
 +  - Was bedeutet ''XPASS'' in der Ausgabe, und was sollten Sie dann tun?
 +  - Was bewirkt ''strict=True''?
 +  - Eine Funktion soll bei einem negativen Betrag einen ''ValueError'' auslösen. Verwenden Sie ''xfail'' oder ''pytest.raises''? Begründen Sie.
  
 ---- ----
 {{tag>M450-LU04 M450-C1A}} {{tag>M450-LU04 M450-C1A}}
 [[https://creativecommons.org/licenses/by-nc-sa/4.0/|{{https://i.creativecommons.org/l/by-nc-sa/4.0/88x31.png}}]] Marcel Suter [[https://creativecommons.org/licenses/by-nc-sa/4.0/|{{https://i.creativecommons.org/l/by-nc-sa/4.0/88x31.png}}]] Marcel Suter
 +
  • modul/m450/learningunits/lu04/xfail.txt
  • Zuletzt geändert: 2026/11/17 08:03
  • von admin