Dies ist eine alte Version des Dokuments!
LU13a - Crawler Aufbau
Damit alle relevanten Seiten von DokuWiki (https://wiki.bzz.ch/) heruntergeladen werden können, nutzen wir eine Kombination aus Collector und Downloader.
WikiPageCollectorService
Der WikiPageCollectorService sammelt rekursiv alle URLs von den Seiten, die heruntergeladen werden sollen.
WikiPageDownloaderService
WikiCrawlerPipelineService
Orchestriert wird das Ganze