Dies ist eine alte Version des Dokuments!
LU13a - Crawler Aufbau
Damit alle relevanten Seiten von DokuWiki (https://wiki.bzz.ch/) heruntergeladen werden können, nutzen wir eine Kombination aus Collector und Downloader.
= WikiPageCollectorService =
Der WikiPageCollectorService sammelt rekursiv alle URLs von den Seiten, die heruntergeladen werden sollen.
WikiPageDownloaderService
WikiCrawlerPipelineService
Orchestriert wird das Ganze