2 commits

Author	SHA1	Message	Date
Michael Boelen	146f20ee3f	Pagina's met 'noindex: true' worden opgenomen in Disallow	2023-05-24 14:46:39 +02:00
Michael Boelen	762308322b	Toevoegen van ondersteuning voor robots.txt	2023-05-22 20:12:38 +02:00