3 commits

Author	SHA1	Message	Date
Michael Boelen	b6d07fc821	Disallow-items moeten relatieve ipv absolute adressen zijn	2023-05-29 19:49:01 +02:00
Michael Boelen	146f20ee3f	Pagina's met 'noindex: true' worden opgenomen in Disallow	2023-05-24 14:46:39 +02:00
Michael Boelen	762308322b	Toevoegen van ondersteuning voor robots.txt	2023-05-22 20:12:38 +02:00