Sitemap: https://www.online-bijbel.nl/sitemap.xml

# Zoekresultaten (zoeken werkt sinds juli 2026 via GET-parameters) vormen een
# oneindige crawlruimte: elke zoekterm en elk filter is een eigen URL. De
# pagina's hebben al noindex; deze regels besparen ook het crawlen ervan.
# De kale zoekpagina (/zoeken) blijft gewoon crawlbaar en indexeerbaar.
#
# /inc/ zijn de formulier- en fetch-endpoints van de site (aantekeningen,
# bladwijzers, account, contact); /func/ zijn losse includes. Geen van beide
# hoort in een zoekresultaat: rechtstreeks opgevraagd geven ze een lege 200,
# en dat is crawlwerk dat van de leespagina's afgaat.
#
# Bewust NIET geblokkeerd: /api.php. Dat endpoint geeft zonder sleutel 410, en een
# 410 werkt alleen als Google hem mag ophalen — achter een Disallow blijven de
# 147 oude api-URL's juist in het rapport hangen.
User-agent: *
Disallow: /zoeken?
Disallow: /zoeken/?
Disallow: /inc/
Disallow: /func/
# De paralleltekst (JSON) wordt alleen door de leespagina zelf opgehaald, en
# pas als de lezer die voorkeur aanzet; een crawler heeft er niets te zoeken.
Disallow: /parallel/

# De AdSense-crawler bepaalt advertentierelevantie en mag overal kijken,
# ook waar gewone crawlers hierboven geweerd worden.
User-agent: Mediapartners-Google
Disallow:

User-agent: YandexBot
Disallow: /

User-agent: Baiduspider
Disallow: /

User-agent: Claude-Web
Disallow: /

User-agent: ClaudeBot
Disallow: /

# PetalBot (Huawei/Petal Search, o.a. 114.119.x.x) verzint geneste,
# verhaspelde URL's en heeft geen relevantie voor het Nederlandse publiek.
# AspiegelBot is de oude naam van dezelfde crawler.
User-agent: PetalBot
Disallow: /

User-agent: AspiegelBot
Disallow: /