# selfhost-metrics — robots.txt
#
# Zasada: wpuszczamy crawlery WYSZUKIWANIA i asystentow odpowiadajacych na
# biezace pytanie uzytkownika. Kazda liczba na tej stronie stoi w zwyklym
# HTML razem z data pomiaru, profilem obciazenia, rig_id i digestem obrazu,
# wiec da sie ja zacytowac bez odcinania od warunkow.
#
# Nie wpuszczamy crawlerow zbierajacych korpus TRENINGOWY. Powod jest
# merytoryczny, nie ideologiczny: liczba zuzycia pamieci jest prawdziwa
# wylacznie razem z digestem obrazu i data pomiaru. Zamrozona w korpusie
# treningowym staje sie dokladnie tym, co ta strona probuje naprawic —
# liczba bez warunkow, ktorej nie da sie odswiezyc ani sprawdzic.

# --- crawlery wyszukiwania: TAK ---
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: DuckDuckBot
Allow: /

User-agent: Applebot
Allow: /

User-agent: Yandex
Allow: /

User-agent: Seznambot
Allow: /

User-agent: Qwantify
Allow: /

# --- asystenci pobierajacy strone na potrzeby biezacej odpowiedzi: TAK ---
User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

# --- zbieranie korpusu treningowego: NIE ---
User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: Diffbot
Disallow: /

User-agent: Omgilibot
Disallow: /

User-agent: PetalBot
Disallow: /

User-agent: Scrapy
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: Timpibot
Disallow: /

User-agent: ImagesiftBot
Disallow: /

# --- reszta: domyslnie wolno, nic tu nie jest prywatne ---
User-agent: *
Allow: /

Sitemap: https://ilezjada.pl/sitemap.xml