AddonIndexBot
Der Crawler des Addon Index. Er sucht auf öffentlichen Seiten nach neuen Meldungen zu Addon-Flugzeugen für Microsoft Flight Simulator und schlägt Änderungen am Verzeichnis vor. Ein Mensch prüft jede Änderung, bevor sie auf der Seite erscheint.
Der Bot ist im Aufbau und ruft noch keine Seiten regelmäßig ab.
Erkennung
User Agent: AddonIndexBot/1.0 (+https://www.addonindex.com/bot; sievers@strkt.de)
Was er liest
- forums.flightsimulator.com · Sitemap mit neuen Themen
- flightsim.to · Sitemap mit neuen und geänderten Einträgen
Weitere Seiten kommen erst dazu, nachdem robots.txt und Nutzungsbedingungen geprüft sind.
Regeln, an die er sich hält
- Liest robots.txt vor jedem Abruf und hält sich daran, auch an Crawl-delay.
- Höchstens ein Request pro Sekunde und Host, ein Request zur Zeit, höchstens 200 pro Seite und Lauf.
- Liest vor allem Sitemaps und Feeds. Einzelne Seiten nur, wenn der Titel nach einem Flugzeug-Addon aussieht.
- Lädt keine Bilder, Logos oder Dateien herunter und speichert keine Artikeltexte.
- Gespeichert werden nur Fakten wie Status, Termin und Preis, dazu ein kurzes Zitat als Beleg, der Link und das Datum.
- Achtet auf Vorbehalte gegen KI und Text und Data Mining (Content-Signal, tdm-reservation). Dann werden nur Titel, Adresse und Datum erfasst.
- Umgeht keine Sperren: Bei 403, 429 oder einer Cloudflare-Challenge stoppt er und lässt die Seite nach drei Fehlern in Folge ganz in Ruhe.
- Speichert keine Namen von Privatpersonen aus Forenbeiträgen.
Aussperren
Ein Eintrag in robots.txt reicht, er gilt ab dem nächsten Lauf:
User-agent: AddonIndexBot Disallow: /
Kontakt
Fragen, Beschwerden oder der Wunsch, nicht mehr gelesen zu werden: sievers@strkt.de