altziar-bot

altziar-bot este robotul care citește știrile pentru altziar.ro. Din articolele mai multor redacții despre același subiect scriem un articol scurt, cu linkuri către articolele originale. Nu republicăm textul articolelor: el rămâne doar în baza noastră internă, ca material pentru articolul nostru.

Ce citește

• Feed-urile RSS publice ale redacțiilor din România (peste 70).
• Pagina fiecărui articol nou din aceste feed-uri, o singură dată, ca să-i extragă textul. Dacă feed-ul are deja textul complet, pagina nu mai e cerută.

Cum se poartă

• Respectă robots.txt, inclusiv Crawl-delay.
• Cel mult o cerere la 2 secunde și cel mult 25 de pagini la 5 minute pe fiecare site.
• Feed-urile sunt cerute condiționat (If-None-Match / If-Modified-Since).
• La răspunsurile 429 sau 503 respectă Retry-After și face pauză (de la 30 de minute până la 6 ore); o zi după aceea citește feed-ul site-ului cel mult o dată la 30 de minute.
• Nu ocolește verificările anti-roboți și nu se dă drept browser.

Cum îl recunoști

• User-Agent: Mozilla/5.0 (compatible; altziar-bot/1.0; +https://altziar.ro/robot)
• Cererile sunt semnate cu Web Bot Auth (HTTP Message Signatures, Ed25519). Cheia publică: /.well-known/http-message-signatures-directory.
• Adresa IP: 209.38.40.88.

Vrei să-l oprești sau să-l încetinești?

Adaugă User-agent: altziar-bot cu Disallow: / (sau un Crawl-delay) în robots.txt: robotul îl citește la fiecare rulare.