robots

Inserisci qui il tuo testo...

########################################################### # BOT PERMESSI (solo quelli utili per SEO e anteprime) ########################################################### User-agent: Googlebot Allow: / User-agent: Googlebot-Image Allow: / User-agent: Googlebot-Mobile Allow: / User-agent: Bingbot Allow: / User-agent: DuckDuckBot Allow: / User-agent: Applebot Allow: / User-agent: Pinterestbot Allow: / User-agent: FacebookExternalHit Allow: / ########################################################### # BLOCCA TUTTI GLI ALTRI BOT (scraping, spam, IA, aggressivi) ########################################################### User-agent: * Disallow: / ########################################################### # BOT SEO AGGRESSIVI ########################################################### User-agent: AhrefsBot Disallow: / User-agent: SemrushBot Disallow: / User-agent: DotBot Disallow: / User-agent: MJ12bot Disallow: / ########################################################### # BOT CINESI E RUSSI ########################################################### User-agent: Baiduspider Disallow: / User-agent: Sogou Disallow: / User-agent: Yandex Disallow: / ########################################################### # BOT DI SCRAPING COMMERCIALE ########################################################### User-agent: ZoominfoBot Disallow: / User-agent: CCBot Disallow: / User-agent: MauiBot Disallow: / ########################################################### # BOT DI INTELLIGENZA ARTIFICIALE ########################################################### User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: ChatGPT-User Disallow: / User-agent: CCBot Disallow: / ########################################################### # BOT DI SICUREZZA / SCANSIONI AUTOMATICHE ########################################################### User-agent: WPScan Disallow: / User-agent: Nmap Disallow: / User-agent: sqlmap Disallow: / User-agent: Nessus Disallow: / ########################################################### # BOT DI SCRAPING GENERICI (script automatici) ########################################################### User-agent: python-requests Disallow: / User-agent: curl Disallow: / User-agent: wget Disallow: / User-agent: Java Disallow: / User-agent: Go-http-client Disallow: / User-agent: libwww-perl Disallow: / User-agent: Scrapy Disallow: / ########################################################### # REGOLE GENERALI PER URL SENSIBILI ########################################################### Disallow: /cart Disallow: /checkout Disallow: /order Disallow: /order-complete Disallow: /search Disallow: /?* Disallow: /*?* Disallow: /admin Disallow: /login Disallow: /register Disallow: /cgi-bin/