Det finns tillräckligt med exempel på internet för att utesluta vissa bots via .htaccess.
Det finns inte så många exempel när du använder Nginx.
Det är därför jag skrev den här artikeln. Den bygger på detta utmärkt guide för att utesluta alla bots via Builder Society.
Uteslut Internet Archiver Bot
Infoga den här delen någonstans i http-delen av din nginx-konfigurationsfil:
map $http_user_agent $limit_bots { default 0; ~*(archive.org_bot|archive|ia_archiver) 1; }
Och sedan:
Inkludera detta i din server => platstagg. Till exempel när du använder Laravel med Nginx:
server { ... servernamn dittdomännamn.com; ... if ($limit_bots = 1) { return 301 https://www.google.com/; } ... }
Kontrollera alltid om din webbplats fortfarande fungerar som den ska.
Du kan testa botsimulatorn genom att ange din URL och botnamnet: archive.org_bot on denna botsimulator.
Det borde returnera något i stil med:
HTTP/2 301-server: nginx ... innehållstyp: text/html ... plats: https://www.google.com
Använd på egen risk. Glad kodning!