NGINX exclut certains bots comme Internet Archiver Bot

Il existe suffisamment d'exemples sur Internet pour exclure certains robots via .htaccess.

Il n'y a pas beaucoup d'exemples d'utilisation de Nginx.

Exclure le robot Internet Archiver

Insérez cette partie quelque part dans la section http de votre fichier de configuration nginx :

carte $http_user_agent $limit_bots { par défaut 0; ~*(archive.org_bot|archive|ia_archiver) 1; }

Et puis:

Incluez ceci dans votre balise server => location. Par exemple, lorsque vous utilisez Laravel avec Nginx :

serveur { ... nom_serveur votrenomdedomaine.com; ... si ($limit_bots = 1) { retour 301 https://www.google.com/; } ... }

Vérifiez toujours si votre site fonctionne toujours correctement.

Vous pouvez tester le simulateur de bot en saisissant votre URL et le nom du bot : archive.org_bot sur ce simulateur de bot.

Cela devrait renvoyer quelque chose comme :

Serveur HTTP/2 301 : nginx ... type de contenu : texte/html ... emplacement : https://www.google.com

À utiliser à vos propres risques. Bon codage !