Nouveaux projets robots.txt open source

26

Article traduit par : SEO SEA Expertise. La traduction n’engage que l’auteur. Veuillez vous référer au texte originel (lien Source).

Google vient de publier un nouvel article sur son blog officiel. Pour les non anglophones, nous proposons une traduction de cet article.

L’année dernière, nous avons publié l’analyseur et le matcher robots.txt que nous utilisons dans nos systèmes de production dans le monde open source. Depuis lors, nous avons vu des gens construire de nouveaux outils avec lui, contribuer à la bibliothèque open source (améliorant efficacement nos systèmes de production – merci!), Et publier de nouvelles versions linguistiques comme golang et rust, qui facilitent la création de nouvelles outils.

La saison des stages se terminant ici chez Google, nous voulions mettre en évidence deux nouvelles versions liées à robots.txt qui ont été rendues possibles par deux stagiaires travaillant dans l’équipe Search Open Sourcing, Andreea Dutulescu et Ian Dolzhanskii.

Test de spécification Robots.txt

Tout d’abord, nous publions un cadre de test pour les développeurs d’analyseurs robots.txt, créé par Andreea. Le projet fournit un outil de test qui peut valider si un analyseur robots.txt suit le protocole d’exclusion de robots, ou dans quelle mesure. Actuellement, il n’y a pas de moyen officiel et complet d’évaluer l’exactitude d’un analyseur, alors Andreea a construit un outil qui peut être utilisé pour créer des analyseurs robots.txt qui suivent le protocole.

Analyseur et mateur Java robots.txt

Deuxièmement, nous publions un portage Java officiel de l’analyseur C ++ robots.txt, créé par Ian. Java est le 3ème langage de programmation le plus populaire sur GitHub et il est également largement utilisé chez Google, il n’est donc pas étonnant que ce soit le port de langage le plus demandé. L’analyseur est une traduction 1-à-1 de l’analyseur C ++ en termes de fonctions et de comportement, et il a été soigneusement testé pour la parité avec un grand corpus de règles robots.txt. Les équipes prévoient déjà d’utiliser l’analyseur Java robots.txt dans les systèmes de production de Google, et nous espérons que vous le trouverez également utile.

Comme d’habitude, nous apprécions vos contributions à ces projets. Si vous avez construit quelque chose avec l’analyseur C ++ robots.txt ou avec ces nouvelles versions, faites-le nous savoir afin que nous puissions potentiellement vous aider à passer le mot! Si vous avez trouvé un bogue, aidez-nous à le corriger en ouvrant un problème sur GitHub ou en contribuant directement avec une pull request. Si vous avez des questions ou des commentaires sur ces projets, n’hésitez pas à nous contacter Twitter!

Ce fut notre véritable plaisir d’accueillir Andreea et Ian, et nous sommes tristes que leur stage se termine. Leurs contributions contribuent à améliorer Internet et nous espérons pouvoir les accueillir de nouveau sur Google à l’avenir.




Source