Bots MIX | User Agents | Настоящие #17251

User Agents ботов и автоматизированных клиентов. MIX объединяет идентификаторы разных ботов для тестирования обработки запросов и правил фильтрации.

Примеры User Agents:
(compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
(compatible; Googlebot/2.1; +http://www.google.com/bot.html)
(compatible;PetalBot;+http://aspiegel.com/petalbot)
(compatible;PetalBot;+https://aspiegel.com/petalbot)
+http://aspiegel.com/petalbot)
+https://aspiegel.com/petalbot)
+https://webmaster.petalsearch.com/site/petalbot)
+https://www.adbeat.com/policy adbeat_bot
.fr crawler
//www.proximic.com/info/spider.php)