Робот BelinskiyBot
BelinskiyBot — робот сервиса Белинский, который проверяет тексты сайтов на соответствие нормам русского языка. В запросах он представляется так:
BelinskiyBot/1.0 (+https://belinsky.seolt.ru/bot)
Что он делает
Робот заходит на сайт, когда пользователь сервиса добавил его на проверку. Он начинает с указанного адреса, идёт по ссылкам внутри сайта и читает sitemap.xml, если он есть. Со страниц робот берёт текст, чтобы проверить его. Правила robots.txt для страниц робот по умолчанию соблюдает.
Если пользователь заказал проверку изображений, робот скачивает изображения, встроенные в страницы, так же, как браузер, когда открывает страницу. На файлы изображений правила robots.txt не распространяются.
Как с нами связаться
Если робот мешает вашему сайту, напишите на welcome@seolt.ru и укажите адрес сайта.