seogeoaeo-bot

Этот робот проверяет сайты для нашего сервиса. Он заходит на сайт, когда кто-то заказал проверку, когда её запустили мы или когда владелец добавил сайт в свой кабинет. Робот читает только открытые страницы — как обычный посетитель или поисковик. Чтобы мы могли что-то менять на сайте или видеть его закрытые данные (например, Яндекс Вебмастер), владелец сначала подтверждает права на сайт.

Как робот представляется (User-agent)

seogeoaeo-bot/1.0 (+https://aeoseogeo.ru/bot)

Что он делает

Сначала читает robots.txt и выполняет его, в том числе запреты Disallow для него и для всех роботов (*).
Делает не больше двух запросов в секунду к одному сайту. Бесплатная проверка читает до 30 страниц, полный отчёт — до 500. Проверки в кабинете — в пределах тарифа.
Находит страницы по карте сайта (sitemap) и ссылкам. Не отправляет формы и не уходит на другие сайты.
Запоминает то, что видит поисковик: заголовки, устройство страниц, разметку, ссылки, картинки, ответы сервера и снимок экрана.
Открывает несколько страниц в браузере, чтобы замерить скорость загрузки.

Как закрыть ему сайт

Добавьте это в свой robots.txt. Следующий обход остановится на первой странице, а владелец сайта увидит, почему.

User-agent: seogeoaeo-bot
Disallow: /

Правила для нашего старого имени uhnwi-agency-bot робот тоже выполняет.

Связь

Робот заходит слишком часто или вы не хотите, чтобы мы проверяли ваш сайт? Напишите на agency@uhnwi.ai, укажите сайт и примерное время.