Что он делает

Раз в сутки снимает копию страниц, которые уже отдаются поисковым системам, и сравнивает их с предыдущей копией. Собираются заголовки, объём текста, структура разделов, цены из микроразметки и число ссылок. Формы не отправляются, ничего не заказывается, авторизация не проходится.

Как он себя ведёт

• Не чаще одного запроса в 3 секунды к одному домену.
• Не более 30 страниц с домена в сутки.
• Не более 5 редиректов, ответ больше 3 МБ обрывается.
• Таймаут соединения 5 секунд, общий таймаут 20 секунд.
• JavaScript не исполняется.

Как ограничить

Добавьте в robots.txt:

User-agent: MorgBot
Disallow: /

Именно эта строка — с именем бота — соблюдается на любом сайте, подключён он к сервису или нет. Запрет применяется в течение суток: файл кешируется на день.

Общее User-agent: * к страницам, которые бот видит в выдаче как чужие, не применяется: он берёт с них ровно то, что поисковик уже показал всем. К сайтам, подключённым к сервису их владельцем, применяется весь файл целиком.

Если нужно быстрее или у бота обнаружилось некорректное поведение, напишите на help@example.com, домен исключается вручную.