С этой недели Яндекс поддерживает директиву Crawl-delay прописанную в Robots.txt. Данный приказ указывает поисковикам периодичность возможности индексации сайта. В прошлом многие вебмастеры жаловались, что каждая попытка Яндекса проиндексировать сайт была сравнима с DDOS-атакой.
Примеры правильного использования приказа:
User-agent: Yandex
Crawl-delay: 2 # задает таймут в 2 секунды
User-agent: *
Disallow: /search
Crawl-delay: 4.5 # задает таймут в 4.5 секунды
Подробности в блоге Яндекса
Google не поддерживает данную дерективу