2 сообщения / 0 new
Последнее сообщение
Аватар пользователя IMHO
Не в сети
Зарегистрирован: 23/06/2008
Директива Crawl-delay в robots.txt поддеживается Яндексом

yandex.pngС этой недели Яндекс поддерживает директиву Crawl-delay прописанную в Robots.txt. Данный приказ указывает поисковикам периодичность возможности индексации сайта. В прошлом многие вебмастеры жаловались, что каждая попытка Яндекса проиндексировать сайт была сравнима с DDOS-атакой.

Примеры правильного использования приказа:

    User-agent: Yandex
    Crawl-delay: 2 # задает таймут в 2 секунды

    User-agent: *
    Disallow: /search
    Crawl-delay: 4.5 # задает таймут в 4.5 секунды

Подробности в блоге Яндекса

Настройки просмотра комментариев

Выберите нужный метод показа комментариев и нажмите "Сохранить установки".
Гость (не проверено)

Google не поддерживает данную дерективу

Навигация по подшивке

Опрос

Я пользуюсь поиском: