Сегодня Яндекс.Поиск представил отдельного поискового робота на сервисе Яндекс.Поиск для сайта. Ранее сервис, помогающий организовать поиск по сайту, всегда использовал для индексирования основной робот Яндекса.

До сих пор на сервисе Поиск для сайта для индексирования использовался основной поисковой робот Яндекса. Теперь, к основному роботу добавлен робот дополнительный, который оперативно обходит сайты и строит дополнительный индекс, который используется только при поиске через форму сервиса Поиск для сайта. Дополнительный робот поможет ускорить индексирование некоторых страниц, благодаря чему посетители сайта смогут получать самую свежую и полную информацию.

Владельцы сайта могут самостоятельно сообщать роботу о новых или обновленных страницах на своем сайте. Сделать это можно двумя способами: через форму добавления страниц в разделе «Индексирование» и с помощью http-запроса. В обоих случаях необходимо подтвердить в Яндекс.Вебмастере права на тот сайт, на котором размещается поисковая форма.
источник: http://www.searchengines.ru/