31
Январь
2009
Файл robots.txt рассказывает поисковым системам к каким разделам вашего сайта они имеют доступ, а как следствие, какие разделы они имеют право индексировать. Данный файл должен называться “robots.txt” и размещаться в корневой директории вашего сайта.
31
Январь
2009
Используйте наиболее безопасные методы для конфиденциального контента. Вы не можете полностью полагаться лишь на robots.txt, при защите конфиденциального контента. Дело в том, что поисковые системы могут показывать ссылки на заблокированные страницы (лишь урл, без сниппета и заголовка). Это может произойти, если ссылки на заблокированные страницы окажутся в интернете, например в открытых логах сервера.
С этой недели Яндекс поддерживает директиву Crawl-delay прописанную в Robots.txt. Данный приказ указывает поисковикам периодичность возможности индексации сайта. В прошлом многие вебмастеры жаловались, что каждая попытка Яндекса проиндексировать сайт была сравнима с DDOS-атакой.
20
Июля
2008
Современные сайты состоят не только из важных для пользователя материалов. практически на любом сайте есть админская часть, вход для пользователя, различные системные пути, архивы, комментарии. В другой раз это как и различные доменные зеркала вызывает дублирование контента. С помощью на строек .htaccess и robots.txt можно влиять на индексацию сайта поисковыми системами, как Google и Яндекс.
От теории к практике. В robots.txt от SEO.BY всё настроено с учётом правил Яндекса "склейки" зеркал www.seo.by и seo.by.
Seo.by выходит с дизайном в стадии альфа на открытое тестирование. Просьба не пугаться, а наоборот, если есть дельные предложения, то оставлять их в данной ветке.
Последние комментарии