31
Январь
2009
Файл robots.txt рассказывает поисковым системам к каким разделам вашего сайта они имеют доступ, а как следствие, какие разделы они имеют право индексировать. Данный файл должен называться “robots.txt” и размещаться в корневой директории вашего сайта.
У вас может возникнуть желание закрыть некоторые страницы вашего сайта от ботов поисковых систем, если вы считаете, что данные страницы будут бесполезны пользователям, нашедшим их в Гугле. Если вы не хотите, чтобы боты поисковых систем сканировали ваш сайт, то специально для вас в ГуглВебмастерсТулз есть инструмент “robots.txt-генератор”, который вам поможет составить данный файл.
Необходимо отметить, что если на вашем сайте есть поддомены, и вы не хотите, чтобы часть разделов находящихся на поддоменах, сканировалась ботами поисковых систем, то вам необходимо будет создать отдельные файлы для поддоменов и разместить их в корневых директориях поддоменов.
Есть и другие способы, запретить Гуглу сканировать и показывать страницы вашего сайта в результатах поиска. К примеру, вставка на странице мета-тега noindex для ботов поисковых систем, использовать в .htaccess установку паролей на директории вашего сайта, а так же можно удалить необходимые страницы вашего сайт в ГуглВебмастерсТулз
Seo.by выходит с дизайном в стадии альфа на открытое тестирование. Просьба не пугаться, а наоборот, если есть дельные предложения, то оставлять их в данной ветке.
Комментарии
Спасибо за совет! Очень помогло.