1 сообщение / 0 new
Аватар пользователя IMHO
Не в сети
Зарегистрирован: 23/06/2008
Robots.txt

robots

Современные сайты состоят не только из важных для пользователя материалов. практически на любом сайте есть админская часть, вход для пользователя, различные системные пути, архивы, комментарии. В другой раз это как и различные доменные зеркала вызывает дублирование контента. С помощью на строек .htaccess и robots.txt можно влиять на индексацию сайта поисковыми системами, как Google и Яндекс.

От теории к практике. В robots.txt от SEO.BY всё настроено с учётом правил Яндекса "склейки" зеркал www.seo.by и seo.by.

Для склейки сайтов в Google следует использовать 301 редирект, который можно настроить в .htaccess и панель для вебмастера.

Навигация по подшивке

Опрос

Я пользуюсь поиском: