Современные сайты состоят не только из важных для пользователя материалов. практически на любом сайте есть админская часть, вход для пользователя, различные системные пути, архивы, комментарии. В другой раз это как и различные доменные зеркала вызывает дублирование контента. С помощью на строек .htaccess и robots.txt можно влиять на индексацию сайта поисковыми системами, как Google и Яндекс.
От теории к практике. В robots.txt от SEO.BY всё настроено с учётом правил Яндекса "склейки" зеркал www.seo.by и seo.by.
Для склейки сайтов в Google следует использовать 301 редирект, который можно настроить в .htaccess и панель для вебмастера.
Последние комментарии