Блог о создании, поисковой оптимизации и продвижении сайтов, хостинг, домены, аналитика

+7 (495) 542-05-85

Robots.txt — разрешение индексирования всех страниц поисковиками Yandex, Google, Rambler;Sitemap.xml

Я думаю все оптимизаторы используют файл robots.txt.
Для того, чтобы разрешить всем поисковикам индексировать, просматривать все страницы сайта, показать основное зеркало сайта, показать карту сайта, можно использовать файл robots.txt, в котором будет следующая информация:
User-Agent: *
Disallow:
Host: mysite.ru

User-agent: Yandex
Disallow:
Host: mysite.ru
Sitemap: http://mysite.ru/sitemap.xml

User-Agent: Googlebot
Disallow:
Host: mysite.ru
Sitemap: http://mysite.ru/sitemap.xml

User-agent: StackRambler
Disallow:
Host: mysite.ru

Где mysite.ru — основное зеркало сайта.
Что такое зеркало?
Пример:
у вас есть сайт с доменом mysite.ru, который доступен также как и www.mysite.ru, также он будет доступен по адресам mysite1.ru и www.mysite1.ru, если домен mysite1.ru направить туда же, куда направлен домен mysite.ru.
Т.е. сайт может быть доступен по неограниченному количеству доменов. Для поисковиков 1 домен будет основным, а остальные зеркалами. Чтобы показать поисковым машинам основной домен, который Вы хотели бы видеть основным, необходимо в файле robots.txt указать основной домен. Также (желательно) для всех доменов сделать 301 редирект на основной домен, который вы выбрали. Про 301 редирект в статье на странице Несколько доменов для одного сайта – 301 php редирект, htaccess, домен .рф, сайт с www или без www

Опубликовано в рубрике: Продвижение сайтов
Метки: , , , , , , , , , , , , , ,
Автор: admin.


Добавьте ссылку на запись себе в социальные закладки:
Google Bookmarks Digg Reddit del.icio.us Ma.gnolia Technorati Slashdot Yahoo My Web News2.ru БобрДобр.ru RUmarkz Ваау! Memori.ru rucity.com МоёМесто.ru Mister Wong


Комментарии запрещены.