Я думаю все оптимизаторы используют файл robots.txt.
Для того, чтобы разрешить всем поисковикам индексировать, просматривать все страницы сайта, показать основное зеркало сайта, показать карту сайта, можно использовать файл robots.txt, в котором будет следующая информация: Читать дальше
Блог о создании, поисковой оптимизации и продвижении сайтов, хостинг, домены, аналитика
Robots.txt — разрешение индексирования всех страниц поисковиками Yandex, Google, Rambler;Sitemap.xml
Рубрика: Продвижение сайтов
Метки: 301 редирект, disallow, google, googlebot, host, rambler, robots.txt, sitemap.xml, stackrambler, user-agent, yandex, оптимизатор, редирект, сайт, файл
Добавьте ссылку на запись себе в социальные закладки: