Я думаю все оптимизаторы используют файл robots.txt.
Для того, чтобы разрешить всем поисковикам индексировать, просматривать все страницы сайта, показать основное зеркало сайта, показать карту сайта, можно использовать файл robots.txt, в котором будет следующая информация:
User-Agent: *
Disallow:
Host: mysite.ru
User-agent: Yandex
Disallow:
Host: mysite.ru
Sitemap: http://mysite.ru/sitemap.xml
User-Agent: Googlebot
Disallow:
Host: mysite.ru
Sitemap: http://mysite.ru/sitemap.xml
User-agent: StackRambler
Disallow:
Host: mysite.ru
Где mysite.ru — основное зеркало сайта.
Что такое зеркало?
Пример:
у вас есть сайт с доменом mysite.ru, который доступен также как и www.mysite.ru, также он будет доступен по адресам mysite1.ru и www.mysite1.ru, если домен mysite1.ru направить туда же, куда направлен домен mysite.ru.
Т.е. сайт может быть доступен по неограниченному количеству доменов. Для поисковиков 1 домен будет основным, а остальные зеркалами. Чтобы показать поисковым машинам основной домен, который Вы хотели бы видеть основным, необходимо в файле robots.txt указать основной домен. Также (желательно) для всех доменов сделать 301 редирект на основной домен, который вы выбрали. Про 301 редирект в статье на странице Несколько доменов для одного сайта – 301 php редирект, htaccess, домен .рф, сайт с www или без www