robots.txt не подгружать у копируемого сайта
чтобы он НЕ тянул robots.txt того сайта и тем более для Яндекса может быть прописан хост. то есть мы копируем, а Яндекс видит директиву Host: site.ru (копируемый)
И он посчитает наш сайт зеркалом и тупо склеит.
