Пользователь владимир

Просьба расширить логику анализа. 1) Анализировать robots для того чтобы не анализировать страницы которые закрыты. Думаю что этот анализ (как и мне) нужен SEO специалистам желающим продвигаться в поиске. В robots администраторы уже указали что...