В отчете вижу по-прежнему ссылки на страницы, в отчете которых говорится о том, что страница имет слишком короткий заголовок, например. Но доступ к этому ноду был сутки тому назад запрещен. Делаю вывод: Сканирование не производилось в указанный...
В robots.txt есть записи типа
Disallow: *category*
Disallow: /taxonomy/term/*
А в скане я вижу огромное количество нодов типа /taxonomy/term/167/file....
У Вас написано что эта проблема была пофикшена.. Но очевидно, что не совсем.
В robots.txt есть записи типа
Disallow: *category*
Disallow: /taxonomy/term/*
А в скане я вижу огромное количество нодов типа /taxonomy/term/167/file....
У Вас написано что эта проблема была пофикшена.. Но очевидно, что не совсем.
