Запустил аудит сайта http://stud-net.ru. В анализе выдало порядка 5к ссылок. Хотя их намного больше. Даже если учесть, что большая часть закрыта nofollow и noindex. По идее с нагрузкой сервер справляется.
Просмотрев карту вашего сайта, не нашли причин по которым робот мог бы закачать больше страниц с вашего сайта. Обратите внимание на ссылки и директивы в robots.txt
