Сделайте API
Вы наверное видите нагрузку на сайт от роботов, это потому что у вас нет API для публичных данных. Клиентам нужно мониторить новые позиции по своим собственным алгоритмам, для этого нужно держать актуальную базу сайтов, а для этого приходится...