Сотрудник Google Джон Мюллер заявил в Twitter, что 100 тысяч URL обычно недостаточно, чтобы повлиять на бюджет сканирования.
При таком размере сайта проблем со сканированием быть не должно.
Все обсуждение можно прочитать, начиная с твита.
Отметим, что в 2016 году, сотрудник поиска Гэри Илш советовал тем сайтам, у которых около 100 000 URL, использовать nofollow для повышения эффективности сканирования. Но это было более пяти лет назад.
В начале 2017 года Илш опубликовал подробный пост, посвященный лимиту на сканирование. В нем он объяснил, что понимается под этим термином, какие факторы влияют на краулинговый бюджет, что такое скорость сканирования и краулинговый спрос.
А в 2020 году Google Google поделился рекомендациями по управлению лимитом на сканирование для крупных сайтов. Они ориентированы на владельцев очень больших сайтов (от 1 млн уникальных страниц) с достаточно часто меняющимся контентом, а также средних и больших сайтов (от 10 тыс. уникальных страниц) с часто меняющимся контентом.