Google рассматривает вопрос сокращения частоты сканирования сайтов в целях экономии вычислительных ресурсов. Компания все больше задумывается о повышении экологичности сканирования и индексирования.
Этот вопрос стал одной из тем, которые обсуждались во время последнего выпуска подкаста Search Off The Record с участием сотрудников Google Джона Мюллера, Мартина Сплитта и Гэри Илша. В целом они говорили о том, чего ожидать от Google в 2022 году и далее.
Экологичность сканирования и индексирования
Поскольку сканирование и индексирование являются виртуальными процессами, то они напрямую не влияют на окружающую среду. Однако, вычислительные процессы по факту не являются экологичными.
«Если посмотреть на Bitcoin, для примера, то его майнинг реально влияет на окружающую среду и это влияние можно измерить, особенно если источником электричества являются угольные электростанции или другие менее экологичные электростанции. Мы углеродно-нейтральны с 2007 или 2009 года, но это не значит, что мы не можем еще больше уменьшить свой углеродный след в окружающей среде. И сканирование – это одна из тех вещей, посредством которых мы могли бы это улучшить», – сказал Илш.
Здесь возможности оптимизации касаются в первую очередь необязательного сканирования. Например, сканирования тех страниц, которые в последнее время не обновлялись.
Как Google может сделать сканирование более экологичным
Илш считает, что это возможно за счет сокращения сканирования на предмет возможных обновлений. В целом есть два типа сканирования: для обнаружения нового контента и для обновления существующего. И вот объем сканирования второго типа можно было бы уменьшить.
Повторные обходы страниц как раз относятся к этому типу. Однако остается открытым вопрос, как часто Googlebot должен посещать уже проиндексированные страницы.
По мнению Илша, это зависит от типа сайта. Например, The Wall Street Journal постоянно публикует новый контент, и Googlebot нужно часто посещать его главную страницу, чтобы подхватывать эти изменения. Между тем страница «О нас» обновляется не так часто, поэтому ее можно посещать реже.
Как сокращение частоты сканирования повлияет на сайты
Среди специалистов отрасли бытует мнение, что высокая частота сканирования – это положительный SEO-сигнал, даже если контент не обновляется так часто, как его сканирует Google.
Однако Илш объяснил, что это заблуждение, и контент не обязательно будет ранжироваться выше только потому, что он чаще сканируется.
Будет ли Google внедрять это изменение в ближайшем будущем
Пока не известно, но команда поиска активно изучает эту идею. Чтобы сократить сканирование с целью обновления контента в индексе, поисковой системе нужно понять, какие страницы требуют более частых посещений, а каким это не нужно. Это значит, что часто обновляемые страницы, скорее всего, и дальше будут часто сканироваться.
Прослушать весь этот выпуск целиком можно на странице. Обсуждение возможного сокращения частоты сканирования стартует с отметки 2:40 мин.
Отметим, что одним из актуальных трендов 2022 года являются более «зеленые» сайты.