Google рассматривает возможность снизить частоту сканирования страниц, чтобы сэкономить вычислительные ресурсы. Эту тему обсудили сотрудники поисковика Джон Мюллер, Мартин Шплитт и Гэри Илш в последнем выпуске подкаста Search Off the Record.
По словам SEO-специалистов и владельцев сайтов, за последний год Google стал реже сканировать и индексировать страницы. Сотрудники поисковика отметили, что Google стремится сделать сканирование более экологичным за счет экономии вычислительных ресурсов. Так как сканирование и индексирование происходит виртуально, владельцы сайтов не задумываются о том, как это влияет на экологию и окружающую среду.
Вычислительная техника в целом не является экологичной. Если вы думаете о Биткоине, например, майнинг Биткоина оказывает реальное влияние на окружающую среду, которое вы можете измерить, особенно если электричество поступает с угольных станций или других менее экологичных станций.
Мы безуглеродные с 2007 или 2009 года (не помню точно), но это не значит, что мы не можем еще больше сократить воздействие на окружающую среду. Сканирование – одна из таких вещей…, – рассказал Гэри Илш.
Сканирование можно сделать более экологичным, сократив количество проверок контента. Google осуществляет два вида сканирования:
- сканирование для обнаружения нового контента,
- сканирование, чтобы проверить обновление уже проиндексированного контента.
Поисковик рассматривает возможность сократить число сканирований второго типа – с целью проверить обновление контента.
По мнению Илша, нет необходимости слишком часто возвращаться к одному и тому же URL. Исключения составляют крупные известные сайты.
Например, Wall Street Journal постоянно обновляет главную страницу, добавляя новый контент, поэтому эту страницу следует сканировать на наличие изменений чаще. А вот страница «О нас» на Wall Street Journal вряд ли часто обновляется, поэтому поисковику нет смысла повторно сканировать то, что не меняется.
Пока команда Google только рассматривает эту идею. Будет ли действительно поисковик сокращать количество сканирований, не известно.