Сотрудник поиска Google Джон Мюллер в Twitter попросил хостинговые компании, которые привлекают роботов на межстраничные объявления, не использовать код состояния 200 в связке с noindex.
В противном случае страницы с подобными объявлениями могут быть исключены из индекса Google и результатов поиска после сканирования ботом.
Вместо этого Мюллер рекомендует удалить noindex и использовать код состояния 5xx, который поможет роботу Googlebot просканировать межстраничные объявления.
Чтобы убедиться, что Googlebot не заходит на эти страницы, Джон Мюллер посоветовал воспользоваться рекомендациями из Центра Поиска Google.
По материалам: www.seonews.ru