IndexNow, GSC и Яндекс: что реально ускоряет переобход

Месяц пингов IndexNow на живом сайте: коды 200 и 503, провал индекса Bing, квоты Яндекса и Google. Что реально ускоряет переобход, а что - плацебо.

Про IndexNow пишут либо «подключите и поисковики будут узнавать об изменениях мгновенно», либо ничего. Я месяц гонял его на живом сайте вместе с остальными инструментами переобхода - API Яндекс Вебмастера, сабмитами Bing, ручным Request Indexing в Google - и собрал честную картину: что реально сдвигает индексацию, а что просто приятно мигает кодом 200.

Если коротко

  • IndexNow пингуется автоматически после каждого деплоя - бесплатно и дёшево, подключайте.
  • Но пинг ≠ индексация: Bing принимал пинги и держал в индексе 1-3 страницы из 77.
  • Эндпоинт IndexNow сам падает: 29 мая - 503 и 502 на ретраях, два дня спустя - снова 200.
  • Яндекс: рабочий рычаг - переобход через API Вебмастера, 150 URL/день, обработка за часы.
  • Bing: SubmitUrlBatch, 100 URL/день - именно он вытащил индекс с 1-3 до 26-29 страниц.
  • Google: sitemap + ручной Request Indexing (~10 URL/день). Indexing API для обычных страниц - не подтверждается.

Как у меня устроен автопинг

Сайт - статика на Astro, деплой через GitHub Actions: push в main, через 1-2 минуты файлы на хостинге. Следом отдельный workflow собирает список изменённых URL и отправляет POST на api.indexnow.org с ключом, который лежит текстовым файлом в корне сайта. Один пинг расходится по всем поисковикам-участникам протокола - для меня это Bing и Яндекс.

Две детали, которые вылезли только на практике:

Ретраи обязательны. В workflow заложены повторы на 503/504/429 с паузами. Пригодилось быстрее, чем ожидал.

Пинг не должен ронять деплой. Если IndexNow недоступен - workflow пишет предупреждение и завершается успешно. Недоставленный пинг - некритичная потеря: поисковик всё равно придёт по sitemap, просто позже.

Хроника одного месяца пингов

Реальные ответы эндпоинта по логам деплоев:

ДатаСобытиеОтвет
28 маяДеплой, автопинг200, принят
29 маяДеплой, автопинг503, ретрай - 502
29 маяРучной повтор позжеснова 503/502
31 маяДеплой, автопинг200
1 июняРучной пинг 5 URL200

29 мая эндпоинт лежал на стороне Bing - с моей инфраструктурой всё было в порядке. Через два дня ожил сам. Если бы деплой фейлился из-за пинга, я бы 29 мая не выкатил ни одной правки.

Вывод из таблицы скучный, но важный: IndexNow - это дешёвая открытка, а не заказное письмо. Отправка ничего не гарантирует, недоставка ничего не ломает.

Bing: пинги принимает, индексировать не обязан

Самая показательная история месяца. 22 июня проверяю Bing Webmaster Tools: в индексе 1-3 страницы из 77 в sitemap. При этом ошибок обхода ноль - 4xx и 5xx нет, краулер ходит, пинги весь месяц уходили с кодом 200. Bing всё видел. И не индексировал.

Почему это больно - отдельная тема: Copilot собирает ответы из индекса Bing, и пока сайта там нет, для ИИ-поиска Microsoft вы не существуете. На моём клининговом проекте именно индекс Bing дал 40 цитирований в Copilot - так что провал заметил быстро.

Что сделал: через Bing Webmaster API отправил SubmitFeed (пересабмит sitemap) и SubmitUrlBatch на все 77 URL - оба запроса приняты с кодом 200. Квота URL-сабмита - 100 в день, после батча осталось 23.

Через три дня, 25 июня, индекс вырос до 26-29 страниц. Не все 77, но с 1-3 это разница между «сайта нет» и «сайт есть». Дальше Bing добирал сам.

Мораль: для Bing прямой сабмит через Webmaster API - более сильный сигнал, чем IndexNow-пинг. Держите и то и другое: пинг - фоновая рутина, сабмит - ручной рычаг на случай провала.

Яндекс: переобход работает как часы

У Яндекса два канала. IndexNow он принимает - но рабочая лошадка у меня другая: переобход через API Вебмастера (тот же лимит виден и в интерфейсе: «Переобход страниц»).

Цифры с одного дня, 23 июня: отправил 5 изменённых URL - все приняты с кодом 202 и task_id. К восьми вечера того же дня в логах - 9 обходов с ответом 2xx: робот пришёл по каждому URL, некоторые обошёл дважды. Квота - 150 URL в день на сайт, для моих объёмов это бесконечность.

Нюанс автоматизации: недокументированные обёртки над этим API живут своей жизнью (мой MCP-инструмент для переобхода стабильно отдаёт «Resource not found»), поэтому надёжнее дёргать API Вебмастера напрямую - обычный HTTP-запрос с OAuth-токеном.

Важно не путать переобход с индексацией и здесь: тот же Яндекс 23 июня выкинул из индекса 5 моих страниц как «маловостребованные» - при исправно работающем переобходе. Робот приходит по запросу; останется ли страница в индексе - решает качество и спрос.

Google: самый закрытый из трёх

С Google картина такая:

Sitemap работает. Свежие статьи блога Google подхватывал за сутки безо всяких пингов - проверено на четырёх статьях, опубликованных одним днём: на следующие сутки все были в статусе «проиндексировано».

Request Indexing в GSC работает, но руками. URL Inspection → Request Indexing, лимит порядка 10 URL в день, реакция - от нескольких часов до трёх суток. Для точечных правок (переписали title, обновили ключевую страницу) - нормальный инструмент.

Indexing API - чёрный ящик. Официально он предназначен только для вакансий (JobPosting) и трансляций (BroadcastEvent). Я проверял на обычных страницах дважды. Первый заход: POST urlNotifications:publish возвращает 200 - но без поля latestUpdate, а GetMetadata по тем же URL отдаёт 404. То есть «принял» и «сделал» - разные вещи: подтвердить переобход нечем, я откатил интеграцию. Второй заход, позже: отправка через сервис-аккаунт с правами владельца в GSC - все 5 URL снова приняты с кодом 200. Приняты - да; что происходит дальше, Google не показывает. Строить на этом процесс я бы не стал.

IndexNow Google не поддерживает вообще. Пинги до него не долетают by design.

Главный вывод: переобход - не индексация

За тот же месяц у меня накопилась статистика GSC: 58 страниц в индексе, 49 - нет. Из этих 49 бóльшая часть - «просканирована, но не проиндексирована» и «обнаружена, но не проиндексирована». Google по этим страницам уже приходил. Никакой пинг, сабмит и Request Indexing не заставят его передумать - это вопрос авторитетности: контент, внутренняя перелинковка, внешние ссылки.

Инструменты переобхода решают ровно одну задачу - сократить время между «я изменил страницу» и «робот это увидел». С этой задачей они справляются: Яндекс приходит за часы, Bing после сабмита - за дни, Google по sitemap - за сутки. Всё остальное - регулярный контент и ссылки, тут коротких путей не нашлось.

Что настроить у себя: короткий план

  1. IndexNow - ключ в корень, автопинг после деплоя, ретраи на 5xx, деплой не фейлить.
  2. Sitemap - актуальный, отправлен в GSC, Вебмастер и Bing WMT. Это база, без неё остальное - косметика.
  3. Яндекс - при важных правках дёргать переобход через API или кнопку в Вебмастере (150/день).
  4. Bing - раз в пару недель заглядывать в индекс; при провале - SubmitUrlBatch (100/день).
  5. Google - точечные правки прогонять через Request Indexing (~10/день), остальное доверить sitemap.
  6. Не путать метрики: «обход есть» проверяется в логах и Вебмастере, «индекс есть» - только в консолях поисковиков.

Полезные ссылки

Если поисковики неделями не замечают ваши правки или сайт не лезет в индекс - разберу на разовом аудите или в рамках SEO-продвижения. Быстрые вопросы - в Telegram @dimik90.

Вопрос-ответ

Частые вопросы

Что такое IndexNow и кто его поддерживает?
Открытый протокол мгновенного уведомления поисковиков об изменённых URL: кладёте текстовый ключ в корень сайта и POST-ите список URL на api.indexnow.org. Поддерживают Bing и Яндекс (плюс Seznam, Naver). Google IndexNow не поддерживает - ему протокол ничего не сообщает. Один пинг расходится по всем участникам протокола.
IndexNow гарантирует индексацию?
Нет. Это сигнал «страница изменилась, приходи» - поисковик сам решает, прийти ли и включить ли страницу в индекс. Мой пример: пинги уходили с кодом 200 весь май, а 22 июня у Bing в индексе было 1-3 страницы из 77 при нуле ошибок обхода. Bing всё видел - и не индексировал. Помог только прямой SubmitUrlBatch на все 77 URL, через три дня индекс вырос до 26-29 страниц.
Как ускорить переобход в Google?
Два рабочих канала. Первый - sitemap: свежие статьи Google у меня подхватывал за сутки без всяких пингов. Второй - ручной Request Indexing в Search Console, примерно 10 URL в день, реакция от нескольких часов до трёх суток. Indexing API для обычных страниц официально не предназначен (только вакансии и трансляции): в моём тесте он отвечал 200 на отправку, но метаданных не возвращал - подтвердить реальный переобход нечем.
Какие квоты у инструментов переобхода?
По моему опыту на один сайт: Яндекс Вебмастер - 150 URL в день на переобход через API или интерфейс; Bing SubmitUrlBatch - 100 URL в день; Google Request Indexing в GSC - около 10 URL в день. IndexNow формальных квот на таких объёмах не показывал. Для сайта на 77 страниц любой из лимитов - с запасом.
Почему IndexNow отдаёт 503 или 502?
Эндпоинт api.indexnow.org живёт на стороне Bing и сам иногда падает. 29 мая мой деплой-пинг получил 503, ретрай - 502, ручной повтор через время - снова 503. Через два дня всё вернулось к 200 без действий с моей стороны. Вывод для автоматизации: закладывайте ретраи с паузой и не роняйте деплой из-за недоступности пинга - это некритичный шаг.
Зачем вообще ускорять переобход?
Две причины. Первая - правки должны попадать в выдачу быстрее: переписали title под CTR, а поисковик держит старый сниппет неделями. Вторая - ИИ-поиск: Copilot берёт ответы из индекса Bing, и пока страницы там нет, вас нет и в ответах. У меня клининговый проект набрал 40 цитирований в Copilot именно после того, как разобрался с индексом Bing - разбирал в отдельной статье про GEO.

Оцените статью

Дальше

← Все записи