IndexNow, sitemap и пинги: как ускорить индексацию новых страниц

Опубликовать страницу — только половина дела: пока поисковик её не проиндексирует, найти её никто не сможет. Роботы обходят сайты по собственному расписанию, и свежая статья может ждать днями. Сократить ожидание помогают три механизма — и они не взаимозаменяемы.

IndexNow: сообщите Bing и Яндексу напрямую

IndexNow — открытый протокол, который Microsoft Bing и Яндекс запустили в 2021 году. Вместо того чтобы ждать робота, сайт сам отправляет короткий запрос со списком добавленных, изменённых или удалённых URL. Поисковики-участники обмениваются уведомлениями, поэтому один запрос доходит до всех — сегодня это Bing, Яндекс, Seznam и Naver.

Как это работает:

1. 01Сгенерируйте ключ (от 8 до 128 символов) и опубликуйте его текстовым файлом в корне сайта, например https://example.com/<key>.txt.
2. 02Отправьте изменённые URL на общий адрес — до 10 000 за один запрос.
3. 03Поисковик загружает файл с ключом, чтобы убедиться, что сайт ваш, и ставит URL в очередь на обход.

POST https://api.indexnow.org/indexnow
Content-Type: application/json; charset=utf-8

{
  "host": "onlyapps.org",
  "key": "<your-key>",
  "keyLocation": "https://onlyapps.org/<your-key>.txt",
  "urlList": ["https://onlyapps.org/ru/blog/indexnow-sitemaps-pings"]
}

Ответ 200 или 202 означает, что уведомление принято. Это не значит, что страница поднимется в выдаче, — только что её обойдут раньше.

Sitemap: по-прежнему главный канал для Google

Google не использует IndexNow. Новые страницы он находит по ссылкам и XML-картам сайта, а в 2023 году отключил старый адрес для «пинга» sitemap — пинговать Google больше бессмысленно. Что работает:

• ✦Держите индекс карт сайта со всеми индексируемыми страницами на всех языках.
• ✦Ставьте в lastmod дату реального изменения контента. Google учитывает его, только если он стабильно точен.
• ✦Один раз отправьте sitemap в Search Console и укажите его в robots.txt.
• ✦Ставьте ссылки на новые страницы с часто обходимых страниц — главной или списка статей блога.

Пинги: старый способ, всё ещё живой для блогов

До IndexNow блоги уведомляли сервисы обновлений и блог-поисковики через XML-RPC-пинги. Некоторые сервисы принимают их до сих пор — поэтому существуют инструменты вроде нашего приложения Pingler: добавляете адрес страницы, и оно в одно касание уведомляет пинг-сервисы. Пинги дешёвы и безвредны, но доходят до меньшей аудитории, чем IndexNow, и никак не влияют на Google.

Как это устроено на onlyapps.org

Этот сайт сочетает все три подхода автоматически:

• ✦каждая публикация, правка или снятие с публикации ставит затронутые URL — на всех трёх языках — в очередь IndexNow, которая уходит одним пакетом через минуту;
• ✦карты сайта разделены по типам контента, lastmod берётся из момента реального изменения, а для каждого языка указаны hreflang-альтернативы;
• ✦ключ IndexNow создаётся при первом запуске и отдаётся из корня сайта.

Чек-лист

• ✦Опубликуйте файл с ключом IndexNow и отправляйте изменённые URL, включая удалённые.
• ✦Поддерживайте точный sitemap и добавьте его в Google Search Console, Bing Webmaster Tools и Яндекс.Вебмастер.
• ✦Не имитируйте свежесть: меняйте lastmod только при изменении контента.
• ✦Ставьте ссылки на новые страницы с главной или хаб-страницы.
• ✦Считайте пинги бонусом для блогов, а не основным каналом.