Как сделать индексацию сайта в google

Обновлено: 06.07.2024

Каждый владелец сайта хочет, чтобы только что опубликованный контент побыстрее проиндексировался и оказался в ТОПе выдачи. Обычно процесс занимает время: сначала нужно ждать, пока он проиндексируется, потом, пока дойдет до хороших позиций в выдаче. Опускаются руки: хорошего ранжирования материала приходится ждать недели, а то и месяцы. Как ускорить индексирование и ранжирование, если терять время не хочется?

На этот вопрос основатель агентства Zyppy Цирус Шепард ответил в еженедельной рубрике Moz Whiteboard Friday, а редакция SEOnews перевела транскрипцию видео с его выступлением.

Индексирование

Используйте инструмент для проверки URL (бывший Fetch & Render)

Google сам предоставляет вебмастерам инструменты для ускорения индексации. Самый простой и быстрый из них – инструмент проверки URL в новом интерфейсе Search Console. Это – новый аналог Fetch&Render, оставшегося только в старой версии Search Console. С помощью URL Inspection Tool можно дать ссылкам приоритет в очереди Google на сканирование: Googlebot найдет и обработает их быстрее.

Файлы Sitemap

Если вы еще не используете файлы Sitemap, начните. Это – один из самых простых и быстрых способов проиндексировать страницу в Google. Добавляя ссылки в файл, вы, наверное, хотите, чтобы Google узнал, что они действительно там. Есть несколько техник, которые помогут оптимизировать этот процесс.

Первый и самый популярный способ – указать в robots.txt путь к файлам Sitemap. Просто пропишите в конце списка директив команду [Sitemap:] и укажите путь к файлу.

Google Indexing API

Относительно недавно Google представил Indexing API, который позволяет напрямую уведомить Google о добавлении, изменении и удалении страниц. С его помощью можно за раз обрабатывать тысячи URL.

Google позиционирует Indexing API как инструмент исключительно для работы со страницами с разметкой для вакансий и онлайн-трансляций. Однако SEO-эксперт Девид Соттимано поэкспериментировал с инструментом и выяснил, что на самом он работает для разных типов контента.

Другие советы по ускорению индексирования:

Константин Орешников, Product Owner сервиса Rookee:

Настраивайте правила автоматического добавления новых страниц в XML-карту и их обновление.
Добавляйте новые страницы на принудительную индексацию в Яндекс.Вебмастер и Google Search Console. Метод актуален для небольших сайтов. Если на сайт ежедневно выкладываются десятки–сотни страниц, вручную их добавить не получится.

Артур Латыпов, руководитель SEO Интеллект:

Индексирование и ранжирование

Инструменты, которые не только ускоряют индексирование, но и помогают контенту быстрее попасть в ТОП.

Ссылки с важных страниц

Опубликовав новый контент, убедитесь, что на него есть ссылки с важных страниц сайта – домашней, блога – любой страницы, которая хорошо ранжируется в поиске. Это основное, что нужно сделать: не бросать страницы без входящих ссылок.

Добавляя ссылки, вы сообщаете Google две вещи. Во-первых, что ссылку нужно добавить в очередь на сканирование. Во-вторых, что это – важная ссылка. Google поймет, что на новый контент ссылаются качественные страницы и будет лучше его ранжировать.

Старый контент

Пункт, о котором часто забывают – обновление старого контента. Стоит линковать не только новые страницы со старыми, но и старые с новыми.

Как понять, с каким старым материалом залинковать новый? Можно воспользоваться поиском по сайту или командой: site: [URL сайта + запрос], вбитой в поиске Google.

Соцмедиа

Очевидный пункт, который нельзя обойти стороной. Существует большая взаимосвязь между количеством репостов публикации в социальных сетях и ранжированием. Особенно полезно делиться статьями в агрегаторах контента, таких как Reddit: Google сканирует такие ссылки и анализирует активность на подобных сайтах. Такие внешние ссылки даже лучше перелинковок с собственным сайтом.

Константин Орешников, Product Owner сервиса Rookee:

Трафик страницы

До сих пор идут споры о том, является ли трафик сигналом для индексирования и ранжирования. Несмотря на это, техника работает раз за разом: сгенерируйте трафик на новую страницу, и она быстрее займет высокие позиции в поиске.

Артур Латыпов, руководитель SEO Интеллект:

Разнообразие источников трафика и внутренние метрики поведения по ним является фактором ранжирования. Количество трафика именно из поисковой системы так же является фактором ранжирования, где влияют как внешние поведенческие факторы, так и внутренние. Мы недавно как раз записали 2 видео по ПФ:

Первое – общее про ПФ, тут как раз можно узнать о трафике, как факторе ранжирования.

Второе – как влиять на внутренние и внешние ПФ.

Другие советы по ускорению индексации и ранжирования контента:

Константин Орешников, Product Owner сервиса Rookee:

Подключайте Турбо-страницы и AMP-версии, так вы получите значительный рост мобильного трафика.
Создавайте сразу качественные страницы, с контентом и корректной оптимизацией метатегов. Если сначала страница проиндексирована пустой, с непонятными метатегами, она может накопить негативную историю и это станет проблемой в дальнейшем.

Ранжирование

Предположим, что мы добились своего и контент проиндексирован. Как же теперь ускорить ранжирование?

Клики из поиска

Генерировать стоит не только трафик, но и переходы из поиска.

Стратегия позволяет увеличить CTR и лучше ранжироваться по предлагаемым запросам. Чем чаще запрос вводится в поиск, тем больше у него шансов попасть в автозаполнение.

Структура URL

В прошлом в Google говорили, что позиция URL в структуре сайта влияет на ранжирование.

Артур Латыпов, руководитель SEO Интеллект:

Заключение

Это – неполный список техник, которые позволят новым страницам быстрее индексироваться и ранжироваться. А какими способами, повышающими скорость индексации и ранжирования, пользуетесь вы?

Чтобы пользователи узнали о вашем сайте и, к примеру, совершили покупку или прочитали статью — он должен отображаться в поисковых системах, вроде Google и Яндекс. Для этого каждый ресурс проходит индексацию. Этот процесс отличается от ранжирования тем, что при индексации сайт просто попадает в базу данных поисковиков, а при ранжировании — встает на конкретное место.

Мы спросили мнение у экспертов в области веб-оптимизации и рассказали в статье о том, как происходит индексация сайтов и что делать, если ваши страницы не индексируются поисковиками.

Что значит индексация сайта и почему она важна

Эксперт Роман Огрин добавляет, что индексация — важный этап запуска любого проекта, на котором планируется активное SEO-продвижение или есть планы по развитию органического трафика. Исключения составляют рекламные форматы, вроде контекстной рекламы, — для них процесс индексации не является ключевым.

Для индексирования поисковик, например Яндекс или Google, отправляет на сайт роботов, они считывают код и регулярно посещают страницы ресурса. Периодичность зависит от того, как часто меняется контент, от количества страниц и объема трафика.

Как происходит индексация сайта

Анастасия Шестова, руководитель направления поискового продвижения в ИнтерЛабс, сравнивает индексацию с добавлением книги в библиотеку: когда определен жанр, автор и название книги, она занимает свое место в библиотеке, и читатель может ее найти. Поэтому индексацию сайта вернее рассматривать как двухэтапный процесс: сначала идет сканирование страниц, затем — их обработка.

Сканирование страниц

Сканирование страниц — это основная задача поискового робота. Когда он попадает на новую страницу, то получает два набора данных:

Содержание, информацию о сервере и служебные данные.
Перечень ссылок на страницах.

Затем робот передает данные в обработку, а после — сохраняет в базе. Самый простой способ индексации страниц в рамках домена — создание карты сайта sitemap.xml.

Чтобы Google и Яндекс увидели ваш сайт, нужно cначала добавить его в сервисы, а затем прикрепить ссылку на файл Sitemap в Google Search Console и Яндекс.Вебмастере. Это специальные сервисы для веб-мастеров, которые помогают работать с индексацией.

Обработка страниц

После сбора роботами информация проходит обработку и потом попадает в базу данных. Это необходимо для ускорения дальнейшего поиска.

В начале программа формирует страницу со всем содержимым: скрипты, эффекты, стили. Важно, чтобы робот имел полный доступ ко всем файлам, потому что без них индексатор не сможет понять структуру.

Затем робот анализирует текст страницы: упрощает слова и определяет частоту упоминания ключевого слова, проверяет уникальность. Так, если ваш контент уже индексировали в интернете, то у страниц будет низкая уникальность. Значит, робот может не добавить их в поисковый индекс. Поэтому важно наполнять свой сайт уникальным и полезным контентом.

Как проверить индексацию

Эксперты выделяют три способа, чтобы проверить, отображается ли сайт в поисковиках: запрос в поисковой системе, использование бесплатных сервисов для автоматической проверки и использование сервисов для веб-мастеров.

Если значения проиндексированных страниц в Google и Яндекс сильно различаются, это свидетельствует о проблемах в оптимизации сайта.

Поисковая строка

Но поисковые системы могут ограничить работу этих операторов для снижения нагрузки. Поэтому рекомендуют использовать дополнительные способы для проверки индексации.

Бесплатные плагины

Веб-сервисы Яндекс.Вебмастер и Google Search Console

Сергей Шабуров, руководитель группы оптимизации сайтов Kokoc Group, считает веб-сервисы поисковых систем самым достоверным источником информации о наличии страницы в индексе. В этих инструментах можно получить данные о количестве, динамике индексации, причинах удаления или включения страницы в базу данных, а также многое другое. Минус в том, что доступы к этой информации могут получить только владельцы сайта или те, у кого есть права владельцев.

Помимо простого анализа страниц в индексе, оба сервиса предоставляют много полезной статистики. Эта информация поможет сделать правильные выводы при проблемах с индексацией.

Например, посмотрите, совпадает ли количество проиндексированных страниц с количеством страниц вашего сайта. Если у вас 240 страниц, а в индексе только 100, это означает, что есть проблемы с индексацией, ведь поисковая система не знает о большей части контента.

Управление индексацией сайта

Вы можете сами задать параметры индексирования для роботов поисковых систем. Например, настройка канонического адреса необходима, если есть страницы с одинаковым содержанием. Она позволяет указать, какая из них приоритетна для индексации.

Текстовый файл robots.txt также позволяет управлять поисковыми роботами с помощью директив.

Директива Disallow закрывает сайт или конкретные страницы от индексации роботами.
User-Agent указывает поисковую систему для индексации по написанной инструкции.
Crawl-delay задает частоту обращения роботов к ресурсу. Работает для Яндекса.
Clean-param закрывает индексирование с конкретными динамическими параметрами.
Директива Allow разрешает роботам индексирование отдельных страниц.

Что делать, если сайт не индексируется

Есть множество причин, почему сайт не индексируется. Эксперт Сергей Шабуров условно разделяет причины на технические и контентные. Ниже рассмотрим основные из них с примерами из опыта специалистов.

Технические причины

Сайт может быть случайно закрыт от сканирования роботами или из-за ошибки разработчиков. Это можно определить, если проверить:

Контентные причины

Важно помнить, что индексация занимает некоторое время. Поэтому, если страницы нет в индексе, иногда это может значить, что роботы поисковых систем не успели до нее дойти. Либо есть ошибки в контентном наполнении страниц:

Отсутствие индексируемого контента. Контент может быть реализован на технологии, которую поисковые системы не умеют считывать или плохо воспринимают к индексации. Так векторная графика, например Flash, не индексируется.
Контент без пользы или вредный для пользователей. Сюда относят: спам, малый по объему контент, устаревшая информация, которая никогда не будет востребована, наличие вирусов, фишинга.
Дублирующийся контент. Поисковые системы стараются не индексировать или удалять из выдачи страницы, которые содержат повторяющуюся информацию.

«У нас была такая ситуация с кулинарной онлайн-школой. В Google сайт показал хорошие результаты уже в первый месяц работы и вышел в ТОП-3 по прямым запросам. Но в Яндексе страницы вообще отсутствовали.

Чтобы узнать причину, мы зарегистрировали сайт в Яндекс.Вебмастере и отправили на проверку. Результаты показали критическую ошибку. Дело было в том, что на ресурсе дублировались страницы. Владельцы школы публиковали для разных таргетологов страницы с одинаковым контентом, но разными ссылками. Яндекс видел в этом неуникальный контент и не индексировал страницы.

Иные причины

Сергей Шабуров, руководитель группы оптимизации сайтов Kokoc Group, приводит свежий пример из практики. «Сайт одного из российских операторов мобильной связи перестал ранжироваться по навигационному запросу: " тарифы" в Яндексе. В выдаче присутствовали побочные сайты, а ресурс оператора отсутствовал. Это неслыханная вещь, при учете, что целевая страница и все остальные были в индексе по данным Яндекс.Вебмастера. По данному запросу сайт должен был занимать как минимум несколько строчек поисковой выдачи. Проблема выявилась при переключении настроек поиска с умеренного фильтра на фильтр без ограничений.

Заключение

Без индексации пользователи не увидят ваш сайт даже при прямом поисковом запросе. Поэтому индексация — обязательный процесс для ресурсов, которым важен органический трафик.

Во время индексации роботы сканируют и обрабатывают информацию на страницах, заносят ее в специальную базу данных — поисковый индекс. Можно легко проверить, есть ли ваши страницы в поисковой выдаче, например, в Google. Самый надежный способ — использование сервисов для веб-мастеров: Яндекс.Вебмастер и Google Search Console.

Часто сайты, которые должны быть проиндексированы, все равно не попадают в поиск. В таком случае нужно проанализировать возможные технические и контентные причины. В редких случаях работы могут убрать ресурс из выдачи из-за ошибки на стороне поисковой системы или плохой истории домена.

Для чего служит индексация сайта в Google? Можно ли обойтись без индексации сайта в Google? Каковы инструменты проверки индексации сайта в Google? Можно ли ускорить индексацию сайта в Google? Какие ошибки могут привести к отказу в индексации в Google?
Генератор Продаж

Из этой статьи вы узнаете:

Для чего служит индексация сайта в Google
Можно ли обойтись без индексации сайта в Google
Каковы инструменты проверки индексации сайта в Google
Можно ли ускорить индексацию сайта в Google
Какие ошибки могут привести к отказу в индексации в Google

Почему так важна индексация сайта в Google

Квантовый компьютер можно представить в виде высокопроизводительной машины, в оперативной памяти которой будет содержаться вся информация, присутствующая в Интернете. После реализации такой идеи необходимость в индексации сайтов отпадет. Все новые ресурсы сразу после публикации будут попадать в память квантовой машины, а следовательно, их можно будет найти в поиске.

Все описанное выше является долгосрочной перспективой, а сейчас без индексации в Google не сможет эффективно работать ни один интернет-ресурс, кроме тех, которые рассчитаны на пользователей закрытых информационных пространств (Китай и Северная Корея).

Сложно представить, какой огромный объем данных находится сегодня во Всемирной паутине. Чтобы поисковые системы могли быстро находить нужные сведения, всю информацию необходимо четко структурировать и разместить в определенных ячейках. В каталогах поисковиков хранятся данные о каждой онлайн-странице всех сайтов, поэтому пользователи могут легко находить то, что их интересует.

Как происходит индексация сайта в Google

После посещения интернет-площадки роботы поисковой системы анализируют всю необходимую информацию и вносят ее в базу данных. Затем происходит ранжирование и определение авторитетности сайта (сортировка по установленным критериям – PageRank). Эти показатели рассчитываются исходя из количества и качества ссылок, которые ведут на него с других веб-страниц. Чем больше ссылочной массы, тем выше PageRank.

Рассмотрим основные факторы, влияющие на индексацию сайта в Google:

посещаемость;
релевантность контента (соответствие информации, представленной на сайте, запросам, которые интернет-пользователи вносят в поисковик) обеспечивается с помощью определенного количества ключевых слов в контенте и метатегах;
внутренняя оптимизация страниц сайта.

Индексация осуществляется с помощью Googlebot, который и осуществляет сканирование.

У каждой поисковой системы есть свои программы ботов, осуществляющие проверку сайтов на предмет релевантности и качества представленного на них контента. При этом стандарты работы таких роботов постоянно совершенствуются. Нужно отметить, что разработчики не открывают полностью суть алгоритмов индексации, поэтому специалисты постоянно анализируют поисковые программы и на основании имеющихся практических данных формируют определенные выводы.

Рекомендуемые статьи по данной теме:

Нужно уделять больше внимание качеству контента (уникальность, полезность и грамотность). Программные и орфографические ошибки четко отслеживаются ботами и снижают индекс авторитетности сайта.
Интернет-площадки должны иметь понятную структуру. Важно, чтобы они были удобными для пользователей и содержали важную и ценную информацию.
Следует качественно проработать страницы контактов и обратной связи, разместить портфолио и отзывы, а также описать имеющиеся достижения.
На сайте нужно разместить работающие исходящие ссылки.
Контент на интернет-площадках должен постоянно обновляться, а их функционал следует дорабатывать с учетом различных нововведений и инноваций. Все это учитывается поисковиками при ранжировании сайтов.

Yandex указывает сайты, для которых необходима привязка по региону:

Важным нововведением 2018 года является замена показателя ТИЦ (индекс цитирования) на ИКС (индекс качества сайта). Новый показатель необходимо учитывать при продвижении ресурса.

Как проиндексировать сайт в Google

Этапы регистрации сайта в Google:

Если все описанные выше шаги выполнены правильно, то ресурс уже будет добавлен в поисковик. Происходит индексация сайта в Google бесплатно, но этот процесс занимает от 7 дней до 3 недель.

Как проверить индексацию сайта в Google

Применяйте поисковые операторы (специальные символы, добавляемые к запросам).

Применяйте плагины и JavaScript-программы, сохраняемые как закладки браузера (букмарклеты).

С помощью таких инструментов можно выполнять проверку индексации в автоматическом режиме. Вам не придется открывать отдельно поисковую систему и вводить запросы в строку поиска.

Устанавливайте специальные сервисы, проверяющие индексацию.

Такие инструменты значительно облегчают работу SEO-специалистов. Подобных сервисов достаточно много, к примеру связка Netpeak Spider и Netpeak Checker.

С помощью первого инструмента выполняется сканирование. При этом можно получить не только сведения о количестве страниц, прошедших индексацию в Google, но и другие полезные сведения: каноникал, код ответа, название, заголовки, метаописания, мета robots, robots.txt, переходы, ссылки и т. д. Кроме того, Netpeak Spider уведомляет о наличии ошибок в таких данных.

После получение перечня всех URL его можно ввести в Netpeak Checker и выполнить проверку индексации поисковиками.

Проверка индексации сайта в Google может выполняться с помощью следующих инструментов:

Как ускорить индексацию сайта в Google

Индексация сайта в Google, проверить которую позволяют инструменты, описанные в предыдущем разделе, может быть ускорена разными способами:

1. Создание Sitemap.

2. Предоставьте Google Indexing Tool свою карту сайта.

3. Используйте Google Analytics.

4. Зарегистрируйте сайт в поисковых системах.

5. Сделайте внутреннюю перелинковку.

Чтобы индексация сайта прошла быстрее, стоит провести внутреннюю перелинковку страниц ресурса. Как было отмечено ранее, поисковые боты для перемещения в Интернете используют ссылки. Таким образом, если страницы связаны ссылками, то робот посетит их автоматически. Веб-мастер должен убедиться, что все наиболее важные страницы сайта перелинкованы друг с другом. При правильно организованной структуре ресурса внутренняя перелинковка происходит естественным путем. Для получения более высоких результатов по индексации сайта нужно связать друг с другом как можно больше страниц, поэтому, как только происходит публикация нового контента, не забывайте добавить в него несколько ссылок на другие записи.

6. Своевременно публикуйте качественный и уникальный контент на сайте.

Важно также уделять внимание регулярному появлению на сайте нового материала. Чем чаще это происходит, тем чаще поисковые боты будут посещать ваш ресурс, а значит, увеличится скорость индексации. Стоит создать план появления новых публикаций (1 раз в 3 дня или 2 раза в неделю) и строго придерживаться его. Соблюдение такого графика может увеличить скорость индексации в несколько раз. Поисковые боты будут строго по расписанию посещать сайт для поиска нового контента.

В погоне за количеством публикаций не стоит забывать о качестве. Низкокачественный контент отрицательно отражается на индексации страниц сайта. Наиболее негативно влияют на этот процесс такие факторы, как:

копирование статей с других ресурсов;
публикация материалов с большим количеством орфографических и других ошибок;
добавление текстов, перенасыщенных ключевыми словами.

На скорость индексации сайта в Google оказывает влияние и размер публикуемых статей. Их объем должен быть не менее 1,5 тыс. знаков при уникальности от 80–90 %. В каждой статье должна быть хоть одна картинка.

7. Добавьте URL страницы вручную.

8. Создавайте и обновляйте свои социальные профили.

Чтобы ускорить индексацию сайта в Google и улучшить поведенческие факторы интернет-ресурса, для посещения любой страницы нужно сделать не больше трех переходов от главной.

10. Добавьте кнопки социальных сетей на сайт.

Для упрощения публикации ссылок на новые материалы в соцсетях следует установить на сайте кнопки таких сетей. Кроме того, посетители ресурса будут пользоваться такими кнопками, что увеличит посещаемость интернет-площадки.

11. Разместите ссылки на новую страницу на внешних ресурсах.

Процесс индексации сайта в Google можно ускорить с помощью наполнения блога, публикации статей, пресс-релизов, постов пользователей и других видов линкбилдинга.

12. Создайте RSS-канал.

Это еще один простой способ уведомления поисковиков об обновлениях сайта, но сегодня этот инструмент считается устаревшим. Тем не менее RSS-канал помогает передать поисковым системам сведения о новом материале сразу же после его появления на сайте.

13. Отслеживайте ошибки индексации (о них будет рассказано ниже).

Достаточно сложно избежать ошибок, мешающих индексации сайта в Google. Часто они связаны с внесением значительных изменений в структуру сайта – с добавлением/удалением и перемещением различных страниц.

Для отслеживания ошибок используется Google Search Console.

Теперь вы знаете о многих методах ускорения индексации сайта в Google. Стоит отметить, что некоторые способы помогут привлечь целевую аудиторию на вашу площадку.

Почему не индексируется сайт в Google

Причины могут быть разными. Рассмотрим наиболее часто встречающиеся:

Проблемы с индексаций сайта в Google могут возникнуть также под влиянием следующих факторов:

дубли страниц;
недостаточный процент уникальности контента;
затрудненный доступ к страницам и длительное время их загрузки.

Часто проблема заключается не в самой индексации, а в методах оптимизации сайта. Чтобы ваш ресурс быстро индексировался в Google, нужно лучше конкурентов удовлетворять запросы пользователей. При таком подходе все, что описано в этом материале, понадобится только для фиксации качественного результата.

Как отключить индексацию сайта в Google

Нужно отметить, что посещение и сканирование станиц ресурса роботами не может быть гарантией их попадания в индекс. В некоторых случаях стоит закрывать определенные страницы от индексации (к примеру, URL с техническими GET-параметрами, служебные файлы и материалы посетителей).

Быстрое индексирование страниц — это хорошо. Чем быстрее страница займет место в выдаче поисковой системы, тем быстрее ее смогут увидеть пользователи. А также эта страница с большей вероятностью будет считаться первоисточником контента, который на ней находится.

К сожалению, нельзя точно сказать, когда боты поисковых систем просканируют страницу и она появится в выдаче — это зависит от размера и оптимизации сайта.

Частые проблемы с индексацией сайта в ПС

Если роботы и Яндекса, и Google игнорируют страницы сайта, нужно убедиться, что ботам не запретили обход. Проверьте настройки хостинга и файл robots.txt — там не должно быть запрета на индексацию.

Если приходится долго ждать индексации новых страниц, вариантов может быть много: контент редко обновляется и поэтому боты редко его посещают, страницы не оптимизированы, не участвуют в перелинковке или что-то еще.

Посмотреть динамику индексации страниц и наличие фильтров можно в Анализе сайта:

Индексация и санкции ПС в Анализе сайта

Итак, если страницы не индексируются, то проверьте ограничения, если игнор от одного из ПС, то возможны санкции, а если индексирование идет, но долго, это повод попытаться его ускорить. Посмотрим, что можно сделать.

Как ускорить индексацию страниц

Представитель Google Джон Мюллер на вопрос об индексировании ответил так:

Создавайте превосходный контент, а если ваш контент плохо индексируется, то он недостаточно превосходный :) Это все, конечно, хорошо, но давайте посмотрим, что конкретно можно сделать, чтобы ускорить процесс.

Можно дополнительно обратить внимание поисковиков на конкретные URL. В Google Search Console и Яндекс.Вебмастер найдите переобход страниц и отправьте нужные URL на индексацию.

В Яндекс.Вебмастере это раздел Индексирование — Переобход страниц. В консоли Google это Инструмент проверки URL.

Проверить разрешения в robots.txt

В файле robots.txt веб-мастер прописывает рекомендации для поисковых ботов Яндекса и Google. Можно запретить ботам посещать некоторые страницы, для этого есть директива "disallow", "nofollow", можно использовать мета-тег "noindex" или "none". Тогда при следующем посещении сайта бот увидит запрет и может к нему прислушаться. А может и не прислушаться.

Как говорит Ксения Пескова, SEO-TeamLead в Siteclinic:

В любом случае, лучше проверить файл robots, вдруг там стоят запреты, к которым прислушались боты поисковых систем.

Создать Sitemap — Карту сайта

Карта сайта помогает поисковым ботам понять структуру ресурса и обнаруживать обновления контента.

Для ускорения индексации карту можно сделать динамической, то есть по мере создания новых страниц она сама будет обновляться. Для проектов на конструкторах сайтов, например, на WIX и Tilda, карта по умолчанию динамическая, для других CMS есть плагины и отдельные сервисы. К примеру, на Wordpress с этой задачей справится All in One SEO Pack.

Можно обновить файл Sitemap вручную. Обновленные страницы Google рекомендует отметить в Карте тегом . Обновленный файл отправьте с помощью специального отчета. Не стоит загружать один и тот же файл повторно: если вы ничего не поменяли в Карте сайта, никаких изменений не будет.

Но опять же, ссылки в Карте сайта — это рекомендации, важнее создать грамотную структуру сайта и организовать внутреннюю перелинковку.

Проверить структуру и перелинковку разделов

На сайте не должно быть страниц, оторванных от других. Если на страницу не ведут ссылки с категорий, разделов и других страниц, поисковикам сложнее определить ее релевантность и неоткуда перейти на нее для сканирования. Такие страницы называют сиротами.

Нужно встроить их в структуру сайта. К примеру, в этой схеме каждая страница имеет ссылку с родительской категории, но они вполне могут линковаться и между собой:

Упрощенный пример структуры сайта, подходит для меню

Еще один момент, который влияет на поведение бота — это Click Distance from Index (DFI), то есть количество кликов от главной до текущей страницы. Чем оно меньше, тем важнее считается страница, тем больший приоритет она получит с точки зрения бота. Приоритетные страницы он смотрит первее остальных.

Если страница не индексируется, проверьте ее расположение в структуре сайта и количество кликов до нее с главной.

Взять за правило обновлять контент

Поисковики ценят, когда веб-мастер следит за актуальностью контента, исправляет его и добавляет что-то новое. Регулярно обновляющийся сайт бот будет чаще сканировать. Чем реже обновлять контент, тем реже боту понадобится его перепроверять.

Сотрудник Google советовал добавлять на страницу видео с Youtube, если странице нечего добавить и содержание еще актуально. Поведенческие улучшатся за счет просмотра видео, на странице появится новый формат контента — это тоже хороший сигнал для поисковика.

Публиковать ссылки в соцсетях и на других площадках

Если вы ведете страницы в социальных сетях, размещайте на них анонсы ваших новых материалов. С помощью разметки OpenGraph можно задать ссылке красивое превью с нужной картинкой и заголовком, и получить переходы пользователей на страницу.

Превью поста с сайта на Фейсбуке

Ускорить загрузку сайта

Ограничивать индексацию может долгий ответ сервера. По словам Джона Мюллера из Google, сли в среднем это время составляет больше одной секунды, Google не будет сканировать столько страниц, сколько мог бы.

Медленная загрузка страниц вредит им по всем параметрам: пользователи не ждут, ПС считают некачественными, могут даже понизить сайт в выдаче, если сайт в принципе медленный.

Фрагмент анализа сайта

Многие функции сервиса и графики доступны на платных тарифах Анализа, но вы можете попробовать неделю бесплатно и оценить все возможности.

FAQ: что еще влияет на скорость индексации сайта

Как страницы вне индекса могут повлиять на отношение поисковика к сайту?

Качество контента на сайте поисковики оценивают только по проиндексированным страницам.

Тег noindex может влиять на индексацию страницы после его снятия?

По словам Джона Мюллера из Google, у веб-мастера не будет проблем с реиндексацией URL, на которых когда-то был noindex.

Как редирект влияет на индексацию страниц?

Джон Мюллер утверждает, что поисковик скорее всего не проиндексирует конечный URL при использовании ссылок с 301 редиректом.

Как ускорить индексацию страниц, которые были 404?

Если адрес страницы отдавал 404 и не был индексирован, на индексирование может потребоваться некоторое время. Как советуют Seroundtable, можно создать новый URL для этого контента и настроить 301 редирект со старого адреса, либо запросить повторное сканирование URL.

Как поисковики относятся к URL c хэшами?

Расскажите в комментариях, что мы упустили в материале, какие способы ускорить попадание в индекс используете вы.

Читайте также: