Как сделать карту сайта

Обновлено: 07.07.2024

Глава отдела контента в Ahrefs (проще говоря, я отвечаю за то, чтобы каждый пост в блоге был КРУТЫМ).

Статистика статьи

Показывает, сколько различных веб-сайтов ссылаются на этот контент. Как правило, чем больше сайтов ссылаются на вас, тем выше вы ранжируетесь в Google.

Показывает ежемесячный рассчетный поисковый трафик на эту статью по данным Ahrefs. Фактический поисковый трафик (по данным Google Analytics) обычно в 3–5 раз больше.

Количество ретвитов этой статьи в Twitter.

Так же, как вам может быть сложно найти новую дорогу без карты, Google может быть сложно найти все страницы на вашем сайте без карты сайта.

Изучив основы, мы подробно рассмотрим, как это сделать.

Что такое карта сайта (файл Sitemap)?

Карта сайта (файл Sitemap) — это XML-файл, в котором перечислен весь важный контент вашего сайта. Все страницы или файлы, предназначенные для ранжирования в поисковиках, должны быть указаны в карте сайта.

В картах сайта нельзя перечислять больше 50 000 ссылок, а их размер не должен превышать 50 МБ. Если содержимое файла Sitemap превышает один или несколько этих показателей, придется разбить его между несколькими картами.

Как выглядит sitemap.xml?

Sitemap.xml создается для поисковиков, а не людей. Он может выглядеть немного пугающе, если вы видите его впервые.

Объявление XML

Эта строка сообщает поисковикам, что он имеет дело с XML-файлом. Здесь также указывается версия XML и используемая кодировка. Для карты сайта следует указать версию 1.0 и кодировку UTF‑8 (UTF‑8 использовать обязательно).

URL set

Это хранилище всех URL-адресов в карте сайта. Эта строка также сообщает краулерам, какой стандарт протокола используется. Большинство карт указывают стандарт Sitemap 0.90, поддерживаемый Google, Yahoo и Microsoft.

Это родительский тег для каждой записи URL-адреса. Вы должны указать расположение URL-адреса во вложенном теге . Что особенно важно, необходимо использовать абсолютные URL-адреса, не относительными и каноническими.

Несмотря на то, что это единственный обязательный тег, у него могут быть дополнительные свойства:

— указывает дату последнего изменения файла. Она должна быть в формате W3C Datetime. Например, если вы обновили публикацию 25 сентября 2019 года, в атрибуте будет указано значение 2019-09-25. Дополнительно можно еще указать время.

Ни один из этих дополнительных тегов не особо важен для SEO.

Гэри Илш из Google утверждает, что они в основном игнорируют значение тега , поскольку в большинстве случаев “вебмастера совершенно не стараются следить за его точностью”. Это и неудивительно, ведь большинство генераторов карт сайтов устанавливают значение этого тега для всех страниц по текущей дате, а не по дате последнего изменения файла.

в Google, по их словам, игнорируется, потому что это просто “лишний шум”.

Относительно тега Джон Мюллер говорит так: “Приоритет и изменение частоты на самом деле больше не играют такой большой роли, когда речь идет о карте сайта” .

Зачем вам нужна карта сайта?

Google обнаруживает новый контент, сканируя веб-страницы. Когда он сканирует страницу, то обращает внимание и на внутренние, и на внешние ссылки на эту страницу. Если обнаруженный URL-адрес не содержится в их поисковом индексе, они могут спарсить по нему контент и проиндексировать его, если это целесообразно.

Но таким образом Google не сможет найти весь контент. Если на страницу нет ссылок с других уже известных ему страниц, он ее вряд ли найдет ее.

Вот тут-то и вступает в игру карта сайта.

Карта сайта сообщает Google (и другим поисковикам), где найти наиболее важные страницы сайта, чтобы они могли их просканировать и проиндексировать. Это важно, потому что поисковики не могут ранжировать контент, предварительно не проиндексировав.

Как создать карту сайта

Некоторые CMS сгенерируют карту сайта для вас. Она будет обновляться автоматически, когда вы будете добавлять или убирать страницы и посты на вашем сайте. Если ваша CMS этого не делает, скорее всего вы можете установить для нее соответствующий плагин, который это умеет.

Создание карты сайта в WordPress

Хоть на WordPress и работает 35,5% всех сайтов, эта CMS сама не генерирует карту сайта. Чтобы создать ее, вам понадобится плагин наподобие Yoast SEO.

Чтобы установить Yoast SEO, перейдите в консоль WordPress.

Выберите пункт Плагины > Добавить новый.

Найдите “Yoast SEO”.

Перейдите в раздел SEO > Общие > Возможности и убедитесь, что “XML-карта сайта” включена.

Если вы хотите четко указать, какие типы контента (страницы тегов, категорий и т. д.) включить или исключить из вашей карты сайта, перейдите в раздел настроек “Отображение в поисковой выдаче”.

Вы также можете исключить отдельные посты или страницы в редакторе с помощью поля “Дополнительно”.

ВАЖНО. Исключайте из карты сайта только те страницы, которые не должны отображаться в результатах поиска.

Создание карты сайта в Wix

К сожалению, у вас практически нет возможностей контролировать, какие страницы включаются в карту сайта. Если вы хотите исключить страницу, перейдите на вкладку настройки “SEO (Google)” на нужной странице и отключите параметр “Show this page in search results” (Отображать эту страницу в результатах поиска).

Отображать эту страницу в результатах поиска

Стоит отметить, что таким образом на страницу добавляется мета-тег noindex, который исключает ее из показа в результатах поиска.

Если вы добавите каноникал на другой URL-адрес в Wix, то неканонический URL-адрес не будет удален из карты сайта. Хоть это и не повлияет на большинство пользователей, включение неканонических страниц в файле sitemap — не лучшая практика, а также неоднозначный сигнал для Google.

Создание карты сайта в Squarespace

Ручное редактирование карты сайта в Squarespace невозможно, но вы можете исключить (используя тег noindex) страницы из выдачи поисковиков на вкладке “SEO”.

Скрыть страницу в результатах поиска

Такие страницы будут также исключены из вашей карты сайта.

Создание карты сайта в Shopify

К сожалению, легкого способа исключить страницу из индекса в Shopify не существует. Вам придется напрямую редактировать файлы .liquid.

Создание карты сайта без CMS

Если на вашем сайте около 300 страниц или менее, установите бесплатный краулер Screaming Frog.

После установки откройте раздел Mode > Spider.

Вставьте URL-адрес главной страницы в поле с подписью “Enter URL to spider”.

Убедитесь, что используете каноническую (главную) версию стартовой страницы. Если вы этого не сделаете, Screaming Frog просканирует только один URL-адрес.

Когда сканирование завершится, обратите внимание на нижний правый угол.

Найдите похожую строку:

Если указанное число не превышает 499, перейдите в раздел Sitemaps > XML sitemap.

Поскольку для Google теги , и

являются несущественными, мы рекомендуем не включать их в файл sitemap.xml.

Нажмите “Next” (Далее) и сохраните файл sitemap на компьютере. Готово.

Если в строке указано значение “500 из 500”, то нет смысла экспортировать файл sitemap. Почему? Потому что вы достигли лимита сканирования для вашего сайта, а это значит, что в экспортированном файле sitemap может не быть сотен страниц, что делает его непригодным для использования.

Один из способов решить эту проблему — подобрать другой бесплатный генератор карты сайта. Их очень много.

К сожалению, большинство таких генераторов ненадежны.

Мы протестировали некоторые из наиболее популярных генераторов и обнаружили, что многие из них включают в карту сайта неканонические URL-адреса, неиндексируемые страницы и редиректы. Для SEO это плохо.

Где же найти решение?

Если Screaming Frog не смог просканировать весь ваш сайт, просканируйте его с помощью инструмента Аудит Сайта Ahrefs.

Как только сканирование завершится, перейдите в Page Explorer и добавьте следующие фильтры.

Нажмите Export > Current table view.

Откройте экспортированный CSV-файл, а затем скопируйте и вставьте все URL-адреса из столбца URL в этот инструмент.

Полученный файл будет готовой картой вашего сайта.

Для начала вам нужно узнать, где находится карта сайта.

Вы можете выбрать любое имя для карты сайта, но наилучшей практикой будет придерживаться названия sitemap.xml. Если у вас несколько карт, можно использовать простую схему именования, например, sitemap_1.xml, sitemap_2.xml.

Хорошей практикой является добавление URL-адресов файлов sitemap в файл robots.txt.

Вы можете найти этот файл в корневом каталоге вашего веб-сервера. Чтобы добавить URL-адрес файла sitemap, откройте файл robots.txt и вставьте следующую строку:

URL-адрес из примера необходимо заменить на URL-адрес вашей карты сайта.

Если у вас несколько карт, добавьте такую строку для каждой из них.

Исправление основных ошибок веб-сайта, которые влияют на карту сайта

Google Search Console сообщает вам о большинстве технических ошибок, относящихся к карте сайта.

Например, в этом предупреждении сообщается, что один из отправленных URL-адресов заблокирован в robots.txt:

Вы можете больше узнать об этих проблемах и способах их решения здесь.

Однако существуют проблемы, о которых Google вам не сообщит.

Ниже приведены две наиболее распространенные такие проблемы, а также способы их выявления и устранения.

Бесполезные страницы низкого качества в вашей карте сайта

Каждая страница в вашей карте сайта должна быть индексируемой и канонической.

К сожалению, это не означает, что все эти страницы высокого качества. Если у вас много контента, скорее всего в вашей карте найдется несколько страниц низкого качества.

Например, эти две страницы в интернет-мазагине:

Ни одна из них не несет ценности для пользователя, но все же они находятся в карте этого сайта, и Google проиндексировал обе из них.

Чтобы найти эти страницы, перейдите в раздел Site Audit (Аудит сайта) > Duplicate content

Ищите кластеры дублированных или частично дублированных (в большую сторону) страниц без каноникалов. Они представлены оранжевыми квадратиками. Щелкните по одному из них, чтобы увидеть все страницы из этой группы.

Проверьте эти страницы, чтобы понять, представляют ли они какую-либо ценность.

Держать на сайте страницы низкого качества плохо по трем причинам:

• Они впустую расходуют краулинговый бюджет. Заставлять Google терять время и ресурсы, сканируя бесполезные страницы низкого качества — не лучшая идея. Он бы мог посвятить это время сканированию более важного контента. (Во избежание недоразумений: Googleутверждает, что краулинговый бюджет — это не “что-то, о чем большинству издателей стоит беспокоиться”.)
• Они “крадут” авторитетность ссылки у более важных страниц. Существует явная корреляция между авторитетностью страниц и их позициями в выдаче. Внутренние ссылки на страницы низкого качества снижают авторитетность, которая могла бы перетекать на более важные страницы. (Что примечательно, когда мыудалили почти ⅓ постов из блога Ahrefs, мы заметили увеличение трафика, а не его снижение.)
• Они приводят к плохому взаимодействию с пользователем. Никакой пользы при посещении этих страниц пользователи не получают, и они могут сразу уйти, если решат, что ваш сайт низкого качества или вообще заброшен.

Подводя итог, лучший план действий — это удалить страницы низкого качества с вашего сайта и, следовательно, из карты сайта. Если вы это сделаете, стоит помнить, что нужно также удалить все внутренние ссылки на эти страницы. Если вы об этом забудете, то вместо одной проблемы (низкокачественные страницы) вы приобретете другую (битые ссылки).

Помимо дубликатов и неполных дубликатов, вы можете поискать страницы с бесполезным контентом.

Просто проверьте отчет “On-Page” в инструменте “Аудит сайта” для страниц с предупреждением о малом количестве слов (Low word count).

Если вы использовали любые из указанных ранее методов генерации карты сайта, то в нее не попадут страницы с тегами noindex или canonical (не ссылающиеся на себя).

Это хорошо. Не стоит включать неканонические URL-адреса или неиндексируемые страницы в карту сайта.

Таким образом, если у вас на сайте есть некорректные теги noindex, страницы могут быть исключены по ошибке.

Чтобы проверить веб-сайт на наличие таких ошибок, воспользуйтесь отчетом “Indexability” (Индексируемость) в инструменте “Аудит сайта”. Обратите внимание на предупреждения “Noindex page” (Неиндексируемая страница), указывающие на все неиндексируемые страницы.

Большая их часть, скорее всего, будет исключена из индекса специально, однако этот список стоит перепроверить. Обычно некорректные теги noindex легко заметить, поскольку они будут касаться целого подраздела вашего сайта.

Если вы видите страницы, которые все же должны быть проиндексированы, удалите тег noindex со страницы и добавьте ее в вашу карту. Если вы используете CMS или плагин, добавление должно произойти автоматически.

Стоит проверить сайт на некорректные каноникалы и редиректы. Чтобы это сделать, перейдите в Page Explorer и используйте такие фильтры:

Проверка некорректных каноникалов.

Проверка некорректных редиректов.

Удалите некорректно указанные каноникалы и редиректы, затем добавьте затронутые страницы в вашу карту сайта.

Вопросы и ответы

Нужна ли карта сайта для страниц AMP?

Для AMP-страниц карта сайта не нужна — ссылки rel=amphtml будет достаточно.

Как создать карту сайта для проекта электронной коммерции?

Карта для сайта электронной коммерции создается так же, как и для любого другого. Однако, в таких проектах стоит уделить особое внимание проверке страниц на дубликаты или неполные дубликаты, поскольку они часто проскальзывают сквозь пальцы в больших количествах из-за фасетной навигации.

Заключение

Создание карты сайта это вам не бином Ньютона, особенно если вы используете плагин, который все делает вместо вас. Не так уж сложно и создать карту с нуля — просто просканируйте сайт и отформатируйте список URL-адресов.

Важно помнить, что Google не должен индексировать страницы в вашей карте сайта, а также то, что карта сайта никак не взаимосвязана с ранжированием.

302

В этом путеводителе мы рассмотрим следующие вопросы:

Что такое Sitemap ?

Это файл, который содержит в себе перечень ссылок на все важные страницы сайта. То есть, этот документ направляет поисковые системы на основной контент на сайте.

Для чего нужна карта сайта

Сайтмап нужен, если у сайта есть проблемы с индексацией, которые вызваны:
1) большим количеством страниц;
2) отсутствием ссылок (внутренних или внешних) на страницы;
3) глубокой вложенностью на сайте (запутанной структурой).

HTML vs XML-карта сайта

Карты сайта бывают следующих типов:

Самое простое объяснение разницы между этими форматами в том, что XML-карта в первую очередь предназначена для поисковых систем, а HTML – для пользователей.

HTML-карта – это всего лишь общий обзор сайта, содержит только информацию и страницы, которые нужно видеть пользователям. Если вы находитесь на сайте и ищете определённый раздел, при переходе на Sitemap HTML легко его найдёте. Несмотря на то, что такой тип карт сайта ориентирован на пользователя, он также может помочь вашему ранжированию в поисковых системах. Это одно из свидетельств того, что вы заботитесь об удобстве сайта для пользователя.

При составлении HTML-карты сайта важно учитывать:

1. Структурированное содержание.

Карта сайта должна быть понятна и удобна для восприятия пользователя. Желательно, чтобы она включала в себя разделы, категории, подкатегории и т. д.

2. Анкоры ссылок.

В отличие от XML-карты, каждая ссылка должна иметь название, чтобы пользователям было понятно, на какую страницу они перейдут.

3. Ссылка на карту сайта должна быть доступна на всех страницах сайта. Обычно её размещают в футере страницы.

Протокол XML-карты сайта предназначен для поисковых роботов. XML-файл содержит в себе информацию о том, когда последний раз обновлялся URL-адрес, насколько это важно и как часто происходят изменения.

Обычно Sitemap состоит из следующих XML-тегов:

Обязательные:
– определяет стандарт протокола и инкапсулирует этот файл.
– содержит в себе информацию о URL-адресе (является родительским тегом).
– содержит абсолютный URL-адрес.

Необязательные:
– указывает дату последнего изменения файла.
– указывает частоту смены файла.

– указывает на значимость документа на сайте. Диапазон значений: от 0,1 до 1,0 (по умолчанию 0,5).

Не устанавливайте для каждого URL-адреса слишком частую смену файла и максимальный приоритет. Если метки частоты и приоритета не отражают реальность, вероятнее всего, поисковые системы будут более склонны игнорировать всю карту XML.

Другие форматы Sitemap

Помимо вышеперечисленных карт сайта, поисковые системы также поддерживают следующие форматы:

Для Google:
— RSS, mRSS и Atom 1.0;
RSS / Atom фиды должны содержать последние обновления вашего сайта. Обычно они небольшие и часто обновляются (что является плюсом).
— Сайты Google.
Для сайтов, созданных на платформе Google Сайты, Sitemap создаётся автоматически, и внести какие-то изменения невозможно.

Для Google и Яндекс:
— текстовый формат (TXT).
Файл должен быть в кодировке UTF-8 и состоять только из URL-адресов.

Требования Google и Яндекса к файлам Sitemap

Общие рекомендации поисковых систем:

1. Используйте кодировку UTF-8.
2. Максимальное количество URL – 50 000.
3. Ссылки в сайтмапе должны быть на том же домене, что и файл.

Хотя это очевидная рекомендация, на практике встречаются случаи, когда у владельца несколько сайтов, и при переносе шаблона с файлом Sitemap, последний забывали заменить на актуальный.

4. Если файл слишком большой, разделите его на несколько и укажите их в файле индекса Sitemap.
5. Ответ сервера при обращении к файлу должен быть 200 ОК.
6. Указывайте только канонические адреса страниц (без GET-параметров и идентификаторов сессий).

Отличия:

Рекомендации Яндекса к файлу:

1. Максимальный размер – 10 МБ.
2. Поддерживает кириллические URL.

1. Максимальный размер – 50 МБ.
2. Поддерживает только цифры и латинские буквы.

Распространённая ошибка: чтобы уменьшить требования к пропускной способности канала, используют архиватор gzip. Размер сайтмапа должен быть 50 МБ (10 МБ) до сжатия, а не после.

Совет: русские доменные имена можно преобразовать с помощью кодировки Punycode.

Как создать XML Sitemap

1. Чтобы создать карту сайта, в первую очередь нужно определить канонические адреса, которые будут добавлены в файл.

2. Определить, какой формат файла будете использовать.

3. Создать файл можно вручную или, воспользовавшись генератором Sitemap.

Google в своей справке подготовил список онлайн и десктопных, платных и бесплатных генераторов карт сайта. Ознакомиться со всем списком можно, перейдя по ссылке.

Сгенерировать Sitemap проще, чем кажется. Разберём, как сгенерировать сайтмап, на примере деcктопного приложения Majento:

3. Сохраняем в нужном нам формате.

4. Карта сайта готова.

Из online-генераторов XML-карты сайта заслуживает внимания XML Sitemap Generator.

Расширенные возможности этого сервера позволяют установить определённые XML-теги, включить/исключить нужные документы.

Исключить ненужные страницы можно и с помощью регулярных выражений.

XML-карта для изображений

Google поддерживает расширенный синтаксис для изображений. Для этого вы можете создать отдельную карту сайта для изображений или добавить синтаксис в существующую. Использование расширенного синтаксиса в Sitemap предоставляет поисковой системе дополнительную информацию об изображениях на сайте. Также это может помочь Google обнаружить и проиндексировать изображения, которые он не может найти при сканировании сайта.

Как и в обычной карте сайта, есть обязательные и необязательные XML-теги.

Обязательные:
– аналогично тегу содержит в себе URL изображения и дополнительную информацию.
– URL изображения.

Необязательные:
– подпись к изображению.
– место съёмки фотографии.
– название изображения.
– URL-лицензии изображения.

XML-карта для видео

Ещё один расширенный синтаксис, который поддерживает Google, – XML-карта для видео.

Плюсы добавления XML-тегов для видео:

1) даёт понять Google, какой контент на сайте;
2) даёт возможность предоставить детальное описание к файлу;
3) станет доступным для поиска в Google Видео;
4) в поисковой выдаче будет отображаться заставка видео (может повысить количество переходов из поисковой выдачи).

Карта сайта для видеофайлов состоит из следующих обязательных элементов:

– содержит URL-адрес страницы, на которой размещено видео; если на одной странице размещено более одного видео, не нужно каждый раз создавать тег , достаточно в одном теге несколько раз прописать для каждого видео на странице.
– включает в себя всю информацию о видео.
– URL к миниатюрному изображению (заставке) к видео. Рекомендованные размеры: от 160×90 пикселей до 1920×1080. Форматы изображения: .jpg, .jpg, or. gif
– заголовок, который должен совпадать с названием страницы, на которой отображается видео.
– описание видео. Должно соответствовать с метаописаниями страницы. Максимальное количество символов – 2048.

Заголовок и описание видео должны быть экранированы или упакованы в блок CDATA.

Со всеми XML-тегами карты сайта для видео можно ознакомиться в справке Google.

Где разместить карту сайта

Мы рекомендуем размещать XML-карту в корневом каталоге сайта. Ссылку на сайтмап нужно указать в файле robots.txt.

Добавить и проверить Sitemap в Yandex.Webmaster

Чтобы сообщить роботу Яндекса о наличии карты сайта, добавьте её в панель Яндекс.Вебмастера:

2. Укажите ссылку на сайтмап.

4. Ниже будет отображаться список со всеми добавленными файлами.

Прежде чем добавить файл, рекомендуем проверить его на наличие ошибок:

2. Укажите URL, загрузите файл или просто добавьте текст.

Добавить и проверить файл в Google Search Console

При возникновении ошибок или предупреждений, Google сообщит об этом в соответствующей панели.

Распространённые заблуждения о Sitemap

Заключение

Файл Sitemap – полезный инструмент для передачи поисковым роботам информации о структуре сайта. Используйте это руководство, чтобы понять, как работает карта сайта, как она устроена, как сгенерировать, разместить и проверить файл.

Карта сайта или файл sitemap представляет собой документ, содержащий важную информацию, необходимую для индексирования поисковыми системами, данные об обновлении контента, а также о том, как часто производится обновление информации на странице. Она необходима для оптимизации работы поисковых систем и корректного поиска различных данных.

Когда нужно заниматься картой сайта?

К перечню ситуаций, когда обязательно нужно заняться оформлением файла sitemap:

• На сайте более 500 страниц. При этом поисковые роботы могут пропустить созданные или модифицированные страницы;
• Сложная система перелинковки. Ссылка на страницу может быть пропущена из-за сложности доступа к ее расположению, либо доступности исключительно после выполнения ряда действий пользователем;
• Отсутствие на сайте ссылок, которые бы вели на страницу. Если у поисковой системы не будет возможности найти переадресацию, индексирование завершить не получится;
• Глубокая степень вложенности. Поисковые алгоритмы имеют предел сканирования страниц, поэтому часть может быть пропущена, в особенности если на сайте сложная система перелинковки.

Чтобы гарантировать охват всех ссылок при сканировании поисковой системой, крайне важно перечислять в составе документа карты сайта все ссылки.

Когда не нужен файл Sitemap

В карте сайта нет необходимости, если:

Однако даже в этом случае рекомендуется создавать карты сайта, чтобы обеспечивать правильное его индексирование.

Зачем нужен Sitemap?

Карта сайта необходима для корректного сканирования сайта при помощи систем поисковой выдачи и проведения индексации. В составе XML карты всегда содержится следующая информация:

1. Список всех адресов, которые имеются на сайте.
2. Приоритетность страниц при сканировании ресурса. Поисковые роботы будут начинать сканирование с приоритетных разделов.
3. Дата изменения результатов. Поисковые системы не будут индексировать страницы, которые не подвергались изменению на последнем этапе сканирования.
4. Возможная частота изменения страниц представляет собой справочный материал для поискового робота, который позволяет ориентироваться на частоту повторного сканирования системы.

Теги XML-карт

Необходим для инкапсуляции карты сайта и указания текущего стандарта протокола сетевого взаимодействия

Родительский тег для имеющегося URL-адреса. Другие теги будут являться дочерними

Содержит информацию о дне, когда в последний раз была изменена страница, в распространенном формате UTC

От Change frequency — частота изменений страницы. Включает несколько параметров:

1. Always — всегда.
2. Hourly — ежечасно.
3. Daily — ежедневно.
4. Weekly — еженедельно.
5. Monthly — ежемесячно.
6. Yearly — ежегодно.
7. Never — никогда.

Это подсказка для поискового робота, которая включает информацию о том, как часто производится обновление. Наиболее частым параметром является еженедельное обновление

Информация для поисковика. Имеет дробный тип данных и может содержать число от 0.0 до 1.0.

Не рекомендуется устанавливать высокий приоритет всем страницам сайта.

Необходим для описания содержимого изображения

Как создать sitemap

Создать XML карты сайта можно, воспользовавшись одним из 5 методов:

1. Сформировать её вручную.
2. При помощи готовых сервисов, предлагающих сделать xml-карты автоматически.
3. При помощи встроенных инструментов CMS, на которых был создан сайт.
4. При помощи плагинов или готовых модулей CMS систем.
5. С использованием отдельного скрипта. Обычно метод применятся для включения в карту информации о страницах, которые не учитываются другими способами.

Требования к карте

К карте предъявляется ряд требований:

Как сформировать файл и сообщить о нем поисковым системам

1. Провести определение канонических ссылок на страницу, которые обязательно указываются в файле Sitemap. Это важно, если на сайте присутствует множество страниц, содержащих одинаковый текст.
2. Выбрать формат и сформировать файл.
3. Проверить документ при помощи автоматизированных сервисов проверки.
4. Указать ссылку на документ в файле robots.txt или других приложениях.

В каком формате может быть карта сайта?

На текущий момент используется 2 формата, которые используются для формирования карт сайта:

1. Html — создается как обычная страница, которая содержит адреса, ведущие на основные страницы сайта. Подобный вид карты позволяет быстро ориентироваться по содержимому ресурса и больше рассчитан на посетителей, чем на поисковых роботов. Количество ссылок ограничено 100, в противном случае они не попадут в индекс. В некоторых случаях поисковый алгоритм исключит подобную ссылку из URL из-за огромного количества URL.
2. XML — это более простой метод создания, который подойдет для формирования адресной картины сайта. Для поисковых систем Sitemap XML будет содержать полные данные о сайте в понятном для кода поискового алгоритма виде. В особенности важно создавать подобный файл для ресурсов, в которых содержится значительное количество документов высокой важности и необходимо создавать перекрестные ссылки. Ограничения файла были описаны выше.

Создание карты сайта при помощи вспомогательных модулей для CMS

Эта методика создания карты сайта наиболее удобна по сравнению с использованием онлайн-генераторов, поскольку обеспечивает вебмастеру повышенную гибкость, например, в управлении параметрами карты сайта. Кроме того, применяемые модули автоматически обновляют карты сайта после формирования новых страниц.

Для сайтов, которые работают на CMS, применяют плагин Google XM Sitemaps. После установки и активации модуля нужно перейти на страницу настроек, а в настройках системы включить уведомление для поисковика; затем нужно добавить URL Sitemap в файл robots.txt, актировав сжатие документа.

Чтобы указать приоритеты вручную, нужно отключить имеющийся автоматический расчет приоритетов. Важно правильно сформировать раздел "содержание карты сайта". Нужно включить в документ только те типы страниц, которые являются необходимыми.

Для других движков используются следующие приложения:

1. Joomla — Sitemap Generator.
2. Drupal — XML Sitemap.
3. OpenCart может эффективно использовать Yandex Sitemap.

Добавление карты сайта в личный кабинет вебмастеру

Для завершения работы нужно добавить сформированный документ Sitemap в кабинет вебмастеру. Для этого в Search Console нужно:

Файл sitemap содержит все страницы сайта в виде URL-адресов, поэтому его называют картой сайта. Он помогает поисковым роботам разобраться с содержимым ресурса, увидеть приоритетные для индексирования ссылки, оценить структуру сайта. В статье расскажем, как работает файл, кому он будет полезен и как его установить.

Что такое Sitemap

Sitemap — это xml-документ со списком страниц сайта. Точнее, в нём указаны URL страниц. Говоря простым языком, это своеобразный путеводитель для поисковиков, который подсказывает им, какой контент доступен на сайте и как его найти. Краулер Яндекс или Google сэкономит много времени, один раз прочитав sitemap.xml, вместо того, чтобы заходить на каждую из указанных в нём страниц по отдельности.

Такая особенность весьма полезна для тех сайтов, у которых:

Поисковики, разумеется, могут найти все страницы и без помощи sitemap.xml, но создавая этот файл, вы демонстрируете, что прописанные в нём URL — потенциальные страницы входа для пользователей.

В то же время, наличие страницы в sitemap не гарантирует её своевременное нахождение поисковиком и индексацию, тем не менее, шансы на это сильно увеличиваются.

Зачем нужна карта сайта sitemap.xml

Поисковики индексируют сайты и без sitemap, но карта подсказывает точки входа для пользователей и роботов, что увеличивает шансы на индексацию. Его можно назвать дорожной картой для ботов, которые направляются на изучение вашего ресурса. Таким образом, файл Sitemap помогает роботам просмотреть ваш сайт глубже, правильно оценить его структуру и добраться до всех страниц.

В каких случаях нужен Sitemap

Файл Sitemap актуален для больших многостраничных сайтов с глубокой вложенностью и для новых сайтов, на которых еще слишком мало внешних ссылок. Главная проблема таких ресурсов в том, что роботы часто не индексируют часть ресурса — карта ее решает.

В каких случаях Sitemap не требуется

Xml карта — это рекомендательный инструмент, и в некоторых случаях он необязателен. Например, если сайт до 500 страниц и на нем есть перелинковка, то файл может оказаться бесполезным.

Формат Sitemap

Sitemap.xml одностраничника, в котором использованы все доступные теги, будет выглядеть так:

Но какой смысл несут все эти атрибуты и полезны ли они для SEO?

Loc (Location)

Lastmod (Last Modified)

Priority

Необязательный тег, служащий для указания веса страницы среди остальных. Может принимать значения от 0 до 1. Обычно SEO-специалистов, как и поисковики, не сильно заботит наличие тега Priority и его значения, поэтому он почти не применяется.

Маркетинг

Презентация компании: подробная структура и примеры удачных слайдов

Презентация компании: подробная структура и примеры удачных слайдов

Типы Sitemap

Файл индекса Sitemap

Существует пара ограничений для данного файла:

• Не более 50 000 URL;
• Вес файла без сжатия не должен превышать 50 Мб.

Sitemap можно сжимать через gzip (итоговый файл будет называться, например, sitemap.xml.gz), чтобы не перегружать пропускную способность сервера. Будучи распакованным, sitemap также должен отвечать требованиям, не превышая лимиты. В случае, если файл слишком большой, его следует разделить — то, есть перераспределить URL между несколькими sitemap.

Для оптимальной работы поисковых систем с вашими файлами sitemap вам понадобится:

• Добавить файл индекса в Google Search Console и Яндекс.Вебмастер
• Указать полный путь к файлу в robots.txt, разрешив поисковикам работу с ним. Чтобы лучше понять, как это сделать, читайте руководство по настройке robots.txt .

XML Sitemap для изображений

Данный тип карт сайта создан для улучшения индексации графического контента.

В настоящее время, по актуальным стандартам SEO, изображения с их атрибутами встроены в контент страницы, поэтому они будут считаны одновременно со всей страницей.

Исключение — сайты, которые развиваются за счёт графики, например, стоки картинок.

XML Sitemap для видео

Так же, как и в случае с картинками, если ваш сайт предоставляет преимущественно видео-контент, создание соответствующей карты сайта станет верным решением.

Sitemap для Google Новостей

Мобильный Sitemap

Не обязателен и даже излишен — по большому счёту, является устаревшим, так как предназначался для кнопочных телефонов. Использовать его для смартфонов нет нужды, тег не про адаптивность.

HTML Sitemap

XML карты сайта предназначены для поисковым систем — их читают роботы в целях индексации. HTML версии годятся только для пользователей — это наглядные карты сайтов, ссылки на которые представлены в основном футере. Сами же карты, если сайт большой, могут располагаться на отдельных страницах.

Скорее всего, вы обнаружите, что посещаемость страницы с развёрнутой картой сайта или же просмотр данного блока на других страницах составляет статистическую погрешность. Так, стоит ли тратить время и усилия на создание sitemap, который не представляет особой ценности для пользователей? Вряд ли.

Динамический XML Sitemap

Можно сделать карту сайта статичной, но проблема в том, что как только вы удалите любую из страниц или добавите новую, она сразу устареет. То же касается и добавления нового контента — атрибут Lastmod не перепишется автоматически, оставшись неизменным.

Таким образом, вместо того, чтобы раз за разом обновлять и загружать новые карты сайта, лучше сразу создать карту сайта, которая обновляется сервером автоматически при внесении изменений в структуру и содержимое страниц.

Требования к файлу

Чтобы файл Sitemap функционировал правильно, нужно соблюдать требования:

• Файл не должен быть более 50 Мб и содержать больше 50 тысяч страниц. Если структура ресурса не укладывается в эти рамки, то лучше создать две разных карты.
• Для sitemap нужно использовать кодировку UTF-8.
• Sitemap должен быть размещен на домене сайта, для которого он составлен.
• Лучше создавать файл в формате XML, а не TXT.

Генераторы для создания Sitemap

Онлайн-генераторы могут создать карту сайта всего за несколько минут. Большинство сервисов предлагают бесплатные тарифы, в которых можно создать файл sitemap всего на 500 страниц, но большие сайты генераторы сканируют платно.

Примеры таких сервисов:

• SiteDozor;
• Online XML sitemap generator;
• Gensitemap;
• My Sitemap generator.

Важно помнить, что онлайн-генераторы не подходят для ресурсов, которые постоянно обновляют свои страницы.

Как создать карту сайта

Создать sitemap довольно просто, существует несколько способов:

Как добавить XML-файл в Вебмастер и Гугл Консоль

В обе панели карту можно загружать двумя способами: первый — указать месторасположение файла, второй — добавить его в директиву robots.txt. Если она правильно настроена на сайте, то в панелях появится автоматически.

Чтобы добавить файл sitemap в Вебмастер вручную:

Добавить карту в Гугл Консоль можно всего за 2 шага:

Поиск ошибок с помощью программы Screaming Frog

Сервис сканирует любые сайтмапы и помогает, если файл слишком большой для проверки вручную. Чтобы загрузить и проверить карту в приложении, нужно:

1. Зайти в Screaming Frog.
2. Нажать на кнопку Mode, затем выбрать List.
3. Кликнуть Upload, Download XML Sitemap.
4. Ввести ссылку на карту и кликнуть ОК.

Когда анализ завершится, можно будет увидеть редиректы, ошибки 404, дубликаты адресов.

Где размещать карту на сайте

HTML-карту можно разместить, там, где пользователям удобно находить нужные разделы: в футере сайта, в навигационном меню, на 404 странице или на отдельной странице.

Оптимизация индексации XML Sitemap

Добавляйте в Sitemap только SEO-релевантные страницы

Очень желательно исключить:

Помните, что список URL в sitemap чаще всего воспринимается поисковиками в качестве рекомендации, но не прямого запрета на просмотр других страниц.

Используйте отчёты с пользой

Например, отчёта Google Search Console даёт ценные сведения о том, какие ошибки есть в ваших sitemap, но он полезен не только для простой валидации.

Далеко не самые информативные названия. Да и сведения о том, что в районе 64% страниц проиндексировано — не самые полезные. Гораздо интереснее понять, какие именно типы страниц показывают неудовлетворительные результаты. Если продолжить изучать sitemap-1, sitemap-2 и так далее, вы вряд ли что-то поймёте. Совсем другое дело, когда у вас взаимовложенная структура этих файлов, и название каждого отражает сущность собранных в нём страниц.

Из такого отчёта можно понять, какие конкретно разделы проседают в индексации и что предпринять для улучшения ситуации.

Отследить общую эффективность вследствие оптимизации ресурса поможет Сквозная аналитика Calltouch.

Сквозная аналитика

• Автоматически соберет данные с рекламных площадок, сервисов и CRM в 1 окне
• Бесплатные интеграции c CRM и другими сервисами: более 50 готовых решений
• Анализируйте воронку продаж от показов до кассы
• Оптимизируйте свой маркетинг с помощью подробных отчетов: дашборды, графики, диаграммы
• Кастомизируйте таблицы, добавляйте свои метрики. Стройте отчеты моментально за любые периоды

Как удалить сайтмап

Чтобы удалить файл, его нужно убрать из корневой папки сайта, после чего — очистить ссылку из robots.txt. Если ресурс создан на платформе CMS системы, то для удаления карты сайта стоит найти плагин, который ее создает.

Маркетинг

Интернет-маркетинг: 10 ошибок, которые не дают идти вперёд

Интернет-маркетинг: 10 ошибок, которые не дают идти вперёд

Чек-лист: как улучшить Sitemap

Чек-листы — великолепный инструмент организации работы , и здесь они также пригодятся. Как создать карту сайта, которая обеспечит наилучший контакт с поисковыми системами и поможет быстро индексировать страницы?

• Включайте теги hreflang;
• Обязательно прописывайте и
• Сжимайте sitemap через gzip;
• Используйте файл индекса;
• Используйте sitemap для изображений, видео и новостей только в тех случаях, когда это оправдано спецификой сайта;
• Генерируйте динамические карты сайта;
• Ссылайтесь на индексный sitemap в robots.txt;
• Подключите sitemap в Google Search Console и Яндекс.Вебмастере;
• Добавляйте только SEO-релевантные страницы;
• Исправляйте ошибки, обнаруженные в отчётах;
• Используйте понятные названия и структуру карт сайта.

Заключение

Xml карта сайта — это полезный инструмент, который позволяет улучшить работу ресурса и его показатели в поисковых системах. Он помещает все страницы сайта в один файл, и поисковым роботам легче его индексировать, что положительно влияет на оценку сайта, а следовательно — на выдачу.

Читайте также:

  
• Как сделать улитку из мастики
  
• Как сделать сибаса
  
• Как сделать пропорцию с процентами
  
• Как сделать ожерелье из костей
  
• Как сделать фон в kate mobile