4 февраля 2019
21 мин на чтение
7377

Подробное руководство по созданию карты сайта

author__photo
Елизавета Теряева
Редактор блога
Нет времени читать?
Отправить статью на почту

Файл sitemap содержит все страницы сайта в виде URL-адресов, поэтому его называют картой сайта. Он помогает поисковым роботам разобраться с содержимым ресурса, увидеть приоритетные для индексирования ссылки, оценить структуру сайта. В статье расскажем, как работает файл, кому он будет полезен и как его установить.

Наши продукты помогают вашему бизнесу оптимизировать расходы на маркетинг
Узнать подробнее

Что такое Sitemap

Sitemap  — это xml-документ со списком страниц сайта. Точнее, в нём указаны URL страниц. Говоря простым языком, это своеобразный путеводитель для поисковиков, который подсказывает им, какой контент доступен на сайте и как его найти. Краулер Яндекс или Google сэкономит много времени, один раз прочитав sitemap.xml, вместо того, чтобы заходить на каждую из указанных в нём страниц по отдельности.

Структура XML Sitemap

Такая особенность весьма полезна для тех сайтов, у которых:

Поисковики, разумеется, могут найти все страницы и без помощи sitemap.xml, но создавая этот файл, вы демонстрируете, что прописанные в нём URL —  потенциальные страницы входа для пользователей.

В то же время, наличие страницы в sitemap не гарантирует её своевременное нахождение поисковиком и индексацию, тем не менее, шансы на это сильно увеличиваются.

Зачем нужна карта сайта sitemap.xml

Поисковики индексируют сайты и без sitemap, но карта подсказывает точки входа для пользователей и роботов, что увеличивает шансы на индексацию. Его можно назвать дорожной картой для ботов, которые направляются на изучение вашего ресурса. Таким образом, файл Sitemap помогает роботам просмотреть ваш сайт глубже, правильно оценить его структуру и добраться до всех страниц.

В каких случаях нужен Sitemap

Файл Sitemap актуален для больших многостраничных сайтов с глубокой вложенностью и для новых сайтов, на которых еще слишком мало внешних ссылок. Главная проблема таких ресурсов в том, что роботы часто не индексируют часть ресурса — карта ее решает.

В каких случаях Sitemap не требуется

Xml карта — это рекомендательный инструмент, и в некоторых случаях он необязателен. Например, если сайт до 500 страниц и на нем есть перелинковка, то файл может оказаться бесполезным.

Формат Sitemap

Sitemap.xml одностраничника, в котором использованы все доступные теги, будет выглядеть так:

Sitemap.xml одностраничника

Но какой смысл несут все эти атрибуты и полезны ли они для SEO?

Loc (Location)

Этот обязательный тег содержит абсолютный путь к странице, который по-другому называется каноническим URL. В нём прописывается актуальный протокол http:// или https://, а также www, если он есть в адресе.

Для международных сайтов здесь же прописывается hreflang. С помощью атрибута xhtml:link, определяющего язык и регион, для каждой конкретной страницы снижается время загрузки. Такую возможность не могут предложить другие элементы в <head> или HTTP-заголовки.

Lastmod (Last Modified)

Необязательный тег, который, тем не менее, крайне рекомендуется устанавливать. Он помогает поисковым системам определить не только «свежесть» контента, но также, являетесь ли вы его автором. Во всяком случае, не стоит им злоупотреблять  — лучше прописывать Lastmod для более значимых изменений, так как разные уловки могут негативно сказаться на ранжировании вплоть до получения санкций от поисковых систем.

Priority

Необязательный тег, служащий для указания веса страницы среди остальных. Может принимать значения от 0 до 1. Обычно SEO-специалистов, как и поисковики, не сильно заботит наличие тега Priority и его значения, поэтому он почти не применяется.

Типы Sitemap

Файл индекса Sitemap

Существует пара ограничений для данного файла:

  • Не более 50 000 URL;
  • Вес файла без сжатия не должен превышать 50 Мб.

Sitemap можно сжимать через gzip (итоговый файл будет называться, например, sitemap.xml.gz), чтобы не перегружать пропускную способность сервера. Будучи распакованным, sitemap также должен отвечать требованиям, не превышая лимиты. В случае, если файл слишком большой, его следует разделить  — то, есть перераспределить URL между несколькими sitemap.

В свою очередь, отдельные файлы могут быть объединены в единый «sitemap sitemap’ов». Исключительно большие сайты иногда предполагают сразу несколько таких объемлющих списков. В нашем случае основной файл находится по адресу calltouch.ru/sitemap.xml, а внутри него указаны URL частных карт сайта  — например, calltouch.ru/sitemap_iblock_5.xml.

Дерево sitemap

Для оптимальной работы поисковых систем с вашими файлами sitemap вам понадобится:

  • Добавить файл индекса в Google Search Console и Яндекс.Вебмастер
  • Указать полный путь к файлу в robots.txt, разрешив поисковикам работу с ним. Чтобы лучше понять, как это сделать, читайте руководство по настройке robots.txt.

Sitemap.xml в robots.txt

XML Sitemap для изображений

Данный тип карт сайта создан для улучшения индексации графического контента.

В настоящее время, по актуальным стандартам SEO, изображения с их атрибутами встроены в контент страницы, поэтому они будут считаны одновременно со всей страницей.

Более того, лучше использоваться JSON-LD разметку schema.org/ImageObject для вызова свойств изображения. Она помогает поисковым движкам получить больше атрибутов, чем из XML sitemap. Именно из-за этого sitemap для изображений не актуален для большинства сайтов.

Исключение  — сайты, которые развиваются за счёт графики, например, стоки картинок.

XML Sitemap для видео

Так же, как и в случае с картинками, если ваш сайт предоставляет преимущественно видео-контент, создание соответствующей карты сайта станет верным решением.

Sitemap для Google Новостей

Эта опция целесообразна только для сайтов, зарегистрированных в Google Новостях. Если ваш сайт подключен к ним, добавьте в sitemap материалы, опубликованные за последние 2 дня, но не более 1000 URL на один файл. По мере обновления материалов обновляйте и файл.

Обратите внимание, что вопреки некоторым рекомендациям, не стоит подключать к Google Новостям sitemap для изображений. В действительности система их не поддерживает. Сам Google советует использовать schema.org image или og:image для добавления миниатюр из новостей.

Мобильный Sitemap

Не обязателен и даже излишен —  по большому счёту, является устаревшим, так как предназначался для кнопочных телефонов. Использовать его для смартфонов нет нужды, тег не про адаптивность.

HTML Sitemap

XML карты сайта предназначены для поисковым систем  — их читают роботы в целях индексации. HTML версии годятся только для пользователей  — это наглядные карты сайтов, ссылки на которые представлены в основном футере. Сами же карты, если сайт большой, могут располагаться на отдельных страницах.

Скорее всего, вы обнаружите, что посещаемость страницы с развёрнутой картой сайта или же просмотр данного блока на других страницах составляет статистическую погрешность. Так, стоит ли тратить время и усилия на создание sitemap, который не представляет особой ценности для пользователей? Вряд ли.

Динамический XML Sitemap

Можно сделать карту сайта статичной, но проблема в том, что как только вы удалите любую из страниц или добавите новую, она сразу устареет. То же касается и добавления нового контента  — атрибут Lastmod не перепишется автоматически, оставшись неизменным.

Таким образом, вместо того, чтобы раз за разом обновлять и загружать новые карты сайта, лучше сразу создать карту сайта, которая обновляется сервером автоматически при внесении изменений в структуру и содержимое страниц.

Требования к файлу

Чтобы файл Sitemap функционировал правильно, нужно соблюдать требования:

  • Файл не должен быть более 50 Мб и содержать больше 50 тысяч страниц. Если структура ресурса не укладывается в эти рамки, то лучше создать две разных карты.
  • Для sitemap нужно использовать кодировку UTF-8.
  • Sitemap должен быть размещен на домене сайта, для которого он составлен.
  • Лучше создавать файл в формате XML, а не TXT.

Генераторы для создания Sitemap

Онлайн-генераторы могут создать карту сайта всего за несколько минут. Большинство сервисов предлагают бесплатные тарифы, в которых можно создать файл sitemap всего на 500 страниц, но большие сайты генераторы сканируют платно. 

Примеры таких сервисов:

  • SiteDozor;
  • Online XML sitemap generator;
  • Gensitemap;
  • My Sitemap generator.

Важно помнить, что онлайн-генераторы не подходят для ресурсов, которые постоянно обновляют свои страницы.

Как создать карту сайта

Создать sitemap довольно просто, существует несколько способов:

  • Написать вручную. Для динамических карт — попросить разработчика написать кастомный скрипт с понятными инструкциями к нему.
  • Использовать инструмент создания карт сайта, например: xml-sitemaps.comScreaming Frog или web-site-map.com.
  • Установить плагин для вашей CMS. Например, Yoast SEO для WordPress (мы используем как раз его).

Как добавить XML-файл в Вебмастер и Гугл Консоль

В обе панели карту можно загружать двумя способами: первый — указать месторасположение файла, второй — добавить его в директиву robots.txt. Если она правильно настроена на сайте, то в панелях появится автоматически.

Чтобы добавить файл sitemap в Вебмастер вручную:

  1. Откройте панель.
  2. Выберите раздел «Индексирование», затем «Файлы Sitemap».
  3. В окно «Добавить файл» впишите URL карты сайта, затем кликните «Добавить».

У Яндекса есть функция проверки сайтмапа перед загрузкой  — анализатор файлов Sitemap. Он прост в использовании и поддерживает разные форматы: файл, текст, URL. Когда xml уже загружен в Вебмастер, его корректность проверяют в разделе «Диагностика сайта». Если все хорошо, то на вкладке будет написано «Ошибок не найдено». 

Как добавить XML-файл в Вебмастер и Гугл Консоль

Добавить карту в Гугл Консоль можно всего за 2 шага:

  1. Выберете раздел «Файлы Sitemap».
  2. Добавьте URL карты и кликните «Отправить»

Гугл позволяет увидеть ошибки в файле только после того, как он уже был загружен. Они высвечиваются на вкладке «Ошибки сканирования». Но для проверки карты до загрузки есть сторонние сервисы, например, Screaming Frog.

Поиск ошибок с помощью программы Screaming Frog

Сервис сканирует любые сайтмапы и помогает, если файл слишком большой для проверки вручную. Чтобы загрузить и проверить карту в приложении, нужно: 

  1. Зайти в Screaming Frog.
  2. Нажать на кнопку Mode, затем выбрать List.
  3. Кликнуть Upload, Download XML Sitemap.
  4. Ввести ссылку на карту и кликнуть ОК.

Когда анализ завершится, можно будет увидеть редиректы, ошибки 404, дубликаты адресов. 

Где размещать карту на сайте

HTML-карту можно разместить, там, где пользователям удобно находить нужные разделы: в футере сайта, в навигационном меню, на 404 странице или на отдельной странице.

Оптимизация индексации XML Sitemap

Добавляйте в Sitemap только SEO-релевантные страницы

XML Sitemap включает список страниц, которые наиболее важно «показать» поисковикам. Это не обязательно каждая страница сайта. Краулеры придерживаются того перечня, который вы сами определите.

Очень желательно исключить:

  • Дубликаты страниц и побочные адреса (non-canonical);
  • Страницы с пагинацией;
  • URL, созданные на основе ID сессий и параметров;
  • Результаты поиска;
  • Адреса ответов и комментариев;
  • Адреса для репоста;
  • Результаты фильтрации;
  • Архивные страницы;
  • Редиректы (3**), несуществующие страницы (4**), ошибки сервера (5**);
  • Страницы, заблокированные в robots.txt;
  • Страницы с noindex;
  • Материалы, доступные через форму лидгена (white paper, PDF и т.д.);
  • Страницы, не подходящие в качестве страниц входа (окно логина, контакты, пользовательское соглашение и т.д.).

Помните, что список URL в sitemap чаще всего воспринимается поисковиками в качестве рекомендации, но не прямого запрета на просмотр других страниц.

Используйте отчёты с пользой

Например, отчёта Google Search Console даёт ценные сведения о том, какие ошибки есть в ваших sitemap, но он полезен не только для простой валидации.

Рассмотрим сайт, на котором 131 тысяча страниц. Из-за такого количества понадобится сразу несколько файлов. Некоторые, следуя рекомендациям Google и Schema.org, дают им нумерованные названия, и в результате получается нечто наподобие:

Анализ индексации в Google Search Console

Далеко не самые информативные названия. Да и сведения о том, что в районе 64% страниц проиндексировано  — не самые полезные. Гораздо интереснее понять, какие именно типы страниц показывают неудовлетворительные результаты. Если продолжить изучать sitemap-1, sitemap-2 и так далее, вы вряд ли что-то поймёте. Совсем другое дело, когда у вас взаимовложенная структура этих файлов, и название каждого отражает сущность собранных в нём страниц.

Информативные названия sitemap работают лучше

Из такого отчёта можно понять, какие конкретно разделы проседают в индексации и что предпринять для улучшения ситуации.

Отследить общую эффективность вследствие оптимизации ресурса поможет Сквозная аналитика Calltouch.

caltouch-platform

Сквозная аналитика

 от 990 рублей в месяц
  • Автоматически собирайте данные с рекламных площадок, сервисов и CRM в удобные отчеты
  • Анализируйте воронку продаж от показов до ROI
  • Настройте интеграции c CRM и другими сервисами: более 50 готовых решений
  • Оптимизируйте свой маркетинг с помощью подробных отчетов: дашборды, графики, диаграммы
  • Кастомизируйте таблицы, добавляйте свои метрики. Стройте отчеты моментально за любые периоды

Как удалить сайтмап

Чтобы удалить файл, его нужно убрать из корневой папки сайта, после чего — очистить ссылку из robots.txt. Если ресурс создан на платформе CMS системы, то для удаления карты сайта стоит найти плагин, который ее создает.

Чек-лист: как улучшить Sitemap

Чек-листы  — великолепный инструмент организации работы, и здесь они также пригодятся. Как создать карту сайта, которая обеспечит наилучший контакт с поисковыми системами и поможет быстро индексировать страницы?

  • Включайте теги hreflang;
  • Обязательно прописывайте <loc> и <lastmod>
  • Сжимайте sitemap через gzip;
  • Используйте файл индекса;
  • Используйте sitemap для изображений, видео и новостей только в тех случаях, когда это оправдано спецификой сайта;
  • Генерируйте динамические карты сайта;
  • Ссылайтесь на индексный sitemap в robots.txt;
  • Подключите sitemap в Google Search Console и Яндекс.Вебмастере;
  • Добавляйте только SEO-релевантные страницы;
  • Исправляйте ошибки, обнаруженные в отчётах;
  • Используйте понятные названия и структуру карт сайта.

Заключение

Xml карта сайта — это полезный инструмент, который позволяет улучшить работу ресурса и его показатели в поисковых системах. Он помещает все страницы сайта в один файл, и поисковым роботам легче его индексировать, что положительно влияет на оценку сайта, а следовательно — на выдачу.

Нет времени читать?
Отправить статью на почту
Оцените
Поделитесь с друзьями
Что нового в интернет-маркетинге?
Главное в ежемесячной рассылке
Нажимая на кнопку "Подписаться", вы даёте своё согласие на обработку персональных данных и получение рекламной информации о продуктах, услугах посредством звонков и рассылок по предоставленным каналам связи.
У вас есть интересный материал?
Опубликуйте статью в нашем блоге
Опубликовать статью
Хотите получить актуальную подборку кейсов?
Прямо сейчас бесплатно отправим подборку обучающих кейсов с прибылью от 14 730 до 536 900р.
[contact-form-7 404 "Not Found"]
Конференция Callday.Agency
Для профессионалов агентского бизнеса. Спикеры: Real HR, «ПроКонтекст», TWIGA CG, DIGITAL TWIGA, Calltouch, Mango Office, VBI, Кокос Групп, Albato и другие
Регистрация
У нас тут cookies…
На сайте используются файлы cookies. Продолжая использование сайта, вы соглашаетесь с этим. Подробности об обработке ваших данных — в политике конфиденциальности.