В этом путеводителе мы рассмотрим следующие вопросы:
Что такое Sitemap ?
Это файл, который содержит в себе перечень ссылок на все важные страницы сайта. То есть, этот документ направляет поисковые системы на основной контент на сайте.
Для чего нужна карта сайта
Сайтмап нужен, если у сайта есть проблемы с индексацией, которые вызваны:
1) большим количеством страниц;
2) отсутствием ссылок (внутренних или внешних) на страницы;
3) глубокой вложенностью на сайте (запутанной структурой).
HTML vs XML-карта сайта
Карты сайта бывают следующих типов:
- HTML;
Самое простое объяснение разницы между этими форматами в том, что XML-карта в первую очередь предназначена для поисковых систем, а HTML – для пользователей.
HTML-карта – это всего лишь общий обзор сайта, содержит только информацию и страницы, которые нужно видеть пользователям. Если вы находитесь на сайте и ищете определённый раздел, при переходе на Sitemap HTML легко его найдёте. Несмотря на то, что такой тип карт сайта ориентирован на пользователя, он также может помочь вашему ранжированию в поисковых системах. Это одно из свидетельств того, что вы заботитесь об удобстве сайта для пользователя.
При составлении HTML-карты сайта важно учитывать:
1. Структурированное содержание.
Карта сайта должна быть понятна и удобна для восприятия пользователя. Желательно, чтобы она включала в себя разделы, категории, подкатегории и т. д.
2. Анкоры ссылок.
Протокол XML-карты сайта предназначен для поисковых роботов. XML-файл содержит в себе информацию о том, когда последний раз обновлялся URL-адрес, насколько это важно и как часто происходят изменения.
Обычно Sitemap состоит из следующих XML-тегов:
Обязательные:
Необязательные:
Не устанавливайте для каждого URL-адреса слишком частую смену файла и максимальный приоритет. Если метки частоты и приоритета не отражают реальность, вероятнее всего, поисковые системы будут более склонны игнорировать всю карту XML.
Другие форматы Sitemap
Помимо вышеперечисленных карт сайта, поисковые системы также поддерживают следующие форматы:
Для Google:
— RSS, mRSS и Atom 1.0;
RSS / Atom фиды должны содержать последние обновления вашего сайта. Обычно они небольшие и часто обновляются (что является плюсом).
— Сайты Google.
Для сайтов, созданных на платформе Google Сайты, Sitemap создаётся автоматически, и внести какие-то изменения невозможно.
Для Google и Яндекс:
— текстовый формат (TXT).
Файл должен быть в кодировке UTF-8 и состоять только из URL-адресов.
Требования Google и Яндекса к файлам Sitemap
1. Используйте кодировку UTF-8.
2. Максимальное количество URL – 50 000.
3. Ссылки в сайтмапе должны быть на том же домене, что и файл.
4. Если файл слишком большой, разделите его на несколько и укажите их в файле индекса Sitemap.
5. Ответ сервера при обращении к файлу должен быть 200 ОК.
6. Указывайте только канонические адреса страниц (без GET-параметров и идентификаторов сессий).
1. Максимальный размер – 10 МБ.
2. Поддерживает кириллические URL.
1. Максимальный размер – 50 МБ.
2. Поддерживает только цифры и латинские буквы.
Распространённая ошибка: чтобы уменьшить требования к пропускной способности канала, используют архиватор gzip. Размер сайтмапа должен быть 50 МБ (10 МБ) до сжатия, а не после.
Совет: русские доменные имена можно преобразовать с помощью кодировки Punycode.
Как создать XML Sitemap
1. Чтобы создать карту сайта, в первую очередь нужно определить канонические адреса, которые будут добавлены в файл.
2. Определить, какой формат файла будете использовать.
3. Создать файл можно вручную или, воспользовавшись генератором Sitemap.
Google в своей справке подготовил список онлайн и десктопных, платных и бесплатных генераторов карт сайта. Ознакомиться со всем списком можно, перейдя по ссылке .
Сгенерировать Sitemap проще, чем кажется. Разберём, как сгенерировать сайтмап, на примере деcктопного приложения Majento:
1. Парсим сайт.
2. Переходим в раздел «Сайты» => «Генерировать Sitemap».
3. Сохраняем в нужном нам формате.
4. Карта сайта готова.
Из online-генераторов XML-карты сайта заслуживает внимания XML Sitemap Generator .
Расширенные возможности этого сервера позволяют установить определённые XML-теги, включить/исключить нужные документы.
Исключить ненужные страницы можно и с помощью регулярных выражений.
Google поддерживает расширенный синтаксис для изображений. Для этого вы можете создать отдельную карту сайта для изображений или добавить синтаксис в существующую. Использование расширенного синтаксиса в Sitemap предоставляет поисковой системе дополнительную информацию об изображениях на сайте. Также это может помочь Google обнаружить и проиндексировать изображения, которые он не может найти при сканировании сайта.
Как и в обычной карте сайта, есть обязательные и необязательные XML-теги.
Обязательные:
Необязательные:
Ещё один расширенный синтаксис, который поддерживает Google, – XML-карта для видео.
Плюсы добавления XML-тегов для видео:
1) даёт понять Google, какой контент на сайте;
2) даёт возможность предоставить детальное описание к файлу;
3) станет доступным для поиска в Google Видео;
4) в поисковой выдаче будет отображаться заставка видео (может повысить количество переходов из поисковой выдачи).
Карта сайта для видеофайлов состоит из следующих обязательных элементов:
Заголовок и описание видео должны быть экранированы или упакованы в блок CDATA.
Со всеми XML-тегами карты сайта для видео можно ознакомиться в справке Google .
Где разместить карту сайта
Распространённые заблуждения о Sitemap
Так как у многих этот файл вызывает трудности и является «тёмным лесом», возникают определённые мифы в отношении карт сайта. Рассмотрим некоторые из них:
– «Включение URL-адреса в файл Sitemap для XML гарантирует, что он будет проиндексирован».
Нет. Важно отметить, что XML-файлы Sitemap – это только рекомендации. Карта сайта XML не гарантирует индексацию поисковыми системами страниц, указанных в файле.
– «Если я удалю URL из XML-карты, он будет удалён из индекса».
Нет. Карта сайта XML не исключает индексацию страниц, не включённых в карту сайта XML.
– «XML-файлы Sitemap трудно создавать и поддерживать»
Нет. Небольшие сайты могут легко создавать и размещать собственные XML-файлы вручную, используя приведённые выше примеры в качестве руководства по форматированию. Для более крупных сайтов и сайтов, которые изменяются чаще, плагины или модули, доступные для большинства CMS, могут автоматизировать обновление XML-файлов.
Заключение
Файл Sitemap – полезный инструмент для передачи поисковым роботам информации о структуре сайта. Используйте это руководство, чтобы понять, как работает карта сайта, как она устроена, как сгенерировать, разместить и проверить файл.
Подписаться на рассылкуВведите название сайта
Выбирайте тип карты - xml или html, приоритет, частоту изменений и включаемые страницы сайта - на выходе вы получите валидный файл карты сайта.
Генератор XML-карты сайта
Создать карту сайта Sitemap можно онлайн совершенно бесплатно с использованием специального сервиса Saitreport. Карта сайта - это необходимое условие для его продвижения. С ее помощью информация о структуре ресурса передается поисковым системам.
Отсутствие карты сайта затрудняет его продвижение. Большинство поисковых систем может долго не замечать важные документы. Поэтому для индексирования страниц необходимо правильно сгенерировать и разместить карту сайта.
Онлайн-сервис Saitreport позволяет сгенерировать XML-карту и дает возможность создать Sitemap для продвижения сайта. Данный файл позволит выбрать приоритет индексирования страниц, частоту обновлений и тип включаемых документов.
Как создать карту сайта?
Чтобы сгенерировать карту сайта, заполните самостоятельно все необходимые поля на сайте сервиса: адрес главной страницы, дату и частоту обновлений, приоритет и количество страниц. Запустите инструмент и дождитесь окончания генерации Sitemap.
Генератор карты проведет анализ сайта и сформирует текстовый файл Sitemap.xml, который нужно самостоятельно добавить в корень. Использование карты сайта дает следующие преимущества:
- страницы сайта добавятся в поиск;
- поисковые системы будут определять сайт гораздо быстрее;
- увеличится уровень соответствия поиску.
При использовании сервиса Saitreport вы можете создать XML-карту и воспользоваться дополнительным функционалом, задав параметры.
Обычно, чтобы сделать sitemap.xml, применяют один из следующих вариантов: онлайн сервисы, модули CMS, специализированные программы или вручную. Ниже мы подробно рассмотрим каждый из инструментов.
Как создать sitemap онлайн
В интернете существует масса сервисов позволяющих составить sitemap для поисковых роботов. Вот наиболее популярные из них:
Данные сервисы прекрасно работают и выполняют свои функции. Однако, как правило, на них присутствует ограничение на количество учитываемых страниц (обычно 500 штук). Кроме того, если на сайте плохая навигация и до некоторых документов довольно трудно добраться посылкам, то, вероятнее всего, эти страницы не попадут в sitemap.xml.
Как сделать sitemap.xml с помощью дополнений CMS
У большинства популярных систем администрирования есть дополнения, которые позволяют им создавать sitemap в автоматическом или в ручном режиме. Это наиболее удобный способ работы с картой сайта для больших ресурсов, с постоянно публикуемыми новыми материалами. Как показывает практика, можно найти несколько подходящих дополнений, вам останется только выбрать наиболее соответствующее вашим целям.
Например, для WordPress таким плагином является Google XML Sitemaps, а для Joomla – компонент Xmap. Кроме того, на многих движках возможность создать файл sitemap присутствует в исходной комплектации (например, 1с-Битрикс или DataLife Engine).
Как сделать sitemap с помощью Xenu
Xenu – это один из наиболее востребованных программных продуктов, созданных для SEO-специалистов . Данная программа может не только создавать sitemap для сайта, она обладает массой полезных функций – проверка битых ссылок, выявление редиректов и многое другое.
Надо отметить, что Xenu является не единственной программой, которая дает возможность составить sitemap.
Как создать sitemap для сайта вручную
Наиболее трудозатратный, но в тоже время верный способ – вручную. Его применяют, когда другие варианты не подходят. Это может быть, например, при попадании слишком большого числа ненужных страниц в карту сайта, или сайт с плохой навигацией, не использующий CMS.
После того, как сделаете sitemap.xml, обязательно проверьте получившийся файл. Это можно сделать с помощью сервиса в панели вебмастера Яндекс , который расположен по адресу
Use the Sitemap file to inform Yandex about the current structure of the site: specify a special directive in robots.txt or add it in Yandex.Webmaster.
With Yandex.Webmaster, you can:
Uploading Sitemap
Choose the site from the list.
Enter the file URL. For example, https://example.com/sitemap.xml .
Click the Add button.
The file is put into the processing queue. The robot will download it within two weeks. Every added file, including the ones listed in the Sitemap index file , is handled by the robot separately.
Once the file is downloaded you will see one of the statuses:
| Status | Description | Note |
|---|---|---|
| “OK” | ||
| “Redirect” | Remove the redirect and | |
| “Error” | File is formed incorrectly | inform the robot about the update |
| “Not indexed.” | Server response check |
|
| Disallow directive | Allow access to Sitemap and inform the robot about the update |
| Status | Description | Note |
|---|---|---|
| “OK” | The file is formed correctly and loaded into the robot"s database. | The date of the last download is displayed next to the file. Indexed pages appear in the search results within two weeks. |
| “Redirect” | The URL redirects to another address. | Remove the redirect and inform the robot about the update |
| “Error” | File is formed incorrectly | Click the Error link to view the details. Edit the file and inform the robot about the update |
| “Not indexed.” | When the robot tries to download the Sitemap file, the server returns HTTP status other than 200 | Check if the file is available to the robot. To do it, use the Server response check tool. Specify the full path to the file. If the file is unavailable, contact the site or the hosting server administrator. |
| The access to the file is denied in robots.txt with the Disallow directive | Allow access to Sitemap and inform the robot about the update |
Updating Sitemap
If you changed Sitemap file added to Yandex.Webmaster, there is no need to delete it and upload it again. The robot regularly checks the file for updates and errors.
To speed up the file indexing, click the icon. If you use the Sitemap index file , you can launch the processing of each file listed in it. The robot will download the data within two weeks. You can use this function up to 10 times for each host.
When you run out of all attempts, you will be able to try again 30 days after the first try. The exact date is shown in Yandex.Webmaster.
Removing Sitemap
Files added on the Sitemap files page can be removed from Yandex.Webmaster.If the Sitemap directive was added in the robots.txt file , delete it. After making changes, information about Sitemap disappears from the robot database and Yandex.Webmaster within a few weeks.
FAQ
Sitemap is displayed in the service as an excluded page with the “Invalid document format” status.
The Sitemap file (and other XML files) is displayed as excluded pages. This is, however, only for information purposes and doesn"t affect the site indexing or the Sitemap processing.
The Sitemap file can be displayed in a group of excluded pages if the robot tried to index it as a regular page, while the XML files aren"t indexed in the Yandex search engine and aren"t included in the search results.
The “Unknown tag” error occurred while processing Sitemap
The Sitemap file may contain only certain XML elements . If Yandex.Webmaster finds other elements in the file (for example, a reference to the mobile or multilingual version, image URLs), it displays the \"Unknown tag\" error. The robot ignores unsupported elements when processing Sitemap and takes into account the data from the supported elements. Therefore, you don"t need to change the Sitemap file.
If the file content is changed, the information in Yandex.Webmaster is updated within two weeks.
The Sitemap file has the “Not indexed” status.
The Sitemap file may be not indexed for several reasons:
The robot crawled the Sitemap file recently and didn"t process it yet. Wait for two weeks. If you use the Sitemap index file with multiple files, they may take longer to process than a single Sitemap file.
Приветствую Вас, дорогие друзья, на страницах сайт ! Сегодня я покажу, как добавить Sitemap.xml в Google и Яндекс . Напомню, что файл Sitemap – это карта сайта в формате XML для поисковиков, которая не видна посетителям блога. Она содержит список страниц сайта, которые должны быть проиндексированы поисковыми роботами, информацию о степени их важности и частоте обновления. Создание такой карты сайта помогает улучшить внутреннюю SEO оптимизацию сайта.
Как добавить карту сайта Sitemap.xml в панели для вебмастеров Яндекс и Google
Чтобы добавить файл Sitemap в Google и Яндекс, надо, прежде всего, его создать. Далее добавляем сайт в панели для вебмастеров Яндекса и Гугла и подтверждаем права на сайт. Если Вы этого еще не сделали, то ранее я писал, и .
Теперь переходим непосредственно к добавлению карты сайта в поисковики. Сообщить поисковым системам о наличии файла Sitemap можно двумя способами:
- Добавить директиву Sitemap в файл robots.txt. Подробнее об этом в статье “ “.
- Добавить файлы Sitemap в поисковики в Яндекс.Вебмастер и Инструменты для веб-мастеров Гугл.
Даже если у Вас уже прописаны пути к карте сайта в robots.txt, выполнение второго способа будет совсем не лишним.
Заходим в панель Яндекс.Вебмастер по ссылке http://webmaster.yandex.ua/ , предварительно авторизовавшись. Выбираем в списке добавленных сайтов тот, чей файл Sitemap хотим добавить в Яндекс. В левом меню “Общая информация ” выбираем пункт “Настройка индексирования ” – “Файлы Sitemap “. На открывшейся странице в специальное поле вводим полный путь к карте сайта и нажимаем кнопку “Добавить “.
Теперь карта сайта XML добавлена в поисковик Яндекс и файл Sitemap будет находиться в обработке около двух недель.
Если все сделано правильно, то через время можно будет наблюдать такую картину:
Как видите, я добавил в Яндекс два файла: Sitemap.xml и Sitemap.xml.gz. Второй – это запакованный XML-файл, сгенерированный плагином для WordPress Google XML Sitemaps. Думаю, сжатый файл Sitemap добавлять в Яндекс не обязательно, так как при нажатии на любую из кнопок “Подробнее “, можно увидеть совершенно одинаковую информацию.
Я оставил добавленными оба файла Sitemap, так как индексация блога проходит без проблем, и не вижу смысла что-то менять.
Если потребуется удалить карту сайта, нажмите на крестик напротив названия файла (см. предыдущий рисунок).
Как добавить файл Sitemap в Google
Здесь все делаем аналогично. Авторизуемся в Гугл и входим в Инструменты для вебмастеров по ссылке https://www.google.com/webmasters/tools/ . Выбираем из списка нужный сайт и в левом меню выбираем пункт “Конфигурация сайта ” – “Файлы Sitemap “. Нажимаем кнопку “Добавление/Проверка файла Sitemap “.
Появится всплывающее окно, где вводим адрес карты сайта и нажимаем “Отправить файл Sitemap “. Обратите внимание, что адрес http://сайт/ уже автоматически подставлен и надо дописать только недостающую часть.
Как видим, добавить Sitemap.xml в Google и получить информацию о нем можно быстрее, чем в Яндекс.
Точно также, при необходимости, делается проверка файла Sitemap в Гугл. Только для этого надо будет нажать кнопку “Проверить файл Sitemap ” во всплывающем окне.
Если при добавлении XML-файлов в Google возникли ошибки, удалите файлы из списка (см. рисунок выше) и попробуйте загрузить их вновь.
Добавить Sitemap.xml в Яндекс и Google надо один раз. Теперь при появлении новых статей на блоге поисковики точно не пропустят их при индексации, а сам процесс будет происходить быстрее. Карта сайта автоматически обновляется в панелях вебмастеров Яндекса и Гугла. Поэтому добавлять каждый раз новый файл Sitemap не надо.
Как видите, ничего сложного. Однако многие просто забывают добавить карту сайта XML в поисковики. Напомните им, отправив ссылки на эту статью в социальные сети (кнопочки ниже).
Loading...