SEO 101: Ваш сайт правильно сканируется?

1. Что такое XML Sitemap?
2. Как, черт возьми, я могу создать XML Sitemap?
3. Разделите Ваш Sitemap на Категории
4. Файл Robots.txt
5. Удаление неработающих ссылок
6. У меня есть мой XML Sitemap, и что теперь?

Наша команда-партнер Artmisto

Мы все хотим, чтобы наш сайт был веб-сайтом с самым высоким рейтингом по нашим ключевым словам, и мы делаем все возможное, чтобы повысить эффективность нашего сайта в Интернете.

Большинство методов, которые мы используем, сосредоточены на создании захватывающего и ценного контента для онлайн-пользователя, что в значительной степени так и должно быть.

Но даже самый лучший онлайн-контент может не улучшить онлайн-работу сайта, если роботы поисковых систем не смогут эффективно сканировать и индексировать ваш сайт.

Итак, как вы можете гарантировать, что ваш сайт легко сканируется и индексируется Google, Bing и другими поисковыми системами?

Как убедиться, что ваш звездный контент не пропущен и не проигнорирован поисковыми роботами?

Создание удобной для робота карты сайта XML, вот как.

Что такое XML Sitemap?

Карта сайта XML - это просто файл данных, который содержит список всех страниц сайта. Роботы поисковых систем используют эту карту сайта для идентификации страниц, чтобы их было легче проиндексировать для результатов поиска.

Хотя использование карты сайта не гарантирует лучшего ранжирования страниц, оно гарантирует, что поисковые роботы могут легко сканировать ваш сайт.

Если роботы поисковых систем не могут сканировать ваш сайт, или если им требуется слишком много времени для сканирования и индексации вашего сайта, ваша общая онлайн-производительность пострадает.

Итак, давайте рассмотрим несколько основных советов по созданию удобной для роботов XML-карты сайта для вашего сайта.

Как, черт возьми, я могу создать XML Sitemap?

Есть два основных способа создания карты сайта ...

1. Использовать программное обеспечение - в этой категории есть два варианта, которые находятся вверху моего списка. Первый XML Sitemaps а другой Кричащая лягушка , Любой из них создаст правильный XML-файл сайта на 500 страниц с бесплатной версией. Если вам просто нужна карта сайта, используйте XML Sitemaps, но Screaming Frog выйдет далеко за рамки и покажет вам ошибки сайта.
2. Используйте плагин - если вы используете WordPress, мне это нравится Google XML Sitemaps лучшее. Несмотря на то, что на большинстве WP-сайтов Yoast работает для SEO, который может удовлетворить ваши потребности в XML-карте сайта, я отключаю его и запускаю этот плагин, поскольку он позволяет вам расставлять приоритеты ваших страниц в поисковых роботах.

Разделите Ваш Sitemap на Категории

XML-карты сайта ограничены 10 МБ или 50000 URL. Хотя поисковый бот может легко читать файлы такого размера, он не может сделать это так быстро.

Чем дольше робот-поисковик сканирует ваш сайт, тем дольше он индексирует его содержимое и возвращает рейтинг страницы для данного поиска.

Если ваш веб-сайт довольно большой, вы можете создать несколько разных и меньших по размеру карт сайта, облегчающих поиск поисковым роботам.

Вы можете создать общую карту сайта для всех своих верхних страниц, дополнительную карту сайта для своих внутренних страниц и другую для своих страниц сообщений. Плагин Google XML Sitemaps сделает это за вас.

Это не только упрощает сканирование поисковыми роботами, но и ускоряет и упрощает обновление при внесении каких-либо изменений в ваш веб-сайт.

Файл Robots.txt

Файл robots.txt идет рука об руку с процессом сканирования поисковых систем и, по сути, сообщает поисковым роботам, какие страницы сканировать и какие страницы игнорировать.

Информация, которую вы включаете в файл robots.txt, гарантирует, что поисковый робот сканирует ваш сайт по самому легкому из возможных путей. Вы также можете использовать файл robots.txt, чтобы указать поисковому боту на игнорирование (например, noindex) каких-либо определенных областей вашего сайта. Взгляните на официальный сайт для больше деталей ,

Обязательно включите ссылки на все ваши файлы Sitemap в ваш файл robots.txt, чтобы гарантировать, что наиболее важные области вашего сайта будут точно просканированы и проиндексированы.

Типичный файл WordPress robots.txt может выглядеть так:

Пользовательский агент: * Disallow: / wp-admin / Disallow: / wp-includes / Карта сайта: https://zadroweb.com/sitemap.xml

Пользовательский агент: * Disallow: / wp-admin / Disallow: / wp-includes / Карта сайта: https://zadroweb.com/sitemap.xml

Если вы не используете WordPress, вы можете создать файл вручную и разместить его по адресу www.yourdomain.com/robots.txt.

Удаление неработающих ссылок

Существует множество инструментов для создания карт сайта, которые могут сканировать ваш сайт и автоматически создавать XML-карту сайта. Эти инструменты просты в использовании и могут сэкономить много времени. Дополнительным преимуществом является то, что такой инструмент, как Screaming Frog, покажет вам битые страницы и ссылки, которые приводят к ошибке 404 «страница не найдена».

Когда эти страницы с ошибками попадают в ваш XML-файл сайта, они могут сбросить поискового бота и значительно замедлить его работу.

Страницы с ошибками также не нравятся Google и другим поисковым системам, поэтому важно определить эти неработающие ссылки и удалить их как можно скорее.

После того, как вы сгенерировали карту сайта, обратите внимание на сломанные страницы и убедитесь, что 301 или 302 перенаправление все битые ссылки.

У меня есть мой XML Sitemap, и что теперь?

Как только ваш файл сайта будет готов, сохраните его в корневой папке вашего сайта, как и файл robots.txt.

Вы также хотите отправить его Инструменты Google для веб-мастеров используя вкладку sitemaps на панели инструментов. Вы можете повторно отправить свою карту сайта в любое время, чтобы совпасть с любыми изменениями на вашем сайте.

Создание XML-карты сайта для вашего сайта облегчает поисковым роботам сканирование и индексацию вашего контента. Хотя это не гарантирует повышения рейтинга страниц вашего сайта, это первый шаг к тому, чтобы его заметили Google и другие поисковые системы.

Помните, что если поисковым роботам сложно сканировать ваш сайт, даже самый лучший контент в мире не поможет вашему рейтингу страницы.