Як створити правильний файл robots txt, директиви Host Sitemap Disallow і ін ..

1. Robots.txt - для чого він потрібен
2. Створення файлу robots.txt і правильна настройка
3. Види директив і їх призначення - Host Sitemap Disallow Allow тощо.

Наша команда-партнер Artmisto

Файл robots.txt - це текстовий файл, основна функція якого полягає в обмеженнях доступу до даних ресурсу. Файл - це інструкція для робота ПС, яка дозволяє обмежити доступ до вмісту сервісу, заборонити індексування конкретних сторінок, каталогів або файлів.

Robots.txt - для чого він потрібен

Текстовий компонент robots. txt є важливим файлом, за потрібне для пошукової оптимізації та просування ресурсу. Файл автоматично виключає сторінки і каталоги, які не несуть потрібної інформації.

Призначення файлу визначається розмірами і структурою електронного ресурсу. Щоб невеликих ресурсів, що володіють простою структурою, функції файлу robots.txt виявляться не такими ефективними. Але деякі компоненти і директиви допоможуть нормалізувати і поліпшити роботу сайту.

Створення файлу robots.txt і правильна настройка

Для створення текстового файлу використовується будь-яка текстова програма або редактор. Виходячи з ваших вимог, складається текст документа і зберігається в форматі txt, надаючи документу назву robots.

Створити robots.txt можна за допомогою онлайн редакторів, які надають користувачам готові шаблони файлів, доступних для скачування і подальшого використання. При використанні автоматично-складених користування необхідно уважно вивчати вміст документа, який може відкривати або закривати доступ до частин сайту.

Налаштування файлу robots - важливий етап створення текстового документа robots.txt. Правильна настройка компонента дозволяє запобігти використанню приватної інформації, яка може відображатися при використанні пошукових систем. Створюючи, редагуючи і налаштовуючи правильний robots. txt, варто вивчити загальні правила створення, управління директивами і принципи застосування файлу.

Правильний robots. txt починається c команди, що відображає назва індексуючих роботів, які використовуються на різних пошукових системах. Прикладами команд можуть бути такі назви: Yandex, Yandex Bot, Google і так далі. Вказуючи назву робота, користувач тим самим програмує його звертатися тільки до тієї частини файлу, яка відповідає його назві.

Всі вказівки у файлі robots.txt створюються блоками, що мають директиви для певного робота або для групи роботів. Дозволяють і заборонні команди можуть використовуватися спільно, наприклад, закриваючи доступ до сторінок починаються з blog, і відкриваючи доступ до ресурсів, які мають назву blog / page. Це можна зробити зазначенням директив Disallow і Allow, які закривають доступ до всього розділу, і відкриває до деяких частин ресурсу.

Структура файлу відрізняється легкістю і простотою, але для створення рекомендується притримувати правильного порядку і синтаксису документа. Основними правилами є:

• кожна директива вказується з нового рядка без використання пробілу, вживання великої літери, символів національних алфавітів, лапок та інших знаків;
• порожнє значення кожної директиви дозволяє або забороняє доступ до всіх ресурсів;
• перед назвою дозволеної або забороненої директиви використовується слеш «/»;
• директива «Host» вказується один раз для вказівки головного дзеркала одного сайту без використання призначення «http: //»;
• для створення коментарів необхідно використовувати символ #.

Перед тим, як використовувати файл robots.txt і завантажувати на сайт, користувачі можуть перевірити правильність документа, використовуючи онлайн-сервіси для аналізу. Ця функція присутня на ресурсі Яндекс.Вебмайстер і Google.

Види директив і їх призначення - Host Sitemap Disallow Allow тощо.

Як директиви використовуються різні команди. Вибір директиви грунтується на меті користувача, який закриває або відкриває доступ до сайту або його частин.

Команда «Disallow» використовується для блокування сторінок. Disallow page / закриє доступ до всіх сторінок, які мають в шляху вказане позначення. Директива Disallow / page $, наприклад, заблокує ті сторінки, в дорозі яких присутня в точності конкретно це позначення, але допустить до індексації сторінки / page1, / page / xtool і інші.

«Allow» - команда, що дозволяє індексацію. Встановлюючи позначення / page для даної команди, користувач відкриває доступ до всіх сторінок, які мають в дорозі це позначення.

Директива «Host» дозволяє вказувати пошуку головне дзеркало електронного ресурсу. Для використання функції користувачеві необхідно вказати команду в блоці директиви і вказати адресу ресурсу.

Директива «Sitemap» дозволяє вказувати розташування карти сервісу, даючи пошуковому роботу інформацію про наявність карти і можливості індексації.

Директива Clean-param - команда, за допомогою якої користувач може виключити з індексації ресурси з однаковим вмістом.

Директива Crawl-delay - це інструкція для зниження навантаження, яка нормалізує роботу великих сайтів, що володіють складною структурою. Команда дозволяє знизити скачування і відвідування сторінки, здійснювані автоматичним шляхом, до одного разу на три-чотири секунди.