Наша команда-партнер Artmisto
У статті про те, як прискорити індексацію сайту , Одним із способів було: налаштувати правильний robots.txt для WordPress. Про це я зараз детально розповім, адже він потрібен не тільки для прискорення індексації.
Стаття буде невелика, але якщо вам зовсім лінь читати про створення robots.txt для wordpress, можете скачати його відразу і залити на свій хостинг, тільки підставте адресу свого сайту. Стаття про те, як завантажувати файли на сайт вам в цьому допоможе.
Навіщо потрібен robots.txt
Отже, robots.txt - службовий файл, призначений для пошукових роботів і показує їм, які файли, папки, розділи сайту слід індексувати, а які ні. Закриті від індексації в Роботс статті ніколи не опиняться в індексі пошукових систем.
Дуже важливо приховати від індексування всі непотрібні файли і папки (програмну частину движка та інше), щоб пошуковик не витрачав на них сили, а то втомиться і до самого важливого не дійде! 🙂
Якщо у сайту є піддомени, для кожного з них формується окремий robots.txt.
Яндекс строго дотримується правил файлу robots.txt, а ось Google немає. Він запросто може проіндексувати заборонені сторінки і виводити їх в пошуку, особливо якщо на цю сторінку ведуть посилання. В панелі веб-майстра обох пошукових систем є інструмент перевірки файлу robots.txt, яка показує, чи правильно він працює: 
Де знаходиться robots.txt WordPress
Цей файл повинен знаходитися в кореневому каталозі вашого сайту. Потрапити туди, щоб завантажити знову відредагований файл, можна по ftp, використовуючи Total Commander , Наприклад. Ви можете переглянути вміст Роботс в браузері, набравши в адресному рядку: https: //адрес_сайта/robots.txt.
Правильний robots.txt для WordPress
А ось і він, код самого правильного файлу Роботс. Скопіюйте його в свій robots.txt і на цьому можна закінчити. Якщо ви допитливі, продовжуйте читання і дізнайтеся, що означає кожен рядок файлу.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 User -agent: * Disallow: / wp -admin Disallow: / wp -includes Disallow: / wp -content / plugins Disallow: / wp -content / cache Disallow: / wp -content / themes Disallow: / trackback Disallow: * / trackback Disallow: * / * / trackback Disallow: * / * / feed / * / Disallow: * / feed Disallow: / *? * Disallow: / tag User -agent: Yandex Disallow: / wp -admin Disallow: / wp -includes Disallow: / wp -content / plugins Disallow: / wp -content / cache Disallow: / wp -content / themes Disallow: / trackback Disallow: * / trackback Disallow: * / * / trackback Disallow: * / * / feed / * / Disallow: * / feed Disallow: / *? * Disallow: / tag Host: ваш_сайт .ru Sitemap: http: // ваш_сайт .ru / sitemap .xml .gz Sitemap: http: // ваш_сайт .ru / sitemap .xml
User-agent: * Disallow: / wp-admin Disallow: / wp-includes Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / themes Disallow: / trackback Disallow: * / trackback Disallow: * / * / trackback Disallow: * / * / feed / * / Disallow: * / feed Disallow: / *? * Disallow: / tag User-agent: Yandex Disallow: / wp-admin Disallow: / wp-includes Disallow : / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / themes Disallow: / trackback Disallow: * / trackback Disallow: * / * / trackback Disallow: * / * / feed / * / Disallow : * / feed Disallow: / *? * Disallow: / tag Host: ваш_сайт.ru Sitemap: https: //ваш_сайт.ru /sitemap.xml.gz Sitemap: https: //ваш_сайт.ru /sitemap.xml
Перейдемо до докладного розгляду значення цих рядків.
- «User-agent: *» означає, що правила, наведені нижче, будуть діяти для всіх пошукових систем. У другій частині файлу ми прописуємо правило спеціально для Яндекса: «User-agent: Yandex».
- «Allow:» - дозволено індексувати. У варіанті Роботс для вордпресс ми це не використовуємо.
- «Disallow:" - заборонено індексувати.
- «Host: ваш_сайт.ru» - обов'язково потрібно вказати основне дзеркало. Ваш сайт відкривається за двома адресами: з www і без www. Але в підсумку відбувається редирект на один з адрес (у мене на блозі без www) - це і є основне дзеркало, яке потрібно вказати тут. Цей рядок може бути розташована в будь-якій частині файлу.
- «Sitemap:» - посилання на XML-карту сайту. Якщо файлів з XML-картами кілька, пропишіть шлях до кожного з них.
- Регулярні вирази: зірочка * - означає довільну послідовність символів.
Дуже детально про директиви robots.txt написано в допомоги Яндекса, тому якщо щось не зрозуміло, спробуйте прочитати там.
Якщо на вашому сайті не налаштовані ЧПУ , То вищенаведений файл Роботс для вордпресс вам не підійде, скористайтеся наступним:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 User -agent: * Disallow: / cgi -bin Disallow: / wp -admin Disallow: / wp -includes Disallow: / wp -content / plugins Disallow: / wp -content / cache Disallow: / wp -content / themes Disallow: / trackback Disallow: * / trackback Disallow: * / * / trackback Disallow: * / * / feed / * / Disallow: * / feed Disallow: / tag User -agent: Yandex Disallow: / cgi -bin Disallow: / wp -admin Disallow: / wp -includes Disallow: / wp -content / plugins Disallow: / wp -content / cache Disallow: / wp -content / themes Disallow: / trackback Disallow: * / trackback Disallow: * / * / trackback Disallow: * / * / feed / * / Disallow: * / feed Disallow: / tag Host: ваш_сайт .ru Sitemap: http: // ваш_сайт / sitemap .xml .gz Sitemap: http: // ваш_сайт / sitemap .xml
User-agent: * Disallow: / cgi-bin Disallow: / wp-admin Disallow: / wp-includes Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / themes Disallow: / trackback Disallow: * / trackback Disallow: * / * / trackback Disallow: * / * / feed / * / Disallow: * / feed Disallow: / tag User-agent: Yandex Disallow: / cgi-bin Disallow: / wp-admin Disallow : / wp-includes Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / themes Disallow: / trackback Disallow: * / trackback Disallow: * / * / trackback Disallow: * / * / feed / * / Disallow: * / feed Disallow: / tag Host: ваш_сайт.ru Sitemap: https: //ваш_сайт/sitemap.xml.gz Sitemap: https: //ваш_сайт/sitemap.xml
Після завантаження завершення налаштування robots.txt WordPress обов'язково перевірте його роботу в вебмайстрів пошукових систем (про це було написано вище). Найближчим часом я планую написати ще кілька постів про просування блогу, тому підписуйтесь на RSS , Щоб бути в курсі.
