Наша команда-партнер Artmisto
Нещодавно я описав «мережу для пошукових роботів» - підхід до підвищення повноти індексу на великих сайтах. Спосіб заснований на ефективній внутрішній перелинковке, яка одночасно працює на:
а) поліпшення структури проекту для користувача;
б) збільшення доступності документів для роботів пошукових систем.
Це стає можливим завдяки аналізу логів доступу і накопичення статистики активності ботів-індексаторів.
Пост, який ви зараз читаєте - пряме продовження описаної статті. Тут піде мова про застосування методу в інших аспектах оптимізації. Вони актуальні навіть для сайтів, які не відчувають серйозних проблем з повнотою індексу. Рекомендую ознайомитися з першою частиною, якщо ви цього ще не зробили - так буде простіше розібратися.
Як працює «мережу для пошукових роботів»
Якщо розглядати тільки «мережу для пошукових роботів» саму по собі, то стає очевидним її важливий недолік. Це відносно висока складність розробки і інтеграції з сайтом. Взагалі-то для нормального програміста роботи тут небагато. Є величезна кількість готових рішень для ряду етапів процесу, просто потрібно грамотно їх скомпонувати. Головне ж у тому, що
Система потрібна не тільки і не стільки для «підсовування» роботу непроіндексованої сторінок.
Це лише одне із завдань. А кінцева мета - створити систему збору важливої інформації і інструменти для її використання в структурі сайту.
Фундамент такої системи - база даних з відомостями про кожній сторінці сайту. Спеціальний скрипт регулярно робить аналіз acess.log і оновлює базу. Оперативність тут не дуже важлива, можна запускати скрипт пару раз на годину. Для розширення доступних відомостей непогано буде підключити й інші джерела інформації (консолі веб-майстрів, SEO-сервіси і т.д).
Але навіть працюючи просто з acess.log можна спорудити щось на зразок цього (скрін з PhpMyAdmin - інтерфейсу для управління базами даних; клікабельно):
Дані і так є в логах, але структурована інформація допомагає швидко оцінювати стан різних частин проекту і вжити відповідних заходів.
Це фрагмент структури реальної таблиці з даними. Як бачите, для кожної сторінки сайту збирається інформація про:
- кількості візитів роботів Google і Яндекса;
- датах першого і останнього заходу роботів;
- датах і кількості відвідувань живими користувачами кожної з пошукових систем.
До першої статті були питання про те, як саме працює система. Тепер має бути більш зрозуміло.
Ми просто віддаємо в перелинковке вищий пріоритет тих сторінок, де і yandexbot_visit_first = 0 і googlebot_visit_first = 0. Пріоритет трохи менше - тим, де yandexbot_visit_first = 0 і googlebot_visit_first більше 0 тобто було відвідування тільки Googlebot-му. Вловили принцип? Запевняю вас, для програміста, який хоча б віддалено знає, що таке бази даних, реалізувати подібний алгоритм не складе ніяких труднощів.
Але повернемося до таблиці. У ній не так вже й багато інформації, правда? Скріншот може виглядати страхітливо, але нічого особливого в ньому немає. Ці відомості запросто збере будь-який власник сайту.
Привабливість у тому, що нехитрі записи про візити, помножені на величезну кількість сторінок (ми ж говоримо про великі сайтах!) Дають значний масив інформації, яку можна і потрібно використовувати як для SEO-досліджень ( найпростіший приклад ), Так і для прийняття рутинних рішень по просуванню конкретного проекту.
приклади використання
Я роблю 3 різні таблиці для даних, де зібрані відповідно відомості про хабах (на великих проектах їх можуть бути десятки тисяч, разом з підсторінками - сотні тисяч), рядових сторінках і нарешті, url, яких немає в структурі сайту, але які з'являються в логах . Див. Схему про напрямки використання інформації (клікабельно):
Роблячи вивантаження з кожної таблиці за необхідними параметрами можна отримати відповіді на безліч питань. наприклад:
- Які хаби не відвідують роботом вже місяць?
- Які сторінки активно відвідуються Google, але погано - Яндексом і навпаки?
- Які сторінки раніше приносили трафік, а зараз перестали?
- На яких хабах максимальна активність ботів? Куди можна додати посилань?
Всі параметри запитів (час, кількість відвідувань, маска url ...) можна гнучко налаштовувати.
Розумієте, навіщо це треба?
Наявність системи посторінковою аналітики, навіть в самому зародковому вигляді, допомагає приймати обґрунтовані рішення по SEO. Величезна кількість кроків можна робити з повною упевненістю, спираючись на факти, актуальні для конкретного проекту. Забудьте про смутні натяки техпідтримки пошукача або поради в дусі «мамою клянусь» від колег!
Непогано, правда? Особисто мені подобається.
На закінчення
Після виходу першої статті отримав кілька пропозицій налаштувати «мережу для пошукових роботів». Будь ласка, майте на увазі - сам я тільки консультую . Для реалізації системи вам буде потрібно веб-програміст. Крім того, перш ніж щось впроваджувати, мені треба бути обізнаним з сайтом (раптом у цьому випадку такий підхід взагалі неактуальний?) І з вами особисто (тому що створення посторінкового аналітики передбачає тривале співробітництво). Так що перший етап роботи незалежно від проекту - це мій стандартний аудит сайту .
ps Хоч в верху цієї статті і коштує пафосна приладова панель Мерседеса, описаний підхід скоріше нагадує трактор. Це робоча універсальна техніка, до якої можна причіплювати різні інструменти. Хочеш - став мережу для пошукових роботів. Хочеш - Цапко для висмикування url, яким нема чого робити в індексі. А можна і лійку приробити, щоб полити внутрішнім посилальним важливі сторінки.
Як тут не згадати безсмертне «Бачите, Балаганов, що можна зробити з простої швейної машини Зінгера? Невелике пристосування - і вийшла чарівна колгоспна сноповязалка. »
Успіхів!
Вловили принцип?У ній не так вже й багато інформації, правда?
Які сторінки активно відвідуються Google, але погано - Яндексом і навпаки?
Які сторінки раніше приносили трафік, а зараз перестали?
На яких хабах максимальна активність ботів?
Куди можна додати посилань?
Розумієте, навіщо це треба?
Непогано, правда?
Аптом у цьому випадку такий підхід взагалі неактуальний?
