Як перевірити позиції сайту в Яндексі і Google, і чому вони відрізняються

1. Чому відрізняються позиції в Яндексі
2. персоналізація
3. Багаторукий бандит - «жива» видача Яндекса, постійні перестановки позицій
4. Чому не збігаються позиції в Google
5. Технології знімання позицій
6. Google
7. інші проблеми
8. В Google
9. експериментальна аудиторія
10. Змінюється верстка сторінки результатів пошуку
11. Розсинхронізація серверів, які віддають відповіді
12. Зведена таблиця факторів. Висновки
13. Невже точність знімання позицій взагалі не можна оцінити?
14. для Google

Наша команда-партнер Artmisto

Останні роки еволюції пошукових систем привели до того, що поняття «точні» або «поточні» позиції, здається, перетворилося на фантом. Сьогодні навіть на одному і тому ж комп'ютері по одному і тому ж запиту, введеному двічі поспіль, пошукові позиції можуть сильно відрізнятися, не збігатися аж до десятків позицій. Всі сервіси перевірки позицій показують різні результати в один і той же день. Таке відбувається як з комерційних, так і не комерційним ключовими словами, як з геозалежні, так і з геоНЕзавісімимі.

Результати пошуку Яндекс по запиту «як зав'язати краватку» в ході двох перевірок поспіль на одному і тому ж комп'ютері. Імовірно потрапив в апдейт ( «шторм»), оскільки вже на наступний день позиції стабілізувалися, і «стрибати» продовжили тільки 9 і 10 позиції

Як же перевіряти позиції сайту в пошукових системах сьогодні, який сервіс найточніший для знімання місця сайту в Яндексі і Google, і чи є такі взагалі? Спробуємо розібратися.

Велике порівняння сервісів відстеження позицій: top-inspector.ru, naserpe.ru, topvisor.ru, seolib.ru, rush-analytics.ru, seranking.com

Чому відрізняються позиції в Яндексі

Навскидку року до 2009 оптимізатор міг в будь-який день, крім днів безпосереднього апдейта видачі, з 95% впевненістю назвати поточну позицію сайту клієнту по будь-якому запиту. Той міг перевірити позицію зі свого комп'ютера і переконатися, що вона збігається. 5% сумнівів залишалися на випадки, коли запит клієнта був оброблений одним з серверів Яндекса, на якому була ще не оновилася версія котрійсь із баз даних, або якщо IP потрапив в аудиторію, на якій Yandex проводить тести.

Хоча можливість обліку регіональності існувала в Яндексі з 2004 року,

Стало зручніше працювати з регіональною інформацією. Тепер Яндекс автоматично визначає, в якому місті знаходиться комп'ютер, з якого надійшов запит, і, якщо уточнення по регіону має сенс, пропонує повторити пошук, обмеживши його сайтами даного регіону.

але оскільки опція не була включена за замовчуванням і тільки для деяких запитів пропонувалася користувачеві, відмінності у видачі Яндекса для користувача з Москви, Києва і навіть Торонто не вносили сильних розбіжностей в те, на якій позиції знаходиться сайт.

Геотаргетинг вводився поступово. На початку підключався на рівні країн ( « Яндекс зробив український пошук », 2 жовтня 2007 року), ніж не доставляв сильних клопоту оптимізаторів: була можливість вибрати регіон пошуку, максимум доводилося використовувати проксі потрібної країни. І тільки сильно після країни дробилися до регіонів (десь міст, а десь областей і міст), в кожному з яких могли бути свої сайти в ТОПі.

Варто також відзначити, що довгий час, незважаючи на існування регіональності, столичні сайти могли мати однакові позиції як по столиці, так і по регіонах. Відбувалося це тому що:

1. Для багатьох регіонів довгий час не було регіональних сайтів взагалі.
2. Навіть якщо вони були, то могли бути погано оптимізованими: регіон сайту в силу якихось причин не признавався Яндексом або зізнавався неправильно
3. Столичних сайтів завжди було набагато більше, вони мали більше посилань, віку і трасту
4. З причини деяких перекосів у формулі ранжирування в сторону посилань, віку і трасту сайту

Таким чином, іноді для знімання позиції не було потрібно навіть виставлення регіону: для жителя Москви і Архангельська пошук віддавав московські відповіді (іноді, навіть якщо в Архангельську були свої сайти).

10 квітня 2009 року Яндекс викотив алгоритм «Армазас» (він же «Анадир») - з'явилася включена за замовчуванням регіональна видача або «геотаргетинг». Прес-релізи раз і два . Регіон користувача визначався на основі IP, і для кожного регіону в разі наявності в ньому локальних сайтів перевага віддавалася саме їм. Так пошук вперше став стягувати різну плату двох людей, що знаходяться в різних куточках однієї і тієї ж країни.

З цього моменту SEO-студії стали просувати сайти не просто «в Яндексі», а «в Яндексі в регіоні такому-то». Для точного збору позицій стало обов'язковим або використання параметра lr = номер регіону, або виставлення розташування в настройках Яндекса на сторінці https://yandex.ru/tune/geo . Додатково через параметр адресного рядка rstr =-номер регіону можна було обмежити область пошуку тільки сайтами з заданого регіону (за замовчуванням вимкнено, не рекомендується). Клієнту повідомлялося, за яким регіону відбувається перевірка позицій сайта в Яндексі, і як йому виставити такий же у себе в браузері. При виконанні даних умов позиції співпадали. При цьому апдейти відбувалися відносно рідко, а позиції між ними залишалися статичними.

Регіональність підключалася спочатку по Росії, а пізніше і по інших країнах СНД.

Яндекс запустив нову версію українського пошуку - «Полтава». Тепер при відповіді на геозалежні запити пошук віддає перевагу ресурсам з того ж регіону, що і користувач.

Регіональність, нехай і додала клопоту оптимізаторів, але залишила позиції «точними»: можна було бути впевненим, що така ж позиція буде і у відвідувача з цільового регіону.

персоналізація

17 серпня 2011 року Яндекс запустив «Рейк'явік» - облік мовних уподобань користувача, зробивши таким чином перший крок в сторону персоналізації, а, значить, відмінною видачі на кожному комп'ютері.

12 грудня 2012 року пошук остаточно став персональним - Yandex впровадив алгоритм «Калінінград». Тепер зібрана інформація про переваги конкретного користувача використовувалася в пошуку, щоб скласти для нього персональні результати:

Він пропонує користувачам підказки та відповіді, враховуючи їхні особисті інтереси та уподобання. Так, за запитом [гаррі поттер] любителю читання Яндекс знайде насамперед книгу, а не фільм або гру.

Персоналізація працювала навіть для неавторизованих в Яндексі користувачів по куки. Краще за всіх про наслідки даного нововведення з точки зору перерозподілу трафіку написала Олена Камська.

Варто відзначити, що персоналізованими результати пошуку ставали тільки після набору певної кількості статистики по користувачеві, що для конкретної тематики часто наступало лише на другий день, коли інтерес користувача до теми міг бути вже остаточно задоволеним. Для SEO-фахівців це означало, що для знімання позицій куки можна скидати не кожен запит, а раз в N запитів. Це виправило оновлення «Калінінграда» - алгоритм «Дублін», який вступив в силу в червні 2013 року. Тепер переваги користувача оновлювалися в режимі реального часу, і персоналізація за запитами починала діяти вже через кілька пошуків / переходів / відвідувань сайтів користувачем.

Як працює алгоритм Яндекс.Дублін

Починаючи з «Калінінграда» для правильного зняття позиції сайту крім обліку регіону необхідно було також скинути персоналізацію, для чого достатньо було перед кожним зніманням позиції очистити куки або відкрити нове вікно браузера в режимі «Інкогніто», де куки при відкритті відсутні.

Також я рекомендую вимкнути опцію «враховувати мою історію пошуку в результатах» на https://yandex.ru/search/customize , Навіть якщо збираєтеся зняти позицію по всього один запит. Достовірно невідомо, чи використовує Yandex IP-адреса користувача для персоналізації його видачі, або ж обмежується тільки куками. Якщо IP-адреса все ж використовується, то ця настройка може відключати персоналізацію на основі IP-адреси користувача. І вже точно включеної ця настройка призведе до зміщення позицію вже після кількох запитів.

Налаштування «враховувати мою історію пошуку в результатах» в Яндексі

З цього моменту позиція перестала бути точною, оскільки відрізнялася для різних комп'ютерів з урахуванням персоналізації, але її все ще можна було повторити, виставивши правильний регіон і скинувши персоналізацію (куки). Далі все стане ще гірше ...

Введення повної персоналізації призвело до природного конфузу багатьох клієнтів. Якщо необхідність виставлення правильного регіону для зняття позиції була більш-менш зрозуміла, то чому на комп'ютері потенційного клієнта з даного регіону позиція в Яндексі може бути зовсім інший, зрозуміти було важко. «Позиція» стала індикативним фантомом: поміряти можна, а гарантувати на комп'ютері у потенційного клієнта і навіть сусідньому комп'ютері - немає.

Багаторукий бандит - «жива» видача Яндекса, постійні перестановки позицій

Приблизно в кінці 2015 початку 2016 року Яндекс ввів «багаторукого бандита» (Він же «однорукий бандит», він же «детермінований хаос») в результати пошуку. Технологія була націлена на «розконсервування ТОПів»: дати новим сайтам фору, підкидаючи їх в ТОП-10 для тесту поведінкових. Старі сайти, законсервувати ТОП фактором віку (накопичилися за ним статистичних даних), на цей період викидаються з ТОПу (аж до вильоту за ТОП-50). Ідея полягала в тому, що новачки можуть виявитися краще старичків, тому слід дати їм шанс показати себе.

«Бандит» працює не на всі запити і тематиках. Імовірно Yandex включив його тільки по тим запитам або тематиками, де у нього був надлишок якісних сайтів, що дають хороший відповідь користувачеві. До таких належать всі комерційні тематики з високим чеком. Дуже хитро з точки зору Яндекса, варто зауважити. Тобто там, де вже надлишок дають якісну відповідь сайтів, давайте просто будемо їх обертатися ... Оскільки сам я працюю тільки в комерційних висококонкурентних тематиках, то за моїми запитами «Бандит» присутній скрізь, і подальші міркування саме в контексті комерційних ВК тематик.

З цього моменту стало практично неможливим отримати повністю однаковий ТОП-10 в комерційній тематиці: він почав завжди відрізнятися як мінімум перестановкою 9-ої і 10-ій позиції між собою (за інформаційними запитами однаковість видачі - поки ще не рідкісне явище). За умови усунення персоналізації протягом двох вимірів поспіль, позиція сайту може скакати до ± 20. При цьому чим ближче сайт до ТОП-¾, тим менше скачуть його позиції - сайти всередині ТОП-3 часто просто ротирують перших три позиції між собою. У ТОП-4/10 позиції можуть змінюватися на ± 2-3, іноді сайт може бути викинутий за ТОП-50. Сайт ближче до 10-ї позиції часто викидається з ТОП-10, і на його місце заходить інший сайт. За межами ТОП-10 расколбас збільшується. І чим далі від ТОП-10, тим сильніше расколбас: аж до ± 20 позицій. Природно, мова йде про виміри з відключеною персоналізацією: режим «інкогніто», відключення «враховувати мою історію пошуку в результатах», скидання кукисов перед кожним виміром. Тому немає ніякого сенсу порівнювати онлайн сервіси масової перевірки, серверні скрипти, платні і безкоштовні програми і взагалі будь-який софт по точності збору позицій в Яндексі між собою: у вас всюди будуть розбіжності.

Нижче представлені скріншоти зміни позицій кількох запитів в Яндексі протягом місяця. Незважаючи на те, що за деякими з них створюється відчуття, що в деякі періоди позиція статична, в дійсності при ручній перевірці сайту по позиціях всередині дня вони теж «стрибають»: якийсь в діапазоні побільше, якийсь у діапазоні поменше. До того ж даний сервіс працює, імовірно, на основі Яндекс.XML, де, за моїми особистої відчуттям, більше статичності, ніж на реальній видачі.

У міру підповзання цього запиту до топу в Яндексі розкид його позицій день у день трохи зменшується

цей запит «стабілізувався» в діапазоні 10-15 позицій

Але від вильотів за ТОП-50 не страхує і близькість до 10-ій позиції

зовсім не страхує

А ось ТОП-3 страхує від усього. Поки ти заслуговуєш там перебувати, відбуваються максимум перестановки в межах ТОП-3

У цього запиту життя в Яндексі теж вдалася

Тобто видача Яндекса тепер змінюється не просто в якісь проміжки часу, вона «жива» весь час.

З цього моменту слово «точні» стало більше непридатним до позицій в Яндексі в принципі. SEO-шники заговорили про вимірювання середньої позиції за період. Тобто протягом, наприклад, доби або тижня робилося, наприклад, 5 вимірів, з яких виводилася середня позиція. Якщо всередині вимірів є 1 або кілька (враховуйте кількість за смаком 🙂) вильотів за ТОП-50, його, ймовірно, варто відкинути.

Користувачі тепер часто скаржаться в Facebook, що то один сервіс знімає «не так, як у них вручну показує», то інший. Насправді ж тепер всі сервіси знімають «і так», і «не так», - така нова реальність, і з нею доводиться рахуватися.

Чому не збігаються позиції в Google

По-перше, в Google працюють абсолютно аналогічні технології. Тут є ті ж геозалежні і персоналізація видачі і підказок.

По-друге, дізнатися позиції сайту в Google одночасно і простіше, і складніше. Простіше, тому що відсутній «детермінований хаос», і позиція буде, як правило, повністю статичної як мінімум до наступного апдейта. Складніше, тому що, по-перше, відсутня можливість управляти регіональністю так само просто, як в Яндексі (в листопада 2015 Гугл вилучив можливість змінити місце розташування з налаштувань), по-друге, геозалежні виражена ще сильніше. У США, наприклад, видача з комерційних геозалежних запитам може бути різною, навіть якщо робити запит з двох різних точок на відстані 100 метрів один від одного. Був експеримент, коли хлопець сів на маршрутку, курсував по місту і знімав позиції. Його положення змінювало результати пошуку дуже значно. Посилання, на жаль, знайти не можу ...

результати пошуку в Гугл за запитом «піраміда» для різних регіонів Росії

Візьмемо, наприклад, запит [піраміда]. Крім статей про багатогранники і про спорудження древніх єгиптян, в Волгограді ми покажемо афішу популярного кінотеатру, в Казані - адресу відомого розважального комплексу, а в Оренбурзі - місцевий комп'ютерний магазин.

Про повну статичності говорити не доводиться: як показав Ренд Фишкин, як мінімум сильний вплив протягом дня може надати CTR на видачу , Але це скоріше маргінальний кейс, який доречний по трендовим запитам і новин.

Узагальнимо: видача в Google не змінюється на кожен запит як в Яндексі (за умови відключення персоналізації) ...

Каменем спотикання для знімання «точних» позицій в Google є якраз регіональність. Існують мінімум 5 способів подивитися, які позиції займає сайт, очима користувача з цільового регіону:

1. Через інструмент для рекламодавців контексту Adwords Google Ad Preview - вважається найточнішим, адже брехати тим, хто безпосередньо приносить гроші Google, недобре. На жаль, віддає трохи результатів (у мене виходило до 25), і віддає їх картинкою 🙂.
2. Емуляція вашого місця розташування в інструментах веб-розробника Google Chrome (ручна підміна ваших геокоордінат в браузері) - дає відмінності від першого способу.
3. Параметр адресного рядка & near = cityname - дає відмінності від першого способу.
4. Через Proxy / VPN потрібної країни або локальні клони Google в кожній окремо взятій країні як, наприклад, aol.com - практично нездійсненний, якщо стоїть завдання охопити хоча б 50 країн і кілька сотень міст.
5. Метод на основі дешифрування параметра адресного рядка uule, представлений в 2013 році , І на основі якого нещодавно розробив сервіс наш співвітчизник region.xstroy.com - працює так само, як і Google Ad Preview, але без обмежень по числу результатів і в звичайному вигляді, а не картинкою. Ймовірно, є найкращим на сьогодні і вже точно набагато зручніше методу №1.

З урахуванням вище перерахованого уявіть, який може бути розкид у різних сервісів знімання позицій ... Але і це ще не всі фактори, що впливають на «точність».

Технології знімання позицій

Яндекс.XML або парсинг

13 листопада 2003 року Яндексом був заявлений «сервіс для хороших роботів» Яндекс.XML , Який чи пошукові результати в XML-форматі з обмеженням в 200 запитів на добу. Більше число запитів можна було докупити.

На сайті Яндекс.XML є приклади використання XML-пошуку з вихідним кодом програм: наприклад, гра «По батькові», що дозволяє дізнатися по батькові відомої людини, або цікаве для багатьох веб-майстрів додаток для визначення місця сайту у видачі Яндекса

Багато років SEO-шники знімали позиції в Яндексі саме цим сервісом.

У бородатому 2006 Яндекс підняв ліміт з 200 до 1000 запитів / добу на 1 зареєстрований IP, щоб посприяти його популяризації. При необхідності можна було докуповувати запити. Отримати необмежений доступ до Яндекс.XML можна було, додавши свій сайт в РСЯ. За прямої парсинг html-видачі Яндекс тоді Банилів по IP (Капчі тоді у Я ще не було, тому такий хардкор).

Позиції в Яндекс.XML могли відрізнятися від позицій в реальній видачі, проте дуже незначно (1-3 позиції). Відмінності збільшувалися тільки в дні апдейтів і могли бути істотними по малому числу запитів. З огляду на загальне зручність використання XML SEO-шники закривали очі на недоліки, добували IP для підвищення лімітів і знімали позиції в основному цим сервісом.

В кінці 2010 року Яндекс почав посилювати ліміти: для отримання 1000 перевірок на добу стало необхідно підтверджувати номер телефону . Почалася ера продажів акаунтів Яндекс з підтвердженими номерами телефону та масової покупки сім-карт.

Ця зміна правил призвело до того, що все більше число SEO-шників стало поглядати в бік прямого парсинга html-видачі Яндекса з її подальшим розбором. Однак цей метод був вкрай ресурсоємних: необхідно було забезпечувати швидкість знімання через багато-режим, а значить потрібно багато проксі, які періодично можуть баніться, потрібно боротися з капчі, а значить потрібні сервіси розгадування каптч, необхідно розбирати html-код відданих Яндексом сторінок, верстку яких він міг періодично міняти, а значить служба підтримки стає невід'ємною частиною такого сервісу. Загалом, все складно ... Тому багато хто продовжував користуватися Яндекс.XML, купуючи телефони, шукаючи різні хитрі способи роздобути ліміти. Багато хто розумів, що вічно так не буде ...

Паралельно йшли процеси ускладнення пошукового алгоритму: з'являлося все більше чаклунчик, все більше дифференцировалась класифікація запитів, збільшилася кількість різновидів формули ранжирування, що застосовуються до запитів того чи іншого класу. У зв'язку з цим у SEO-шників з'являлося все більше претензій до Яндекс.XML, який, здавалося, віддавав результати без застосування до них повної формули ранжирування, що використовувалася на реальній видачі, через що позиції все частіше відрізнялися.

У 2013 умови використання Яндекс.XML посилилися ще більше: підтвердження за номером телефону скасували, однак ліміти стали розраховуватися від якості сайтів , Підтверджених в Я.Вебмастере (здається, вважали за ТИЦ сайту). Останнім цвяхом у труну Я.XML стало те, що ліміти стали розподілятися по годинах в залежності від поточної завантаженості обчислювальних потужностей . Тобто стало неможливим прогнозувати обсяги знімання позицій. Ліміти, до слова, стало можливим передавати на інші акаунти, що призвело до появи ринку купівлі / продажу лімітів. Дуже добре про наслідки даного затягування гайок резюмоване в блозі Devaka .

У сукупності з незадоволеністю точністю Яндекс.XML ринок рушив в сторону написання парсеров html-видачі Яндекса, попутно назавжди спотворивши дані про частотності пошукових запитів в Яндекс.Wordstat.

Введення «багаторукого бандита» ще більше підстьобнуло ще не розуміють його суті вебмайстрів писати власні парсери видачі. Як стало ясно пізніше, на увазі додати хаосу, точності в порівнянні з Яндекс.XML це особливо не додало 🙂.

Таким чином, на сьогодні частина сервісів знімають позиції в Яндекс через Яндекс.XML, частина - через парсинг html результатів пошуку Яндекса. Така різниця в підходах - важливий фактор, який зумовлює відмінності результатів різних сервісів. І сказати, який метод більш точний, сьогодні вже важко, тому що видача «жива».

Google

Google ніколи не надавав сервісів, аналогічних Яндекс.XML, - всі охочі мають тут позиції відразу писали парсери і розгадували капчу (благо, в Google в 2006 році вона вже була). Тому на відмінності в позиціях тут в основному буде впливати спосіб обліку регіональності.

інші проблеми

Коли правильно перевіряти позиції? апдейт

В Яндексі

Раніше, поки пошукові системи не перейшли на інкрементальні (часткові) апдейти в режимі (майже) реального часу, все було просто. Ми бачили, що кількість документів в колекції Яндекса починає змінюватися, і це говорило нам про оновлення індексу. Чекали, поки це кількість устаканиться, і знімали позиції. Ми бачили, що документ став перебувати у видачі по якомусь екзотичному анкор на кшталт «225абракадарбра1234098», який ми попередньо спеціально проставили для спостережень, і це означало, що йде облік нових посилань, і змінюються позиції у видачі. Чекали день і знімали позицію. «Шторм» видачі спостерігався тільки в дні безпосередніх апдейтів. Апдейти відбувалися рідко: раз в тиждень або навіть рідше. Можна було бути впевненим у своїй позиції цілий тиждень!

Сьогодні все не так. Якщо раніше слово «апдейт» було однозначним, то сьогодні у видачі постійний «шторм» (багато в чому завдяки «багаторукий бандиту»), тому ми стали називати апдейтами тільки такі зміни видачі, при яких ступінь зміни видачі перевищує певний поріг: як вважаються ці ступінь зміни видачі і вибирається поріг - особиста таємниця кожного окремо взятого сервісу, провідного моніторинг за видачею. Тому повідомлення про апдейтах в різних сервісах відстеження можуть приходити далеко не одночасно. Якщо в налаштуваннях проектів ви вибрали зняття позицій тільки після апдейтів, то в різних сервісах це зняття, відповідно, може запускатися в дуже різний час.

Крім того апдейти йдуть по різних групах факторів: текстові, посилальні, поведінкові - і постає питання щодо алгоритму визначення як мінімум останньої. При цьому відділення «багаторукого бандита» від «реальних» апдейтів поки ще можливо на основі розміру колекції і обліку нового довідкового.

В Google

Хоча апдейти і відбуваються в реальному часі, це питання можна опустити, оскільки позиції при апдейтах зазвичай не скачуть дуже сильно. Тобто самого поняття «шторм» тут не спостерігається і можна сказати, що зняття позицій в апдейт буде вносити сильні спотворення лише в разі безпосередньо зміни алгоритму.

експериментальна аудиторія

Будь-який користувач може виявитися в тестовій вибірці, якій показуються інші результати пошуку, ніж усім іншим. Так Яндекс і Google тестують свої гіпотези для поліпшення якості результатів пошуку.

У SEO-шника змінився вигляд результатів пошуку, він поділився спостереженням з колегами, ті підказують йому, що він в тестовій вибірці

Змінюється верстка сторінки результатів пошуку

Щоб SEO-шникам життя медом не здавалося, як Яндекс, так і Google періодично змінюють верстку (html-код) сторінок SERP. Оскільки отримання позицій зав'язано на розборі html-розмітки (параметри id і class у тегів, порядок вкладеності тегів один в одного), то подібні зміни завжди ламають збір позицій будь-якого сервісу. А оскільки Google і Яндекс постійно проводять тести на видачу, змінюючи її зовнішній вигляд і формат, то відбуватися таке може дуже часто, аж до декількох разів на день, якщо, наприклад, IP вашого парсера «пощастило» потрапити в 5% аудиторії для проведення тестів .

Крім того, як я з'ясував у приватній бесіді з розробником Seolib, Google і Яндекс не завжди віддають рівно очікуване число результатів. Часто може бути менше 10 результатів. Я особисто Парс в Яндексі і 48, і 49 при очікуваних 50-ти. Тому у кожного сервісу окремо стоїть дилема, знімати 50/100 результатів за раз, або ж знімати посторінково, роблячи 5 звернень для отримання 50 результатів (по 10-ть на звернення). Природно, вбрання допущення зіграє роль на «точності» ...

Крім того, пошукачам не складає труднощів, визначити, звертається до них скрипт або реальна людина, встановивши йому Cookie через Javascript або ж відстежуючи руху мишею у вікні браузера. Реальна людина рухає мишею, реальний браузер виконає Javascript, отримає Cookie і стане використовувати її при наступних зверненнях. Серверні скрипти, як і десктопний софт, не вміють ні рухати мишею, ні виконувати Javascript, тому не зможуть встановити таку Cookie. На підставі цієї різниці легко детектируются автоматичні аналізатори, і їм потім можна віддавати іншу верстку і навіть результати пошуку. Теоретично це можна обійти через імітацію роботи в реальному браузері, використовуючи програму-Автоматор Selenium в зв'язці або з реальним браузером, або з консольним (non-GUI) Webkit-браузером PhantomJS: так вже давно накручуються поведінкові, і це повсюдно використовується в автоматизації тестування frontend 'a в великих компаніях, наприклад, російському Badoo (не плутати з китайським пошукачем Baidu). Якщо Selenium управляє реальним браузером, встановленим на комп'ютері, то виглядає це як запуск останнього, в якому курсор починає переміщатися і кликати зазначені елементи сам по собі 🙂. Особисто я не чув про його використанні для парсеров видачі. Update 13.04.2017: автор PhantomJS Віталій Слободін оголосив про припинення розробки в зв'язку з виходом Headless Chrome .

Звичайно, програми та сервіси збору позицій намагаються писати все більш гнучкі правила розбору верстки, однак рятує це тільки на час. Тому ситуація «Яндекс / Google знову поміняв верстку, і все зламалося» - будні рутина в будь-якому сервісі. Оцінювати точність знімання позицій тільки в рамках того, хто наскільки швидко реагує на зміну верстки, введення нових форматів сніпетів, «підмішування» з карт, відео, картинок і т.п., справа, знову ж таки, безглузде, тому що сьогодні першими відреагували на зміну верстки, наприклад, Сеоліб, а завтра Топвізор, ну і т.д. 🙂

Розсинхронізація серверів, які віддають відповіді

Це інженерне обмеження будь-якого пошуку: щоб витримувати мільйони відвідувань і при цьому віддавати відповідь максимально швидко, необхідно використовувати безліч серверів, на кожному з яких дублювати і оновлювати одну і ту ж інформацію. На вході таких серверів варто, як правило, сервер-балансувальник, що розподіляє всіх відвідувачів на той чи інший сервер в залежності від поточної завантаження останнього або якихось інших умов. При цьому оновлення інформації (про нові сайтах і посиланнях в базі даних) дійде до якихось серверів швидше, а до якихось пізніше. Звичайно, можна було б очікувати повної доставки свіжої інформації на всі сервери, і тільки потім одномоментно перемикати все їх на роботу з нею, але в даному випадку розробникам важливіше дати користувачеві свіжий відповідь якомога швидше, ніж стежити за подібністю видачі. Швидкість віддачі свіжої інформації особливо важлива для, наприклад, новин і стрімко з'являються трендів.

Тобто позиція сайту в результатах пошуку залежить, крім іншого, і від того, до якого з безлічі серверів Яндекса / Google ви звернулися, і наскільки свіжа копія бази даних на ньому в даний момент знаходиться.

Зведена таблиця факторів. Висновки

Зведена таблиця. Фактори, що впливають на відмінності позицій Фактор Яндекс Google коли знімає сервіс коли людина перевіряє вручну коли знімає сервіс коли людина перевіряє вручну Актуальність бази даних на сервері, що віддав відповідь впливає впливає Попадання IP сервісу / людини в тестову вибірку впливає впливає Зміна html-верстки впливає
(Сервіс пропустить якісь результати або вважатиме неправильно) не впливає впливає
(Сервіс пропустить якісь результати або вважатиме неправильно) не впливає Розпізнавання скрипта парсинга як робота і віддача йому інший верстки / результатів впливає, якщо використовується парсинг html замість XML
(Може бути усунуто через Selenium) не впливає впливає
(Може бути усунуто через Selenium) не впливає Технологія знімання впливає (Яндекс.XML або парсинг html) не впливає (вручну = парсинг html) не впливає = парсинг html Попадання в апдейт впливає зазвичай впливає не сильно
(Сильно тільки в дні зміни алгоритму) Інші фактори

• багаторукий бандит;
• постійний «шторм» (перестановки позицій), навіть коли немає апдейтів;
• якщо парсинг html, то допущення про те, скільки позицій парсити за раз.

• багаторукий бандит;
• постійний «шторм» (перестановки позицій), навіть коли немає апдейтів.

• допущення про облік регіональності;
• допущення про те, скільки позицій парсити за раз.

допущення про облік регіональності Персоналізація впливає, але можна усунути впливає, але можна усунути Чи можна гарантувати ту ж позицію на комп'ютері потенційного клієнта? немає, все перераховане вище працює і на комп'ютері потенційного клієнта немає, все перераховане вище працює і на комп'ютері потенційного клієнта Як ставитися до таких позицій? прибирати персоналізацію, задавати регіон і робити поправку на наявність постійного шторму і «бандита» (умови поправки см. в наступному розділі). Отриману позицію впевнено використовувати в якості індикатива прибирати персоналізацію і, якщо є довіра до методу, яким сервіс задає регіональність, отриману позицію впевнено використовувати в якості індикатива

Як, сподіваюся, стало ясно, «точність позицій» - це дуже умовна штука. «Точності» вже не існує, і навіть якщо ви щось можете зняти, то навряд чи можете гарантувати, що це ж буде і на комп'ютері сусіда. По-перше, тому що сама видача жива, по-друге, тому що є персоналізація і регіональність, по-третє тому що будь-який софт робить ті чи інші припущення при моніторингу позицій, спростувати які складно через «по-перше» і « по-друге », тобто ні в кого немає еталона.

В цілому займатися порівнянням «точності позицій» по різних сервісів - безглузде заняття, і якщо побачите чергового заблукалого, кричущого в Facebook про проблеми того чи іншого сервісу, відправте прямо на цю статтю, не піднімаючи масової істерії в коментарях. Краще писати розробникам сервісу, - вони відслідкують зміни в верстці видачі, і підкрутять код для її розбору.

Сьогодні відстеження позицій проводиться скоріше, щоб мати індикатор правильності обраної SEO-спеціалістом стратегії і виявлення проблем (технічних, текстових, довідкових, комерційних, поведінкових). Вони дають можливість приблизно оцінити діапазон вашого місця. Вони ніяк не гарантують, що на комп'ютері потенційного клієнта ви перебуваєте на виміряної позиції.

Невже точність знімання позицій взагалі не можна оцінити?

для Яндекса

Моє правило на сьогоднішній день таке: якщо при ручному перегляді різниця з софтом для 95% запитів в 1-3 позиції, а для 5% запитів до ± 20-ти позицій (за даними запитам у видачі може працювати «однорукий бандит»), то це ми називаємо «ніколи не бреше, точність 100%». І це тільки дуже приблизний орієнтир, тому що допустимий відсоток похибки сильно залежить від розподілу позицій вашого сайту в діапазонах ТОП-4, ТОП-10, ТОП-30 і кількості запитів, за якими присутній «бандит». Якщо ваш сайт по більшості запитів варто в ТОП-¼, то більшість програм і сервісів покажуть дуже високу точність знімання позицій, просто тому що в даній зоні мінімально працює «багаторукий бандит», навіть якщо тематика в цілому «бандитська». Якщо ж більшість запитів за межами ТОП-10 і, ще гірше, за межами ТОП-30, то відмінності в позиціях, як між різними софтом, так і при аналізі ручної перевіркою, можуть бути значними.

для Google

В Google відсутня «шторм», але проблеми вносять спірні методи вибору місця розташування. Тут відмінності між показаннями сервісів і реальним виміром користувачем з цільового регіону (з відключеною персоналізацією) будуть залежати від того методу, яким сервіс вказує регіон. Навскидку, можна допускати відмінності між зніманням вручну і даними сервісу по вашому регіону (або між різними сервісами) в 1-3 позицій і називати це «точність 100%, ніколи не бреше». Віра в метод, обраний сервісом для обліку регіональності, залишається за вами 🙂.

http://kozachuk.ru