Як праверыць пазіцыі сайта ў Яндэксе і Google, і чаму яны адрозніваюцца

1. Чаму адрозніваюцца пазіцыі ў Яндэксе
2. персаналізацыя
3. Шматрукі бандыт - "жывая" выдача Яндэкса, пастаянныя перастаноўкі пазіцый
4. Чаму не супадаюць пазіцыі ў Google
5. Тэхналогіі съёма пазіцый
6. Google
7. іншыя праблемы
8. У Google
9. эксперыментальная аўдыторыя
10. Зменлівая вёрстка старонкі вынікаў пошуку
11. Рассинхронизация сервераў, якія аддаюць адказы
12. Зводная табліца фактараў. высновы
13. Няўжо дакладнасць съёма пазіцый наогул нельга ацаніць?
14. для Google

Наша команда-партнер Artmisto

Апошнія гады эвалюцыі пошукавых сістэм прывялі да таго, што паняцце «дакладныя» або «бягучыя» пазіцыі, здаецца, ператварылася ў фантом. Сёння нават на адным і тым жа кампутары па адным і тым жа запыце, уведзены двойчы запар, пошукавыя пазіцыі могуць моцна адрознівацца, ня супадаць аж да дзясяткаў пазіцый. Усе сэрвісы праверкі пазіцый паказваюць розныя вынікі ў адзін і той жа дзень. Такое адбываецца як па камерцыйных, так і не камерцыйным ключавых словах, як з геозависимыми, так і з геоНЕзависимыми.

Вынікі пошуку Яндэкс па запыце «як завязаць гальштук» падчас двух праверак запар на адным і тым жа кампутары. Меркавана трапіў у апдэйт ( «шторм»), паколькі ўжо на наступны дзень пазіцыі стабілізаваліся, і «скакаць» працягнулі толькі 9 і 10 пазіцыі

Як жа правяраць пазіцыі сайта ў пошукавых сістэмах сёння, якой сэрвіс самы дакладны для съёма месца сайта ў Яндэксе і Google, і ці ёсць такія ўвогуле? Паспрабуем разабрацца.

Вялікае параўнанне сэрвісаў адсочвання пазіцый: top-inspector.ru, naserpe.ru, topvisor.ru, seolib.ru, rush-analytics.ru, seranking.com

Чаму адрозніваюцца пазіцыі ў Яндэксе

Наўскідку года да 2009 аптымізатар мог у любы дзень, акрамя дзён непасрэднага апдэйта выдачы, з 95% упэўненасцю назваць бягучую пазіцыю сайта кліенту па любым запыце. Той мог праверыць пазіцыю са свайго кампутара і пераканацца, што яна супадае. 5% сумневаў заставаліся на выпадкі, калі запыт кліента быў апрацаваны адным з сервераў Яндэкса, на якім была яшчэ не абноўлены версія якой-небудзь з баз дадзеных, або калі IP трапіў у аўдыторыю, на якой Yandex праводзіць тэсты.

Хоць магчымасць уліку рэгіянальную існавала ў Яндэксе з 2004 года,

Стала зручней працаваць з рэгіянальнай інфармацыяй. Цяпер Яндэкс аўтаматычна вызначае, у якім горадзе знаходзіцца кампутар, з якога паступіў запыт, і, калі ўдакладненне па рэгіёне мае сэнс, прапануе паўтарыць пошук, абмежаваўшы яго сайтамі дадзенага рэгіёну.

але паколькі опцыя не была ўключана па змаўчанні і толькі для некаторых запытаў прапаноўвалася карыстачу, адрозненні ў выдачы Яндэкса для карыстальніка з Масквы, Кіева і нават Таронта не ўносілі моцных рознагалоссяў у тое, на якой пазіцыі знаходзіцца сайт.

Геотаргетинг уводзіўся паступова. У пачатку падключаўся на ўзроўні краін ( « Яндэкс зрабіў украінскі пошук », 2 кастрычніка 2007 года), чым не дастаўляў моцных клопатаў аптымізатар: была магчымасць выбраць рэгіён пошуку, максімум даводзілася выкарыстоўваць проксі патрэбнай краіны. І толькі моцна пасля краіны драбніліся да рэгіёнаў (дзе-то гарадоў, а дзе-то абласцей і гарадоў), у кожным з якіх маглі быць свае сайты ў ТОПе.

Варта таксама адзначыць, што доўгі час, нягледзячы на ​​існаванне рэгіянальнай, сталічныя сайты маглі мець аднолькавыя пазіцыі як па сталіцы, так і па рэгіёнах. Адбывалася гэта таму што:

1. Для многіх рэгіёнаў доўгі час не было рэгіянальных сайтаў наогул.
2. Нават калі яны былі, то маглі быць дрэнна аптымізаванымі: рэгіён сайта ў сілу нейкіх чыннікаў не прызнаваўся Яндэксам або прызнаваўся няправільна
3. Сталічных сайтаў заўсёды было нашмат больш, яны мелі больш спасылак, ўзросту і Траст
4. У ўвазе некаторых перакосаў у формуле ранжыравання ў бок спасылак, ўзросту і Траст сайта

Такім чынам, часам для съёма пазіцыі не патрабавалася нават выстаўленне рэгіёну: для жыхара Масквы і Архангельска пошук аддаваў маскоўскія адказы (часам, нават калі ў Архангельску былі свае сайты).

10 красавіка 2009 года Яндэкс выкаціў алгарытм «Армазас» (ён жа «Анадырь») - з'явілася уключаны па змаўчанні рэгіянальная выдача або «геотаргетинг». Прэс-рэлізы раз і два . Рэгіён карыстальніка вызначаўся на аснове IP, і для кожнага рэгіёну ў выпадку наяўнасці ў ім лакальных сайтаў перавага аддавалася менавіта ім. Так пошук упершыню стаў адрознівацца для двух людзей, якія знаходзяцца ў розных кутках адной і той жа краіны.

З гэтага моманту SEO-студыі сталі прасоўваць сайты не проста «у Яндэксе», а «ў Яндэксе ў рэгіёне такім-то». Для дакладнага збору пазіцый стала абавязковым або выкарыстанне параметру lr = нумар рэгіёну, альбо выстаўленне месцазнаходжання ў наладах Яндэкса на старонцы https://yandex.ru/tune/geo . Дадаткова праз параметр адраснага радка rstr = -номер рэгіёну можна было абмежаваць вобласць пошуку толькі сайтамі з зададзенага рэгіёну (па змаўчанні адключана; не рэкамендуецца). Кліенту паведамлялася, па якому рэгіёну адбываецца праверка пазіцый сайта ў Яндэксе, і як яму выставіць такі ж у сябе ў браўзэры. Пры выкананні дадзеных умоў пазіцыі супадалі. Пры гэтым апдэйты адбываліся адносна рэдка, а пазіцыі паміж імі заставаліся статычнымі.

Рэгіянальная падключалася спачатку па Расіі, а пазней і па іншых краінах СНД.

Яндэкс запусціў новую версію ўкраінскага пошуку - «Палтава». Цяпер пры адказе на геозависимые запыты пошук аддае перавагу рэсурсаў з таго ж рэгіёну, што і карыстальнік.

Рэгіянальная, хай і дадала клопатаў аптымізатар, але пакінула пазіцыі «дакладнымі»: можна было быць упэўненым, што такая ж пазіцыя будзе і ў наведвальніка з мэтавага рэгіёну.

персаналізацыя

17 жніўня 2011 года Яндэкс запусціў «Рэйк'явік» - ўлік моўных пераваг карыстальніка, зрабіўшы такім чынам першы крок у бок персаналізацыі, а, значыць, выдатнай выдачы на ​​кожным кампутары.

12 снежня 2012 года пошук канчаткова стаў персанальным - Yandex укараніў алгарытм «Калінінград». Цяпер сабраная інфармацыя аб перавагах канкрэтнага карыстальніка выкарыстоўвалася ў пошуку, каб скласці для яго персанальныя вынікі:

Ён прапануе карыстальнікам падказкі і адказы, улічваючы іх асабістыя інтарэсы і перавагі. Так, па запыце [Гары Потэр] аматару чытання Яндэкс знойдзе перш за ўсё кнігу, а не фільм або гульню.

Персаналізацыя працавала нават для неаўтарызаваных у Яндэксе карыстальнікаў па печыва. Лепш за ўсіх пра наступствы дадзенага новаўвядзенні з пункту гледжання пераразмеркавання трафіку напісала Алена Камская.

Варта адзначыць, што персаналізаваныя вынікі пошуку станавіліся толькі пасля набору пэўнага колькасці статыстыкі па карыстачу, што для канкрэтнай тэматыкі часта надыходзіла толькі на другі дзень, калі цікавасць карыстальніка да тэмы мог быць ужо канчаткова задаволены. Для SEO-спецыялістаў гэта азначала, што для съёма пазіцый печыва можна скідаць не кожны запыт, а раз у N запытаў. Гэта выправіла абнаўленне «Калінінграда» - алгарытм «Дублін», які ўступіў у сілу ў чэрвені 2013 года. Цяпер перавагі карыстальніка абнаўляліся ў рэжыме рэальнага часу, і персаналізацыя па запытах пачынала дзейнічаць ужо праз некалькі пошукаў / пераходаў / наведванняў сайтаў карыстальнікам.

Як працуе алгарытм Яндекс.Дублин

Пачынаючы з «Калінінграда» для правільнага зняцця пазіцыі сайта акрамя уліку рэгіёну неабходна было таксама скінуць персаналізацыю, для чаго дастаткова было перад кожным съёмом пазіцыі ачысціць печыва або адкрыць новае акно браўзэра ў рэжыме «Інкогніта», дзе печыва пры адкрыцці адсутнічаюць.

Таксама я рэкамендую выключыць опцыю «ўлічваць маю гісторыю пошуку ў выніках» на https://yandex.ru/search/customize , Нават калі збіраецеся зняць пазіцыю па усяго адным запыце. Дакладна невядома, ці выкарыстае Yandex IP-адрас карыстальніка для персаналізацыі яго выдачы, ці ж абмяжоўваецца толькі куками. Калі IP-адрас ўсё ж выкарыстоўваецца, то гэтая налада можа адключаць персаналізацыю на аснове IP-адрасы карыстальніка. І ўжо дакладна уключанай гэтая налада прывядзе да зрушэння пазіцыю ўжо пасля некалькіх запытаў.

Настройка «ўлічваць маю гісторыю пошуку ў выніках» у Яндэксе

З гэтага моманту пазіцыя перастала быць дакладнай, паколькі адрознівалася для розных кампутараў з улікам персаналізацыі, але яе ўсё яшчэ можна было паўтарыць, выставіўшы правільны рэгіён і скінуўшы персаналізацыю (печыва). Далей усё стане яшчэ горш ...

Ўвядзенне поўнай персаналізацыі прывяло да натуральнага канфузу многіх кліентаў. Калі неабходнасць выстаўлення правільнага рэгіёну для зняцця пазіцыі была больш-менш зразумелая, то чаму на кампутары патэнцыйнага кліента з дадзенага рэгіёну пазіцыя ў Яндэксе можа быць зусім іншы, зразумець было цяжка. «Пазіцыя» стала індыкатыўным фантомам: памераць можна, а гарантаваць на кампутары ў патэнцыйнага кліента і нават суседнім кампутары - не.

Шматрукі бандыт - "жывая" выдача Яндэкса, пастаянныя перастаноўкі пазіцый

Прыкладна ў канцы 2015 пачатку 2016 года Яндэкс ўвёў «шматрукага бандыта» (Ён жа «аднарукі бандыт», ён жа «дэтэрмінаваных хаос») у вынікі пошуку. Тэхналогія была нацэлена на «расконсервирование топаў»: даць новым сайтам фору, падкідваючы іх у ТОП-10 для тэсту паводніцкіх. Старыя сайты, закансерваваць ТОП фактарам ўзросту (назапашаных па іх статыстычных дадзеных), на гэты перыяд выкідваюцца з топу (аж да вылету за ТОП-50). Ідэя зводзілася да таго, што пачаткоўцы могуць апынуцца лепш дзядкоў, таму варта даць ім шанец паказаць сябе.

«Бандыт» працуе не па ўсіх запытам і тэматыках. Меркавана Yandex уключыў яго толькі па тых запытам або тэматыках, дзе ў яго быў лішак якасных сайтаў, якія даюць добры адказ карыстальніку. Да такіх адносяцца ўсе камерцыйныя тэматыкі з высокім чэкам. Вельмі хітра з пункту гледжання Яндэкса, варта заўважыць. Гэта значыць, там, дзе ўжо лішак якія даюць якасны адказ сайтаў, давайце проста будзем іх ратыраваць ... Паколькі сам я працую толькі ў камерцыйных высококонкурентных тэматыках, то па маіх запытам «Бандыт» прысутнічае ўсюды, і далейшыя развагі менавіта ў кантэксце камерцыйных ВК тэматык.

З гэтага моманту стала практычна немагчымым атрымаць цалкам аднолькавы ТОП-10 у камерцыйнай тэматыцы: ён пачаў заўсёды адрознівацца як мінімум перастановай 9-ай і 10-ай пазіцыі паміж сабой (па інфармацыйных запытах аднолькавасць выдачы - пакуль яшчэ не рэдкая з'ява). Пры ўмове ліквідацыі персаналізацыі на працягу двух замераў запар, пазіцыя сайта можа скакаць да ± 20. Пры гэтым чым бліжэй сайт да ТОП-¾, тым менш скачуць яго пазіцыі - сайты ўнутры ТОП-3 часта проста ратыруецца першых тры пазіцыі паміж сабой. У ТОП-4/10 пазіцыі могуць змяняцца на ± 2-3, часам сайт можа быць выкінуты за ТОП-50. Сайт бліжэй да 10-й пазіцыі часта выкідваецца з ТОП-10, і на яго месца заходзіць іншы сайт. За межамі ТОП-10 расколбас павялічваецца. І чым далей ад ТОП-10, тым мацней расколбас: аж да ± 20 пазіцый. Натуральна, гаворка ідзе пра замерах з адключанай персаналізацыі: рэжым «інкогніта», адключэнне «ўлічваць маю гісторыю пошуку ў выніках», скід кукисов перад кожным замерам. Таму няма ніякага сэнсу параўноўваць онлайн сэрвісы масавай праверкі, серверныя скрыпты, платныя і бясплатныя праграмы і наогул любой софт па дакладнасці збору пазіцый у Яндэксе паміж сабой: у вас усюды будуць разыходжанні.

Ніжэй прадстаўлены скрыншоты змены пазіцый некалькіх запытаў у Яндэксе на працягу месяца. Нягледзячы на ​​тое, што па некаторых з іх складаецца адчуванне, што ў некаторыя перыяды пазіцыя статычная, у рэчаіснасці пры ручной праверцы сайта па пазіцыях ўнутры дня яны таксама «скачуць»: какой-то ў дыяпазоне пабольш, нейкі ў дыяпазоне паменш. Да таго ж гэты сэрвіс працуе, як мяркуецца, на аснове Яндекс.XML, дзе, па маіх асабістай адчуваннях, больш статычнасці, чым на рэальнай выдачы.

Па меры подползания гэтага запыту да топу ў Яндэксе роскід яго пазіцый з дня ў дзень крыху памяншаецца

гэты запыт «стабілізаваўся» ў дыяпазоне 10-15 пазіцый

Але ад вылетаў за ТОП-50 не страхуе і блізкасць да 10-ай пазіцыі

зусім не страхуе

А вось ТОП-3 страхуе ад усяго. Пакуль ты заслугоўваеш там знаходзіцца, адбываюцца максімум перастаноўкі ў межах ТОП-3

У гэтага запыту жыццё ў Яндэксе таксама ўдалася

Гэта значыць выдача Яндэкса цяпер змяняецца не проста ў нейкія прамежкі часу, яна "жывая" ўвесь час.

З гэтага моманту слова «дакладныя» стала больш неўжывальныя да пазіцый у Яндэксе ў прынцыпе. SEO-шнікі загаварылі аб вымярэнні сярэдняй пазіцыі за перыяд. Гэта значыць на працягу, напрыклад, сутак ці тыдня рабілася, напрыклад, 5 замераў, з якіх выводзілася сярэдняя пазіцыя. Калі ўнутры замераў ёсць 1 або некалькі (улічвайце колькасць па гусце 🙂) вылетаў за ТОП-50, яго, як мяркуецца, варта адкінуць.

Карыстальнікі цяпер часта скардзяцца ў Facebook, што то адзін сэрвіс здымае «не так, як у іх ўручную паказвае», то іншы. У рэчаіснасці ж зараз усё сэрвісы здымаюць «і так», і «не так», - такая новая рэальнасць, і з ёй даводзіцца лічыцца.

Чаму не супадаюць пазіцыі ў Google

Па-першае, у Google працуюць зусім аналагічныя тэхналогіі. Тут ёсць тыя ж геозависимость і персаналізацыя выдачы і падказак.

Па-другое, даведацца пазіцыі сайта ў Google адначасова і прасцей, і складаней. Прасцей, таму што адсутнічае «дэтэрмінаваных хаос», і пазіцыя будзе, як правіла, цалкам статычнай як мінімум да наступнага апдэйта. Складаней, таму што, па-першае, адсутнічае магчымасць кіраваць рэгіянальную так жа проста, як у Яндэксе (у лістападзе 2015 Гугл выдаліў магчымасць змяніць месцазнаходжанне з налад), па-другое, геозависимость выказана яшчэ мацней. У ЗША, напрыклад, выдача па камерцыйных геозависимым запытам можа быць рознай, нават калі рабіць запыт з двух розных пунктаў на адлегласці 100 метраў адзін ад аднаго. Быў эксперымент, калі хлопец сеў на маршрутку, курсіраваў па горадзе і здымаў пазіцыі. Яго становішча змяняла вынікі пошуку вельмі значна. Спасылкі, на жаль, знайсці не магу ...

вынікі пошуку ў Google па запыце «піраміда» для розных рэгіёнаў Расіі

Возьмем, да прыкладу, запыт [піраміда]. Акрамя артыкулаў пра шматграннік і пра збудаванні старажытных егіпцян, у Валгаградзе мы пакажам афішу папулярнага кінатэатра, у Казанi - адрас вядомага забаўляльнага комплексу, а ў Арэнбурзе - мясцовы кампутарны краму.

Аб поўнай статычнасці казаць не даводзіцца: як паказаў Рэнд Фишкин, як мінімум моцны ўплыў на працягу дня можа аказаць CTR на выдачы , Але гэта хутчэй маргінальны кейс, які дарэчны па трэндавы запытам і навінам.

Абагульнім: выдача ў Google не мяняецца на кожны запыт як у Яндэксе (пры ўмове адключэння персаналізацыі) ...

Каменем перапоны для съёма «дакладных» пазіцый у Google з'яўляецца як раз рэгіянальны. Існуюць мінімум 5 спосабаў паглядзець, якія пазіцыі займае сайт, вачыма карыстальніка з мэтавага рэгіёну:

1. Праз інструмент для рэкламадаўцаў кантэксту Adwords Google Ad Preview - лічыцца самым дакладным, бо хлусіць тым, хто непасрэдна прыносіць грошы Google, нядобра. На жаль, аддае крыху вынікаў (у мяне атрымлівалася да 25), і аддае іх малюначкам 🙂.
2. Эмуляцыя вашага месцазнаходжання ў інструментах вэб-распрацоўніка Google Chrome (ручная падмена вашых геокоординат ў браўзэры) - дае адрозненні ад першага спосабу.
3. Параметр адраснага радка & near = cityname - дае адрозненні ад першага спосабу.
4. Праз Proxy / VPN патрэбнай краіны або лакальныя клоны Google у кожнай асобна ўзятай краіне як, напрыклад, aol.com - практычна невыканальны, калі стаіць задача ахапіць хаця б 50 краін і некалькі сотняў гарадоў.
5. Метад на аснове дэшыфроўкі параметру адраснага радка uule, прадстаўлены ў 2013 годзе , І на аснове якога нядаўна распрацаваў сэрвіс наш суайчыннік region.xstroy.com - працуе так жа, як і Google Ad Preview, але без абмежаванняў па колькасці вынікаў і ў звычайным выглядзе, а не малюначкам. Верагодна, з'яўляецца лепшым на сёння і ўжо сапраўды нашмат зручней метаду №1.

З улікам вышэй пералічанага ўявіце, які можа быць роскід у розных сэрвісаў съёма пазіцый ... Але і гэта яшчэ не ўсе фактары, якія ўплываюць на «дакладнасць».

Тэхналогіі съёма пазіцый

Яндекс.XML або парсінга

13 лістапада 2003 года Яндэксам быў заяўлены «сэрвіс для добрых робатаў» Яндекс.XML , Які аддае пошукавыя вынікі ў XML-фармаце з абмежаваннем у 200 запытаў у суткі. Большая колькасць запытаў можна было дакупіць.

На сайце Яндекс.XML ёсць прыклады выкарыстання XML-пошуку з зыходным кодам праграм: напрыклад, гульня «Імя па бацьку», якая дазваляе даведацца імя па бацьку вядомага чалавека, або цікавае для многіх вэб-майстроў прыкладанне для вызначэння месца сайта ў выдачы Яндэкса

Шмат гадоў SEO-шнікі здымалі пазіцыі ў Яндэксе менавіта гэтым сэрвісам.

У барадатым 2006 Яндэкс падняў ліміт з 200 да 1000 запытаў / суткі на 1 зарэгістраваны IP, каб паспрыяць яго папулярызацыі. Пры неабходнасці можна было дакупляць запыты. Атрымаць неабмежаваны доступ да Яндекс.XML можна было, дадаўшы свой сайт у РСЯ. За прамой парсінга html-выдачы Яндэкс тады банил па IP (Капчу тады ў Я яшчэ не было, таму такі хардкор).

Пазіцыі ў Яндекс.XML маглі адрознівацца ад пазіцый у рэальнай выдачы, аднак вельмі нязначна (1-3 пазіцыі). Адрозненні павялічваліся толькі ў дні апдэйтаў і маглі быць істотнымі па малым ліку запытаў. Улічваючы агульнае зручнасць выкарыстання XML SEO-шнікі заплюшчвалі вочы на ​​недахопы, здабывалі IP для павышэння лімітаў і здымалі пазіцыі ў асноўным гэтым сэрвісам.

У канцы 2010 года Яндэкс пачаў рабіць больш жорсткімі ліміты: для атрымання 1000 праверак у суткі стала неабходна пацвярджаць нумар тэлефона . Пачалася эра продажаў акаўнтаў Яндэкс з пацверджанымі нумарамі тэлефона і масавай куплі сім-карт.

Гэта больш жорсткія правілы прывяло да таго, што ўсё большая колькасць SEO-шнікаў стала пазіраць у бок прамога парсінга html-выдачы Яндэкса з яе наступным разборам. Аднак гэты метад быў вельмі рэсурсаёмістай: неабходна было забяспечваць хуткасць съёма праз шматструменны рэжым, а значыць трэба шмат проксі, якія перыядычна могуць баниться, трэба змагацца з капчу, а значыць патрэбныя сэрвісы разгадвання каптча, неабходна разбіраць html-код аддадзеных Яндэксам старонак, вёрстку якіх ён мог перыядычна мяняць, а значыць служба падтрымкі становіцца неад'емнай часткай такога сэрвісу. Увогуле, усё складана ... Таму многія працягвалі карыстацца Яндекс.XML, купляючы тэлефоны, шукаючы розныя хітрыя спосабы расстарацца ліміты. Многія разумелі, што вечна так не будзе ...

Паралельна ішлі працэсы ўскладнення пошукавага алгарытму: з'яўлялася ўсё больш колдунщиков, усё больш дыферэнцыраванага класіфікацыя запытаў, павялічылася колькасць разнавіднасцяў формулы ранжыравання, якія ўжываюцца да запытаў таго ці іншага класа. У сувязі з гэтым у SEO-шнікаў з'яўлялася ўсё больш прэтэнзій да Яндекс.XML, які, здавалася, аддаваў вынікі без прымянення да іх поўнай формулы ранжыравання, якая выкарыстоўвалася на рэальнай выдачы, з-за чаго пазіцыі ўсё часцей адрозніваліся.

У 2013 ўмовы выкарыстання Яндекс.XML сталі больш жорсткімі яшчэ больш: пацвярджэнне па нумары тэлефона скасавалі, аднак ліміты сталі разлічвацца ад якасці сайтаў , Пацверджаных ў Я.Вебмастере (здаецца, лічылі па ТИЦ сайта). Апошнім цвіком у труну Я.XML стала тое, што ліміты сталі размяркоўвацца па гадзінах у залежнасці ад бягучай загружанасці вылічальных магутнасцяў . Гэта значыць стала немагчымым прагназаваць аб'ёмы съёма пазіцый. Ліміты, дарэчы, стала магчымым перадаваць на іншыя акаўнты, што прывяло да з'яўлення рынку куплі / продажу лімітаў. Вельмі добра пра наступствы дадзенага зацягвання гаек рэзюмаваў у блогу Devaka .

У сукупнасці з незадаволенай дакладнасцю Яндекс.XML рынак рушыў у бок напісання парсераў html-выдачы Яндэкса, адначасна назаўжды сказіўшы дадзеныя аб частотнасці пошукавых запытаў у Яндекс.Wordstat.

Ўвядзенне «шматрукага бандыта» яшчэ больш падагравала яшчэ не разумеюць яго сутнасці вэбмайстроў пісаць уласныя парсер выдачы. Як стала зразумела пазней, на ўвазе дадаўся хаосу, дакладнасці ў параўнанні з Яндекс.XML гэта асоба не дадало 🙂.

Такім чынам, на сёння частка сэрвісаў здымаюць пазіцыі ў Яндэкс праз Яндекс.XML, частка - праз парсінга html вынікаў пошуку Яндэкса. Такая розніца ў падыходах - важны фактар, што абумоўліваюць адрозненні вынікаў розных сэрвісаў. І сказаць, які метад больш дакладны, сёння ўжо цяжка, таму што выдача "жывая".

Google

Google ніколі не падаваў сэрвісаў, аналагічных Яндекс.XML, - усё жадаючыя атрымліваць тут пазіцыі адразу пісалі парсер і разгадвалі капчу (балазе, у Google ў 2006 годзе яна ўжо была). Таму на адрозненні ў пазіцыях тут у асноўным будзе ўплываць спосаб уліку рэгіянальны.

іншыя праблемы

Калі правільна правяраць пазіцыі? апдэйты

У Яндэксе

Раней, пакуль пошукавыя сістэмы не перайшлі на інкрэментаванага (частковыя) апдэйты ў рэжыме (амаль) рэальнага часу, усё было проста. Мы бачылі, што колькасць дакументаў у калекцыі Яндэкса пачынае мяняцца, і гэта сведчыла нам пра абнаўленне азначніка. Чакалі, пакуль гэтая колькасць устаканіцца, і здымалі пазіцыі. Мы бачылі, што дакумент стаў знаходзіцца ў выдачы па якому-небудзь экзатычнага анкор накшталт «225абракадарбра1234098», які мы папярэдне спецыяльна праставілі для назіранняў, і гэта азначала, што ідзе ўлік новых спасылак, і мяняюцца пазіцыі ў выдачы. Чакалі дзень і здымалі пазіцыю. «Шторм» выдачы назіраўся толькі ў дні непасрэдных апдэйтаў. Апдэйты адбываліся рэдка: раз у тыдзень ці нават радзей. Можна было быць упэўненым у сваёй пазіцыі цэлы тыдзень!

Сегодня всё не так. Калі раней слова «апдэйт» было адназначным, то сёння ў выдачы пастаянны «шторм» (шмат у чым дзякуючы «Мнагарукая бандыту»), таму мы сталі называць аднаўленьнямі толькі такія змены выдачы, пры якіх ступень змены выдачы перавышае пэўны парог: як лічацца гэтыя ступень змены выдачы і выбіраецца парог - асабістая таямніца кожнага асобна ўзятага сэрвісу, вядучага маніторынг за выдачай. Таму паведамлення аб апдэйт у розных сэрвісах адсочвання могуць прыходзіць далёка не адначасова. Калі ў наладах праектаў вы абралі зняцце пазіцый толькі пасля апдэйтаў, то ў розных сэрвісах гэта зняцце, адпаведна, можа запускацца ў вельмі розны час.

Акрамя таго апдэйты ідуць па розных групах фактараў: тэкставыя, спасылачныя, паводніцкія - і паўстае пытанне датычна алгарытму вызначэння як мінімум апошняй. Пры гэтым аддзяленне «шматрукага бандыта» ад «рэальных» апдэйтаў пакуль яшчэ магчыма на аснове памеру калекцыі і без уліку новага спасылкавага.

У Google

Хоць апдэйты і адбываюцца ў рэальным часе, гэтае пытанне можна апусціць, паколькі пазіцыі пры апдэйт звычайна не скачуць вельмі моцна. Гэта значыць самога паняцця «шторм» тут не назіраецца і можна сказаць, што зняцце пазіцый у апдэйт будзе ўносіць моцныя скажэнні толькі ў выпадку непасрэдна змены алгарытму.

эксперыментальная аўдыторыя

Любы карыстальнік можа апынуцца ў тэставай выбарцы, якой паказваюцца іншыя вынікі пошуку, чым усім астатнім. Так Яндэкс і Google тэстуюць свае гіпотэзы для паляпшэння якасці вынікаў пошуку.

У SEO-шніка змяніўся выгляд вынікаў пошуку, ён падзяліўся назіраннем з калегамі, тыя падказваюць яму, што ён у тэставай выбарцы

Зменлівая вёрстка старонкі вынікаў пошуку

Каб SEO-шнікі жыццё мёдам не здавалася, як Яндэкс, так і Google перыядычна змяняюць вёрстку (html-код) старонак SERP. Паколькі атрыманне пазіцый завязана на разборы html-разметкі (параметры id і class у тэгаў, парадак ўкладзенасці тэгаў сябар у сябра), то падобныя змены заўсёды ламаюць збор пазіцый любога сэрвісу. А паколькі Google і Яндэкс пастаянна вырабляюць тэсты на выдачы, змяняючы яе знешні выгляд і фармат, то адбывацца такое можа вельмі часта, аж да некалькіх раз у дзень, калі, напрыклад, IP вашага парсера «пашанцавала» патрапіць у 5% аўдыторыі для правядзення тэстаў .

Акрамя таго, як я высвятліў ў прыватнай гутарцы з распрацоўшчыкам Seolib, Google і Яндэкс не заўсёды аддаюць роўна чаканае лік вынікаў. Часта можа быць менш за 10 вынікаў. Я асабіста парс ў Яндэксе і 48, і 49 пры чаканых 50-ці. Таму ў кожнага сэрвісу асобна стаіць дылема, здымаць 50/100 вынікаў за раз, ці ж здымаць пастаронкава, робячы 5 зваротаў для атрымання 50 вынікаў (па 10-ть на зварот). Натуральна, абранае дапушчэнне згуляе ролю на «дакладнасці» ...

Акрамя таго, пошукавікам не складае працы, вызначыць, звяртаецца да іх скрыпт ці рэальны чалавек, усталяваўшы яму Cookie праз Javascript ці ж адсочваючы руху мышшу ў акне браўзэра. Рэальны чалавек рухае мышшу, рэальны браўзэр выканае Javascript, атрымае Cookie і стане выкарыстоўваць яе пры наступных зваротах. Серверныя скрыпты, як і дэсктопны софт, не ўмеюць ні рухаць мышшу, ні выконваць Javascript, таму не змогуць усталяваць такую ​​Cookie. На падставе гэтай розніцы лёгка дэтэктуюцца аўтаматычныя парсер, і ім затым можна аддаваць іншую вёрстку і нават вынікі пошуку. Тэарэтычна гэта можна абыйсці праз імітацыю працы ў рэальным браўзэры, выкарыстоўваючы праграму-автоматизатор Selenium ў звязку небудзь з рэальным браўзэрам, альбо з кансольным (non-GUI) Webkit-браўзэрам PhantomJS: так ужо даўно накручваюцца паводніцкія, і гэта паўсюдна выкарыстоўваецца ў аўтаматызацыі тэставання frontend 'a ў буйных кампаніях, напрыклад, расійскім Badoo (не блытаць з кітайскім пошукавікам Baidu). Калі Selenium кіруе рэальным браўзэрам, усталяваным на кампутары, то выглядае гэта як запуск апошняга, у якім курсор пачынае перамяшчацца і клікаць названыя элементы сам па сабе 🙂. Асабіста я не чуў пра яго выкарыстанні для парсераў выдачы. Update 2017/04/13: аўтар PhantomJS Віталь Слабодзін абвясціў аб спыненні распрацоўкі ў сувязі з выхадам Headless Chrome .

Вядома, праграмы і сэрвісы збору пазіцый спрабуюць пісаць усё больш гнуткія правілы разбору вёрсткі, аднак ратуе гэта толькі на час. Таму сітуацыя «Яндэкс / Google зноў памяняў вёрстку, і ўсё зламалася» - Буднага руціна ў любым сэрвісе. Ацэньваць дакладнасць съёма пазіцый толькі ў рамках таго, хто наколькі хутка рэагуе на змену вёрсткі, увядзенне новых фарматаў сниппетов, «падмешвання» з карт, відэа, малюнкаў і да т.п., справа, зноў жа, бессэнсоўнае, таму што сёння першымі адрэагавалі на змену вёрсткі, напрыклад, Сеолиб, а заўтра Топвизор, ну і г.д. 🙂

Рассинхронизация сервераў, якія аддаюць адказы

Гэта інжынернае абмежаванне любога пошуку: каб вытрымліваць мільёны наведванняў і пры гэтым аддаваць адказ максімальна хутка, неабходна выкарыстоўваць мноства сервераў, на кожным з якіх дубляваць і абнаўляць адну і тую ж інфармацыю. На ўваходзе такіх сервераў варта, як правіла, сервер-балансировщик, размяркоўвалы ўсіх наведвальнікаў на той ці іншы сервер у залежнасці ад бягучай загрузкі апошняга або нейкіх іншых умоў. Пры гэтым абнаўленне інфармацыі (аб новых сайтах і спасылках ў базе дадзеных) дойдзе да нейкіх сервераў хутчэй, а да якіх-то пазней. Вядома, можна было б чакаць поўнай дастаўкі свежай інфармацыі на ўсе сервера, і толькі потым за адзін раз перамыкаць ўсе іх на працу з ёй, але ў дадзеным выпадку распрацоўнікам важней даць карыстачу свежы адказ як мага хутчэй, чым сачыць за аднолькавыя выдачы. Хуткасць аддачы свежай інфармацыі асабліва важная для, напрыклад, навін і імкліва якія з'яўляюцца трэндаў.

То ёсць пазіцыя сайта ў выніках пошуку залежыць, апроч іншага, і ад таго, да якога з мноства сервераў Яндэкса / Google вы звярнуліся, і наколькі свежая копія базы дадзеных на ім у дадзены момант знаходзіцца.

Зводная табліца фактараў. высновы

Зводная табліца. Фактары, якія ўплываюць на адрозненні пазіцый Фактар ​​Яндэкс Google калі здымае сэрвіс калі чалавек правярае ўручную калі здымае сэрвіс калі чалавек правярае ўручную Актуальнасць базы дадзеных на серверы, якія аддалі адказ ўплывае ўплывае Кантакт IP сэрвісу / чалавека ў тэставую выбарку ўплывае ўплывае Змена html-вёрсткі ўплывае
(Сэрвіс прапусціць нейкія вынікі ці палічыць няправільна) не ўплывае ўплывае
(Сэрвіс прапусціць нейкія вынікі ці палічыць няправільна) не ўплывае распазнання скрыпту парсінга як робата і аддача яму іншы вёрсткі / вынікаў ўплывае, калі выкарыстоўваецца парсінга html замест XML
(Можа быць ліквідавана праз Selenium) не ўплывае ўплывае
(Можа быць ліквідавана праз Selenium) не ўплывае Тэхналогія съёма ўплывае (Яндекс.XML або парсінга html) не ўплывае (уручную = парсінга html) не ўплывае = парсінга html Кантакт з апдэйт ўплывае звычайна ўплывае не моцна
(Моцна толькі ў дні змены алгарытму) Іншыя фактары

• шматрукі бандыт;
• пастаянны «шторм» (перастаноўкі пазіцый), нават калі няма апдэйтаў;
• калі парсінга html, то дапушчэння аб тым, колькі пазіцый парсіць за раз.

• шматрукі бандыт;
• пастаянны «шторм» (перастаноўкі пазіцый), нават калі няма апдэйтаў.

• дапушчэння аб уліку рэгіянальную;
• дапушчэння аб тым, колькі пазіцый парсіць за раз.

дапушчэння аб уліку рэгіянальную Персаналізацыя ўплывае, але можна ліквідаваць ўплывае, але можна ліквідаваць Ці можна гарантаваць тую ж пазіцыю на кампутары патэнцыйнага кліента? няма, усё вышэйпералічанае працуе і на кампутары патэнцыйнага кліента няма, усё вышэйпералічанае працуе і на кампутары патэнцыйнага кліента Як ставіцца да такіх пазіцыях? прыбіраць персаналізацыю, задаваць рэгіён і рабіць папраўку на наяўнасць пастаяннага шторму і «бандыта» (умовы папраўкі гл. у наступным раздзеле). Атрыманую пазіцыю ўпэўнена выкарыстоўваць у якасці індыкатыва прыбіраць персаналізацыю і, калі ёсць давер да метаду, якім сэрвіс задае рэгіянальная, атрыманую пазіцыю ўпэўнена выкарыстоўваць у якасці індыкатыва

Як, спадзяюся, стала ясна, «дакладнасць пазіцый» - гэта вельмі ўмоўная штука. «Дакладнасць» больш не існуе, і нават калі вы нешта можаце зняць, то наўрад ці можаце гарантаваць, што гэта ж будзе і на кампутары суседа. Па-першае, таму што сама выдача жывая, па-другое, таму што ёсць персаналізацыя і рэгіянальныя, па-трэцяе таму што любы софт робіць тыя ці іншыя дапушчэння пры маніторынгу пазіцый, абвергнуць якія складана з-за «па-першае» і « па-другое », гэта значыць ні ў каго няма эталона.

У цэлым займацца параўнаннем «дакладнасці пазіцый» па розных сэрвісаў - бессэнсоўнае занятак, і калі ўбачыце чарговага аблудніка, які крычыць у Facebook аб праблемах таго ці іншага сэрвісу, адпраўце наўпрост на гэтую артыкул, не падымаючы масавай істэрыі ў каментарах. Лепш пісаць распрацоўнікам сэрвісу, - яны адсочаць змены ў вёрстцы выдачы, і падкруціў код для яе разбору.

Сёння адсочванне пазіцый вырабляецца хутчэй, каб мець індыкатар правільнасці абранай SEO-спецыялістам стратэгіі і выяўлення праблем (тэхнічных, тэкставых, спасылкавых, камерцыйных, паводніцкіх). Яны даюць магчымасць прыкладна ацаніць дыяпазон вашага месцы. Яны ніяк не гарантуюць, што на кампутары патэнцыйнага кліента вы знаходзіцеся на вымеранай пазіцыі.

Няўжо дакладнасць съёма пазіцый наогул нельга ацаніць?

для Яндэкса

Маё правіла на сённяшні дзень наступнае: калі пры ручным праглядзе розніца з софтам для 95% запытаў у 1-3 пазіцыі, а для 5% запытаў да ± 20-ці пазіцый (па дадзеных запытах ў выдачы можа працаваць «аднарукі бандыт»), то гэта мы называем «ніколі не хлусіць, дакладнасць 100%». І гэта толькі вельмі прыкладны арыенцір, таму што дапушчальны адсотак хібнасці моцна залежыць ад размеркавання пазіцый вашага сайта ў дыяпазонах ТОП-4, ТОП-10, ТОП-30 і колькасці запытаў, па якіх прысутнічае «бандыт». Калі ваш сайт па большасці запытаў стаіць у ТОП-¼, то большасць праграм і сэрвісаў пакажуць вельмі высокую дакладнасць съёма пазіцый, проста таму што ў дадзенай зоне мінімальна працуе «шматрукі бандыт», нават калі тэматыка ў цэлым «бандыцкая». Калі ж большасць запытаў за межамі ТОП-10 і, яшчэ горш, за межамі ТОП-30, то адрозненні ў пазіцыях, як паміж розным софтам, так і пры аналізе ручной праверкай, могуць быць значнымі.

для Google

У Google адсутнічае «шторм», але праблемы ўносяць спрэчныя метады выбару месцазнаходжаньня. Тут адрозненні паміж паказаннямі сэрвісаў і рэальным замерам карыстальнікам з мэтавага рэгіёну (з адключанай персаналізацыі) будуць залежаць ад таго метаду, якім сэрвіс паказвае рэгіён. Наўскідку, можна дапускаць адрозненні паміж съёмом ўручную і дадзенымі сэрвісу па вашым рэгіёне (альбо паміж рознымі сэрвісамі) у 1-3 пазіцый і называць гэта «дакладнасць 100%, ніколі не хлусіць». Вера ў метад, абраны сэрвісам для уліку рэгіянальная, застаецца за вамі 🙂.

http://kozachuk.ru