- эксперымент Метадалогія
- адбор пробаў
- вынікі
- Тэставанне А.А.
- Праверка скрутка пасля эксперыменту
- абмеркаванне
- Takeaways
Наша команда-партнер Artmisto
Знешнія пошукавыя сістэмы, як Google і Bing з'яўляюцца асноўнай крыніцай трафіку для Etsy, асабліва для нашага больш хваста, цяжка знайсці элементы, і, такім чынам, Пошукавую аптымізацыю (SEO) з'яўляецца важным у прасоўванні эфектыўнага адкрыцця лістынга на нашай платформе.
Мы хочам, каб пераканацца, што наша стратэгія SEO з'яўляецца кіраваным дадзенымі, і што мы можам быць цалкам упэўнены, што ўсе змены, якія мы рэалізуем будзе прыносіць станоўчыя вынікі. На Etsy, мы ўвесь час праводзім эксперыменты па аптымізацыі работы карыстальнікаў і адкрыцця па ўсёй нашай платформе, і таму мы, натуральна, звярнуліся да эксперыментаў для паляпшэння нашай працы SEO. Хоць гэта адносна проста наладзіць эксперымент на месцы на нашых старонках і прыкладаннях, эксперыментуючы з SEO патрабуецца змяніць тое, як з'явіліся старонкі Etsy ў выніках пошукавых сістэм, над якімі мы не маем прамога кантролю.
Каб пераадолець гэта абмежаванне, мы распрацавалі некалькі перайначаны эксперыментальную аснову дызайну, што дазваляе нам эфектыўна праверыць, як змены нашых старонак ўплываюць на нашу працу SEO. Гэта паведамленне тлумачыць метадалогію ззаду нашага тэставання SEO, праблемы мы сутыкнуліся, і як мы вырашылі іх.
эксперымент Метадалогія
Для аднаго з нашых эксперыментаў, мы выказалі здагадку, што змяненне назвы нашых старонак, якія адлюстроўваюцца ў выніках пошуку (ака «тэгаў загалоўкаў") можа павялічыць рэйтынг клікаў. Etsy мае мільёны старонак, створаных ад карыстальніка кантэнт, якія былі прыдатныя для выпрабаванні. Многія з гэтых старонак таксама атрымліваюць большую частку свайго трафіку праз SEO.
Ніжэй прыведзены прыклад шаблону, мы выкарыстоўвалі пры наладзе нядаўна SEO назвы тэгаў эксперыменту.
Мы былі натхнёныя SEO выпрабаванняў на Pinterest і чертежной кнопка і вырашыў стварыць падобны эксперымент, у якім мы выпадкова прызначаны нашых старонках у розныя групы і выкарыстоўвалі розныя фармулёўкі назвы тэга, названыя вышэй. Мы вымералі бы поспех кожнай тэставай групы, колькі трафіку ён паехаў у адносінах да кантрольнай групе. У гэтым эксперыменце мы таксама стварылі дзве кантрольных групы, мае больш высокую ступень упэўненасці ў выніках, і быць у стане праверыць якасць нашай рандомізірованного выбаркі адразу пачаў эксперымент.
адбор пробаў
Мы ўзялі невялікі ўзор старонак падобнага тыпу, забяспечваючы пры гэтым, што наша выбарка была досыць вялікі, каб дазволіць нам дасягнуць статыстычнай значнасці на працягу разумнага перыяду часу.
Паколькі наведванне асобных старонак вельмі зменлівыя, з вялікай колькасцю выкідаў і ваганнямі з дня ў дзень, мы павінны былі стварыць адносна вялікіх груп 1000 старонак кожны чакаць, каб дасягнуць значэння хутка. Акрамя таго, з-за высокую ступені дысперсіі праз нашы старонкі, простая выпадковая выбарка з нашых старонак у тэставыя групы была стварэнне тэставых груп, якія адрозніваюцца адзін ад аднаго ў статыстычна значным чынам яшчэ да пачатку эксперыменту.
Для таго, каб забяспечыць нашы падыспытныя групы былі больш супастаўныя адзін з адным, мы выкарыстоўвалі стратыфікаваная выбарка , Дзе мы ўпершыню трапілі на старонках, каб быць часткай тэсту візітаў, ламаў іх у NTILE групы і затым рандомізірованный старонкі з кожнай NTILE групы ў адной з тэставых груп, забяспечваючы, каб узяць старонку з кожнай NTILE групы , Гэта гарантавала, што нашы падыспытныя групы былі паслядоўна прадстаўніком агульнай выбаркі і больш надзейна, падобныя адзін на адзін.
Затым мы разгледзелі статыстычныя паказчыкі для кожнай доследнай групы ў параўнанні з папярэднім перыядам часу, вылічэнне сярэдняга значэння і стандартных значэнняў адхіленні па месяцу і запуск т-тэстаў, каб гарантаваць, што групы не адрозніваліся адзін ад аднаго па статыстычна значным чынам. Усе падыспытныя групы прайшлі гэты тэст.
Ацэнка ўздзеяння каузальной
Нягледзячы на тое, што тэст-групы ў нашым эксперыменце не адрозніваліся адзін ад аднаго на статыстычна значным узроўні да эксперыменту, былі невялікія адрозненні, якія перашкодзілі ацэнку дакладнага прычыннага ўздзеяння пасля лячэння. Напрыклад, тэставая група XYZ можа ўзрасці адносна кіравання B, але калі кантроль B было крыху лепш, чым тэставыя групы XYZ яшчэ да пачатку эксперыменту, проста як рознасць паміж двума гуртоў не будзе лепшай ацэнкай розніцы лячэнне было ажыццёўлена.
Адзін агульны падыход для вырашэння гэтай праблемы заключаецца ў вылічэнні рознасці рознасцяў паміж доследнай і кантрольнай груп да і пасля лячэння.
Хоць гэты падыход працаваў бы добра, гэта, магчыма, стварыла два розных разліковых памеры эфекту лячэння пры параўнанні тэставых груп супраць двух розных кантрольных груп. Мы вырашылі, што, замест таго, каб, выкарыстоўваючы байесовский структурны аналіз часовых шэрагаў, каб стварыць сінтэтычную кантрольную групу, якая ўключае інфармацыю з абодвух кантрольных груп забяспечыць больш чысты аналіз вынікаў.
Пры такім падыходзе, мадэль машыннага навучання навучаюцца з выкарыстаннем дадзеных папярэдняй апрацоўкі для прагназавання эфектыўнасці кожнай тэставай групы на аснове яе ковариационной адносна яе прадказальнікаў - у нашым выпадку, дзве кантрольных груп. Пасля таго як мадэль навучаная, ён выкарыстоўваецца для стварэння гіпатэтычных, сінтэтычных кантрольных груп для кожнага з падыспытных груп, імітуючы, што б адбыўся, калі б лячэнне не ўжывалася.
Прычынны аналіз уздзеяння ў гэтым эксперыменце быў рэалізаваны з выкарыстаннем CausalImpact пакет ад Google.
вынікі
Мы пачалі бачыць наступства нашых тэставых працэдур, як толькі некалькі дзён пасля даты пачатку эксперыменту. Нават, здавалася б, вельмі тонкія змены тэгаў загалоўкаў у выніку вялікіх і статыстычна значных зменаў трафіку на нашых старонках.
У некаторых доследных групах мы назіралі значны рост у руху.
У той час як у іншых краінах, мы не ўбачылі ніякіх зменаў.
І ў некаторых іншых, мы нават бачылі моцнае адмоўнае змена ў руху.
Тэставанне А.А.
Дзве кантрольныя групы ў гэтым цесцю не паказалі статыстычна значнае адрозненне ў параўнанні адзін з адным пасля эксперыменту. Хоць невялікая змена было выяўлена, эфект не дасягнуты значэнняў.
Праверка скрутка пасля эксперыменту
Пасля таго, як мы вызначылі лепшую назву выканальніцкая тэг, апрацоўка была разгорнута ва ўсіх доследных групах. Іншыя групы выпрабавалі падобныя ўздымы ў руху і дысперсіі праз вядра зніклі, далей праверка нашых вынікаў.
Справа ў тым, што нашы дзве кантрольных групах не ўбачылі ніякіх зменаў у параўнанні адзін з адным, а таксама той факт, што іншыя вядра выпрабавалі такое ж паляпшэнне прадукцыйнасці, як толькі лепшае лячэнне выканальніцкага наносілі ім дало нам трывалую аснову для ўпэўненасці ў справядлівасці нашага вынікі.
абмеркаванне
Аказалася, у выніках, што кароткія тэгі загалоўкаў выконваецца лепш, чым доўгія. Гэта можа быць таму, што для больш кароткіх, больш адрасных тэгаў загалоўкаў, існуе высокая верагоднасць таго, працэнт матчу (якія могуць быць вылічаныя з выкарыстаннем метрыкі накшталт адлегласць Левенштейна паміж пошукавым запытам і тэг загалоўка) супраць дадзенага карыстальніка пошукавага запыту на Google.
У падобнай гіпотэзе, гэта можа быць, што з дапамогай добра арыентаванымі тэгамі загалоўкаў, якія больш тэкстава падобныя на агульныя ўмовы пошуку дапамагае павялічыць адсотак супадзеньні з пунктам гледжання пошуку Google і, такім чынам, паляпшае ранжыраванне.
Аднак, цалкам верагодна, што розныя стратэгіі добра працаваць для розных вэб-сайтах, і мы хацелі б рэкамендаваць дбайнае тэставанне, каб выявіць лепшыя стратэгіі SEO спецыяльна для кожнага канкрэтнага выпадку.
Takeaways
- Ёсць дзве кантрольныя групы для тэставання AA. Гэта дазволіла нам мець значна большую упэўненасць у выніках.
- Пакет CausalImpact можа быць лёгка выкарыстаны для ўліку невялікіх адрозненняў у цесцю супраць кантрольных груп і ацаніць адрозненне лячэння больш дакладна.
- Для тэгаў загалоўкаў, то, хутчэй за ўсё, рэкамендуецца выкарыстоўваць фармулёўкі і фармулёўкі, якія б максымізаваць верагоднасць адлегласці матчу нізкія Левенштейна з папулярных мэтавых пошукавых запытаў на Google
Крэдыты малюнка:
Візуалізацыя стратыфікаваная выбаркі
