- Аптымізуе крычую жабу для вялікіх слядоў
- - Пашырэнне доступу да аператыўнай памяці Rreaming Frog:
- Іншыя варыянты на рынку
- Стварыце ўласнае прыкладанне для сканавання
- У цяперашні час дадзеныя
Наша команда-партнер Artmisto
Калі мы збіраемся адсочваць вельмі вялікі вэб-сайт для праверкі SEO, мы не ставімся да звычайных інструментаў. Рашэнне, якое я прапаную ў гэтай пасадзе, заключаецца ў стварэнні ўласнага праграмнага забеспячэння для адсочвання, калі ў вас ёсць веды аб праграмаванні, вы ўбачыце, як гэта сапраўды не вельмі складана.
Я выкарыстоўваю Screaming Frog, і ў апошні час для MAC я больш падобны на BEAMS UP, каб сканаваць (скануецца па-ангельску), але калі мы натыкнуліся на вельмі вялікі сайт, 500000 старонак і больш, гэта становіцца страшнай задачай. Каб адкрыць файлы, зрабіць запыт або атрымаць справаздачу можа заняць некалькі гадзін або заставацца вешаным. Гэта абмежаванне звязана з тым, што гэтыя праграмы працуюць непасрэдна з аператыўнай памяці, і калі гаворка ідзе пра вельмі вялікі вэб-сайт, звычайна ў нас не так шмат аператыўнай памяці, чым majearlo.
Аптымізуе крычую жабу для вялікіх слядоў
- павялічыць колькасць запытаў:
Сканаванне вялікіх вэб-сайтаў патрабуе часу, але ёсць спосабы паскорэння працэсу. Каб звесці да мінімуму час, неабходнае для павелічэння хуткасці сканавання на ўкладцы канфігурацыі.
Пасля націску на кнопку "Хуткасць" з'явіцца акно наладкі хуткасці павука. Нумар, пералічаны побач з "Max Threads", вызначае, як хутка вы можаце сканаваць сайт.
Павелічэнне гэтай колькасці значна палепшыць час, неабходнае для сканавання вэб-сайтаў. Праверце некалькі розных значэнняў нітак і паглядзіце, як залежыць хуткасць сканавання (напрыклад, 10, 50, 100, 200, 500, 1000 і г.д.).
Варта адзначыць, што ўстаноўка вялікай колькасці тэм павялічвае колькасць запытаў http, зробленых на сервер, што можа паўплываць на час водгуку сайта. Я ніколі не сутыкаюся з гэтым пытаннем з любым з нашых кліентаў, але гэта не перашкодзіць звярнуцца да вэб-майстра сайта, каб ухваліць хуткасць сканавання на ўсялякі выпадак. Іншы варыянт - кантраляваць час рэагавання і рэгуляваць хуткасць, калі вы заўважылі якія-небудзь праблемы.
- Пашырэнне доступу да аператыўнай памяці Rreaming Frog:
Афіцыйны падручнік пра тое, як гэта зрабіць: https://www.screamingfrog.co.uk/seo-spider/user-guide/general/#memory
Іншыя варыянты на рынку
Перад тым, як прыступіць да працы, я хачу сказаць, што ў нас таксама ёсць магчымасць выкарыстоўваць такія сродкі для аплаты, як DeepCrawl , хоць, калі вы маеце патрэбу як мінімум у 1,5 мільёна URL, падрыхтуеце каля 400 € / месяц.
Іншы варыянт для Windows ISS SEO ІНСТРУМЕНТ
Стварыце ўласнае прыкладанне для сканавання
Што мы збіраемся зрабіць, гэта стварыць прыкладанне PHP з дапамогай бібліятэкі PHPCrawl, і гэта дадатак будзе захоўваць усё, што адсочваецца ў базе дадзеных. Замест таго, каб пачаць з нуля мы будзем прымаць прыклад, які ўжо зроблены і можа спампаваць адсюль ,
Мы рыхтуем базу дадзеных
Спачатку мы ствараем базу дадзеных, альбо з дапамогай phpMyAdmin, альбо з дапамогай інструмента, які вы аддаеце перавагу. У гэтую базу дадзеных мы імпартуем файл table-crawler.sql, які ўваходзіць у файл, які вы толькі што запампавалі. З гэтым мы падрыхтавалі базу дадзеных, зараз рыхтуем прыкладанне.
Рэдагуем файл crawler-example.php
У радку 2 мы мяняем notprovided.eu імем дамена, які мы хочам сканаваць.
На радку 3 mysql_connect ("localhost", "база дадзеных", "пароль") або die (mysql_error ()); мы змяняем базу дадзеных па імя карыстальніка (у прыкладзе гэта дрэнна, гэта не база дадзеных, а карыстальнік, што там паставіць)
У радку 4 mysql_select_db ("table") або die (mysql_error ()); мы змяняем табліцу па назве базы дадзеных.
У радку 68 $ crawler-> setFollowMode (1); паказвае, што адсочванне будзе ажыццяўляцца ў рэжыме 1, а гэта азначае, што ўсе субдомены будуць адсочвацца, калі мы хочам, каб толькі прасочваўся толькі субдомен, паказаны ў радку 2, мы ўводзім яго ў рэжым 2: $ crawler-> setFollowMode (2) ;
Усё гатова, трэба проста выканаць файл crawler-example.php, і вынікі будуць дададзеныя ў базу дадзеных, якую мы стварылі. Каб пракансультавацца з імі, мы можам выкарыстоўваць phpMyAdmin альбо зрабіць запыты непасрэдна.
У цяперашні час дадзеныя
Людзі LunaMetrics падаюць нам вельмі поўную панэль прыбораў, каб прадставіць дадзеныя, атрыманыя з Screaming Frog, і што вы можаце спампаваць тут ,
Мая страсць - гэта лічбавы маркетынг і вэб-аналітыка. Я 10 гадоў вопыту работы з вельмі разнастайнымі кліентамі і сектарамі.
