Screaming Frog SEO Spider

1. Як завантажити Screaming Frog SEO Spider tool?
2. Як користуватися Screaming Frog SEO Spider?
3. Як сканувати сайт?
4. Як сканувати певний розділ на сайті?
5. Виключаємо певний розділ
6. Отримуємо список всіх сторінок сайту
7. Створення карти сайту xml

Наша команда-партнер Artmisto

Screaming Frog SEO Spider (СЕО Павук) - інструмент для аналізу і аудиту сайту. Більшість фахівців використовують дану програму при проведенні технічного аудиту сайту. Завдяки зручному і простому інтерфейсу, Screaming Frog дозволяє швидко і легко вирішити поставлену задачу. Ще однією перевагою є те, що програму можна запустити на PC, Mac або Linux.

При першому запуску програма може відлякати як професіоналів, так і новачків через різних способів настройки конфігурації і функціональності. Крім того, новачки можуть не знати, де скачати програму (з торрента або прямий файл), чи є безкоштовна версія, які у неї обмеження, як отримати ключ (keygen) для повної версії, як користуватися і т.д. - про що докладно ми і поговоримо.

теми матеріалу

Як завантажити Screaming Frog SEO Spider tool?

Програма поширюється безкоштовно і дозволяє проаналізувати 500 сторінок вашого сайту.

Для великих сайтів необхідний ключ (license key), з яким можу поділитися c найуважнішими. .

В одному з попередніх постів я сховав посилання на бонусну картинку. Напишіть осмислений коментар до посту, де знайшли картинку, після чого напишіть мені на пошту і я поділюся ключем. Картинка виглядає наступним чином:

+ Бонус для працьовитих: якщо не можете знайти картинку (а вона 100% розміщена в одному з попереднього поста) - залиште 15 осмислених коментарів на сайті і напишіть мені на пошту ([email protected]) - я поділюся з ключем.

Ключ вже отримали 127 користувачів сайту.

Щоб завантажити програму, переходимо на офіційний сайт (www.screamingfrog.co.uk/seo-spider/) і завантажуємо безкоштовну версію (free downloads). Після чого необхідно буде встановити і запустити софт.

Для отримання повної версії - натискаємо в меню на Licence (Ліцензія) -> Enter Licence Key (ввести ліцензійний ключ). У новому вікні вводимо ім'я користувача та ключ, після чого підтверджуємо ліцензію і перезавантажуємо програму.

Як користуватися Screaming Frog SEO Spider?

У перший час мені і самому було складно звикнути до даної програми, так як обходився іншими аналогами, яких благо дуже багато, наприклад: Netpeak Spider, Xenu, PageWeight і т.д. Але кожна програма унікальна за своїм і краще підходить для певних завдань, тому SEO-фахівця важливо вміти працювати з різними інструментами. Почнемо ми вивчення з базових можливостей.

Як сканувати сайт?

Процес сканування необхідно почати з налаштування програми. Screaming Frog сканує тільки вказаний домен, а все його піддомени розглядатиме як зовнішні посилання. Найчастіше необхідно, щоб основний домен і піддомени сприймалися як єдиний ресурс, тому вибираємо опцію «Crawl All Subdomains» в розділі Spider -> Configuration.

Якщо потрібно експрес-аналіз сайту, ви можете прибрати з обходу CSS, JavaScript, SWF файли. Прибравши чек-поінти з відповідних пунктів в тому ж вікні.

Для початку сканування - вводимо адресу сайту і натискаємо на кнопку старт.

Як сканувати певний розділ на сайті?

Для сканування певного розділу - просто вказуємо посилання на даний розділ.

Павук пробіжить по всіх посиланнях з даної сторінки, таким чином ви просканіруете один каталог. Таке необхідно, якщо у вас великий ресурс і ви поетапно опрацьовує кожен розділ на ньому.

Якщо ви виберете функцію «Crawl Outside Of Start Folder» - павук після аналізу даної сторінки, почне аналізувати всі знайдені урли.

Виключаємо певний розділ

Ви також можете задати списком розділи, які необхідно просканувати і задати певний каталог як виняток. У розділі Configuration ви знайдете два елементи:

• Include settings - правила включення певних розділів;
• Exclude settings - правила виключення певних розділів.

Таким чином, можна швидко виключити непотрібне для великих проектів.

Отримуємо список всіх сторінок сайту

Для отримання всіх сторінок html - необхідно запустити сканер для всього сайту. Потім вибрати тільки html сторінки і виконати вивантаження файлом excel.

Програма дуже зручна завдяки гнучкості. Можна налаштувати практично під будь-які потреби. Розглянемо ще кілька можливостей.

Якщо вам необхідно визначити сторінки з протоколом http або https - досить перейти в вікно «Protocol» і впорядкувати сторінки за потрібною принципом. Функція зручна, якщо ви тільки що перейшли на https і вам потрібно виправити неправильні урли на сайті.

Коди відповіді сервера можна знайти на вкладці Response Codes. Дозволяє швидко знайти биті посилання (400-ий відповідь), сторінки з перенаправленням (300-ий відповідь), крім цього покаже і інші відповіді (500-й - падіння сервера, 200-ий з документом все добре).

Для аналізу мета-тега title відмінно підійде вкладка Page Titles з множинними варіантами сортування

З іншими полями ви можете ознайомитися самостійно.

Створення карти сайту xml

Про важливість створення карти сайту xml я писав в окремій статті. Даний софт дозволяє створити її швидко.

Результат буде наступний (файл обрізаний):

Програма дійсно має великі можливості + є версія на макбук, що є величезним плюсом. При проведенні технічного аудиту сайту я використовую комплекс програм, однією з них є SEO FROG. Обійтися тільки даною програмою можливе, але це займає трохи більше часу. Як і які програми використовуєте ви?