Як відстежувати великий веб + шаблон - агентство цифрового маркетингу Serendipity

1. Оптимізує Screaming Frog для великих слідів
2. - Збільшити доступ до оперативної пам'яті Screaming Frog:
3. Інші варіанти на ринку
4. Створіть власну програму сканування
5. НАСТУПНІ ДАНІ

Наша команда-партнер Artmisto

Коли ми збираємося відслідковувати дуже великий сайт, щоб зробити аудит SEO, ми не стоїмо звичайних інструментів. Рішення, яке я пропоную на цій посаді, це створення власного програмного забезпечення для відстеження, якщо ви маєте певні знання з програмування, ви побачите, як це дійсно не дуже складно.

Я використовую Screaming Frog, і останнім часом для MAC я більше нагадую BEAMS UP, щоб повзати (сканує англійською), але коли ми зустрічаємо дуже великий сайт, 500000 сторінок або більше, це стає жахливим завданням. Щоб відкрити файли, зробіть запит або отримайте звіт, це може зайняти кілька годин або залишитися повішеним. Це обмеження пов'язано з тим, що ці програми працюють безпосередньо з оперативною пам'яттю, а коли йдеться про дуже великий веб-сайт, ми зазвичай не маємо стільки пам'яті, скільки majearlo.

Оптимізує Screaming Frog для великих слідів

- Збільшити кількість запитів:

Сканування великих веб-сайтів потребує часу, але є способи прискорити процес. Щоб звести до мінімуму час, який потрібно, потрібно збільшити швидкість сканування на вкладці конфігурації.

Після натискання кнопки "Швидкість" з'явиться вікно налаштування швидкості павука. Номер, вказаний поруч із написом "Макс. Потоки", визначає швидкість сканування на веб-сайті.

Збільшення цього числа значно покращить час, необхідний для сканування веб-сайтів. Протестуйте за допомогою декількох різних максимальних значень потоків і перевірте, як впливає швидкість сканування (наприклад, 10, 50, 100, 200, 500, 1000 тощо)

Варто зазначити, що встановлення великої кількості потоків збільшить кількість запитів http на сервер, що може вплинути на час відповіді веб-сайту. Я ніколи не стикався з цією проблемою з будь-яким нашим клієнтом, але не заважає звернутися до веб-майстра сайту, щоб у будь-якому випадку затвердити швидкість сканування. Інший варіант - відстежувати час відгуку та регулювати швидкість, якщо ви помітили будь-які проблеми.

- Збільшити доступ до оперативної пам'яті Screaming Frog:

Офіційний підручник щодо того, як це зробити: https://www.screamingfrog.co.uk/seo-spider/user-guide/general/#memory

Інші варіанти на ринку

Перш ніж приступити до роботи, я хочу повідомити вам, що у нас також є можливість використовувати платіжні інструменти, такі як DeepCrawl , хоча, якщо вам потрібно щонайменше 1,5 млн. URL, підготуйте близько 400 € / місяць

Іншим варіантом для Windows є ISS SEO TOOLKIT

Створіть власну програму сканування

Ми збираємося створити PHP-програму, використовуючи бібліотеку PHPCrawl, і це додаток збереже все, що відстежується в базі даних. Замість того, щоб починати з нуля, ми візьмемо приклад, який вже зроблено і може завантажити звідси ,

Ми готуємо базу даних

Спочатку ми створюємо базу даних, або з phpMyAdmin або з інструментом, який ви віддаєте перевагу. У цій базі даних ми імпортуємо файл table-crawler.sql, що входить до файлу, який ви тільки що завантажили. Завдяки цьому ми маємо готову базу даних, тепер ми збираємося підготувати заявку.

Ми редагуємо файл crawler-example.php

У рядку 2 ми змінюємо notprovided.eu на ім'я домену, який ми хочемо сканувати.

На рядку 3 mysql_connect ("localhost", "database", "password") або die (mysql_error ()); ми змінюємо базу даних на ім'я користувача (це погано в прикладі, це не база даних, а користувач, що там поставити)

На рядку 4 mysql_select_db ("table") або die (mysql_error ()); змінюємо таблицю на назву бази даних.

Рядок 68 $ crawler-> setFollowMode (1); вказує, що відстеження відбуватиметься в режимі 1, що означає, що всі піддомени будуть відслідковуватися, якщо ми хочемо простежити тільки субдомен, зазначений у рядку 2, ми поміщаємо його в режим 2: $ crawler-> setFollowMode (2) ;

Все готове, ми просто повинні виконати файл crawler-example.php і результати будуть додані до бази даних, яку ми створили. Щоб проконсультуватися з ними, ми можемо використовувати phpMyAdmin або безпосередньо робити запити.

НАСТУПНІ ДАНІ

Люди LunaMetrics представляють нам дуже повне Dashboard, щоб представити дані, отримані з Screaming Frog, і що ви можете завантажити тут ,

Моя пристрасть - цифровий маркетинг і веб-аналітика. У мене 10 років досвіду роботи з дуже різноманітними клієнтами та секторами.