Jak śledzić duży web + szablon - Serendipity Digital Marketing Agency

1. Optymalizuje Screaming Frog dla dużych śladów
2. - Zwiększenie dostępu do pamięci Screaming Frog RAM:
3. Inne opcje na rynku
4. Utwórz naszą własną aplikację do indeksowania
5. PRZEDSTAWIAJ DANE

Наша команда-партнер Artmisto

Kiedy zamierzamy śledzić bardzo dużą stronę internetową, aby przeprowadzić audyt SEO, nie jesteśmy warci konwencjonalnych narzędzi. Rozwiązaniem, które proponuję w tym poście, jest stworzenie własnego oprogramowania do śledzenia, jeśli masz jakąś wiedzę na temat programowania, zobaczysz, jak to naprawdę nie jest bardzo trudne.

Używam Screaming Frog, a ostatnio dla MAC bardziej przypominam BEAMS UP, żeby się czołgać (indeksuje po angielsku), ale kiedy natkniemy się na bardzo dużą witrynę, 500 000 stron lub więcej, staje się to strasznym zadaniem. Aby otworzyć pliki, wykonaj zapytanie lub uzyskaj raport, który może trwać godzinami lub zostać zawieszony. To ograniczenie wynika z faktu, że programy te działają bezpośrednio z pamięcią RAM, a jeśli chodzi o bardzo dużą stronę internetową, zwykle nie mamy tak dużo pamięci RAM, jak majearlo.

Optymalizuje Screaming Frog dla dużych śladów

- Zwiększ liczbę żądań:

Indeksowanie dużych witryn wymaga czasu, ale istnieją sposoby, aby przyspieszyć ten proces. Aby zminimalizować czas potrzebny, musisz zwiększyć szybkość indeksowania na karcie konfiguracji.

Po kliknięciu „Speed” pojawi się okno konfiguracji prędkości pająka. Liczba podana obok „Max Threads” określa, jak szybko możesz przemierzać witrynę.

Zwiększenie tej liczby znacznie poprawi czas indeksowania stron internetowych. Przetestuj używając kilku różnych maksymalnych liczby wątków i zobacz, jak wpływa na szybkość indeksowania (np. 10, 50, 100, 200, 500, 1000 itd.)

Warto zauważyć, że ustawienie dużej liczby wątków zwiększy liczbę żądań http wysyłanych do serwera, co może mieć wpływ na czas reakcji witryny. Nigdy nie spotkałem się z tym problemem u żadnego z naszych klientów, ale nie zaszkodzi dotrzeć do webmastera witryny, aby zatwierdzić szybkość indeksowania na wszelki wypadek. Inną opcją jest monitorowanie czasów odpowiedzi i dostosowanie prędkości, jeśli zauważysz jakiekolwiek problemy.

- Zwiększenie dostępu do pamięci Screaming Frog RAM:

Oficjalny poradnik, jak to zrobić: https://www.screamingfrog.co.uk/seo-spider/user-guide/general/#memory

Inne opcje na rynku

Zanim przejdę do pracy, chcę Ci powiedzieć, że mamy również możliwość korzystania z narzędzi płatniczych, takich jak DeepCrawl , chociaż jeśli potrzebujesz co najmniej 1,5 mln adresów URL, przygotuj około 400 € / miesiąc

Inną opcją dla systemu Windows jest ISS SEO TOOLKIT

Utwórz naszą własną aplikację do indeksowania

To, co zamierzamy zrobić, to stworzyć aplikację PHP za pomocą biblioteki PHPCrawl, a ta aplikacja będzie przechowywać wszystko, co jest śledzone w bazie danych. Zamiast zaczynać od zera, weźmiemy przykład, który jest już zrobiony i możemy pobierz stąd ,

Przygotowujemy bazę danych

Najpierw tworzymy bazę danych za pomocą phpMyAdmin lub preferowanego narzędzia. W tej bazie danych zaimportujemy plik table-crawler.sql, który znajduje się w pobranym pliku. Dzięki temu mamy bazę danych gotową, teraz przygotujemy aplikację.

Edytujemy plik crawler-example.php

W linii 2 zmieniamy notprovided.eu na nazwę domeny, którą chcemy zaindeksować.

W linii 3 mysql_connect („localhost”, „baza danych”, „hasło”) lub die (mysql_error ()); zmieniamy bazę danych według nazwy użytkownika (w przykładzie jest źle, nie jest to baza danych, ale użytkownik, co tam umieścić)

W linii 4 mysql_select_db ("table") lub die (mysql_error ()); zmieniamy tabelę według nazwy bazy danych.

Linia 68 $ crawler-> setFollowMode (1); wskazuje, że śledzenie będzie wykonywane w trybie 1, co oznacza, że ​​wszystkie subdomeny będą śledzone, jeśli chcemy śledzić tylko poddomenę wskazaną w linii 2, umieszczamy ją w trybie 2: $ crawler-> setFollowMode (2) ;

Wszystko jest gotowe, wystarczy wykonać plik crawler-example.php, a wyniki zostaną dodane do utworzonej przez nas bazy danych. Aby się z nimi zapoznać, możemy użyć phpMyAdmina lub wykonać zapytanie bezpośrednio.

PRZEDSTAWIAJ DANE

Ludzie LunaMetrics przedstawiają nam bardzo kompletny Dashboard, aby zaprezentować dane uzyskane z Screaming Frog i że możesz pobierz tutaj ,

Moją pasją jest marketing cyfrowy i analityka internetowa. Mam 10 lat doświadczenia z bardzo zróżnicowanymi klientami i sektorami.