Як змусити Google швидко проіндексувати сторінку на чужому сайті?

Наша команда-партнер Artmisto

Тут я не буду описувати банальні методи, доступні в довідці Google Веб-майстер, а також, шаманські методи, типу "додати твіт з посиланням" і іншою мішурою. Я хочу поділитися з вами тим, як швидко проіндексувати сторінку саме на "чужому" сайті і дуже швидко.

Відразу ж, давайте розглянемо питання, навіщо це може бути потрібно.

Наприклад, ви купили для свого сайту зовнішніх посилань на SAPE або десь ще. Далі, вам потрібно чекати, коли ці сторінки будуть проіндексовані, щоб почали працювати посилання. Залежно від сайту, це очікування може затягнутися на тижні.

Або ж, наприклад, існують такі движки сайтів, де можна створити профайл зі своїм текстом і посиланням на ваш сайт. Але, ці профайли або "висячі" (що не мають посилань з сайту на них), або дуже довго не індексуються, так як заховані в sitemap дуже глибоко. Або ж вам потрібно прискорити індексацію вашого оголошення на дошках оголошень, типу OLX.

Якось в один прекрасний день я зрозумів, як це можна зробити за допомогою Google Webmasters Tools. Всі ми знаємо, що найшвидшим способом додати сторінку свого сайту в індекс - це додати її через "Fetch as Google" в Веб-майстер Тулс. В цьому випадку сторінка потрапляє в індекс протягом хвилини.

принцип

В утиліті "Fetch as Google" ви запросто можете додати сторінку, яка редирект на іншу сторінку. І що прикольно - на зовнішній сайт теж. Тобто, ви на своєму сайті створюєте файлик redirect.php? Url = xxxx, якому на вхід подається якийсь url, і він редирект за допомогою 301 на той сайт. Далі, додаєте цю сторінку в "Fetch as Google" і гугл думає, що ви власник сторінки, а потім її треба раптово проіндексувати . Природно, ваш сайт повинен бути доданий в Google Веб-майстер.

Далі, я зробив крок за кроком керівництво для початківців.

Як це зробити?

КРОК 1

Попередньо, додайте будь-який з ваших сайтів в Google Webmasters. Я покажу приклад, для якого потрібен працюючий php на вашому сервері.

КРОК 2

Створіть php-файл (наприклад, redirect.php) з наступними рядками і закачайте його в корінь вашого сайту:

<? Php
preg_match ( "/ \. php \? u = (. *) $ /", $ _SERVER [ 'REQUEST_URI'], $ matches);
header ( "HTTP / 1.1 301 Moved Permanently");
header ( "Location: http: //". $ matches [1]. "");
exit;
?>

Увага! Для безпеки, звичайно ж, назвіть цей файл якось інакше, щоб ніхто не знав, як його викликати. І видаляйте його кожен раз після того, як скористалися.

КРОК 3

У Веб-майстер Tools зайдіть в розділ Crawl -> Fetch as Google. В поле введення відправте URL виду:

redirect.php? u = www.website.com / page.html - без http: // в адресі сайту.

КРОК 4

Далі, натисніть кнопку "Submit to index":

І виберіть 1-й метод "Crawl only this URL":

КРОК 5

Готово. Скоро ця сторінка буде в індексі Google.

Нові сторінки, що раніше не існували в індексі, з'являться протягом хвилини. Морди сайтів і старі сторінки оновлять кеш через деякий час, буває відразу, а буває - ні. Але, будьте впевнені, бот гугла їх уже з'їв. В принципі, якщо кожні 5 хвилин смикати цю добавлялкі для якоїсь морди сайту, то вона теж оновиться в кеші дуже швидко. Навіть, якщо цього не робити, наступна дата в кеші буде та, що ви додавали сайт.

З цього методу, також, випливають деякі неприємні нюанси. А саме, будь-яка людина може на чужому сайті настворювала дублікатів сторінок. Наприклад, просто посилаючи запити:
redirect.php? u = www.website.com / index.php? var1 = 123

Щоб захиститися від цього, робіть для всіх сторінок rel = "canonical" з посиланням на основну сторінку, закривайте в robots.txt сторінки з параметрами та інше.

Також, неприємно і те, що ця сторінка redirect.php? U = www.website.com / index.php? Var1 = 123 буде додана до індексу вашого домену . Тобто, по команді site: ваш-сайт.com цей редирект буде приклеєний до вашого домену. Це може негативно позначитися на позиціях вашого сайту. До речі, в певних випадках, коли ваш сайт сильніше того другого, чужа сторінка може вилетіти з пошуку, а на її місце встане ваша .

Висновок з усього цього - використовувати для прискорення індексації непотрібний домен, для якого створено Вебмастерс.

Деякі з вас після прочитання цієї статті подумають, що схожим способом можна і видалити чужий сайт з індексу. Питання звичайно ж цікавий, але, я поки не можу порадувати вас позитивними результатами в цьому напрямку. Можливо, потрібно якось хитро приклеїти свій домен до чужого. Так, щоб robots.txt залишався на вашому домені, а інше було приклеєно. Але, це вже зовсім інша історія.