Індекс пошукових систем – спеціальна база даних, в якій заноситься інформація, яку збирають пошукові роботи зі сторінок сайтів. При цьому враховується текстове наповнення, внутрішні і зовнішні посилання, графічні та деякі інші об’єкти. Коли користувач задає запит пошуковій системі, відбувається звернення до бази даних. Після цього виконується ранжування за релевантністю – формування списку сайтів у напрямку зниження їх значущості.
Що таке індексація
Процес додавання роботами зібраної інформації в базу називається індексацією. Потім дані певним чином обробляються і створюється індекс – витримка з документів. Процес заповнення індексу здійснюється одним із двох способів: вручну або автоматично. У першому випадку власник ресурсу повинен самостійно додати URL веб-ресурсу в спеціальну форму, яка є у «Яндекса», Google та інших пошукових систем. У другому робот сам знаходить сайт, планомірно переходячи по зовнішніх посиланнях з інших майданчиків або скануючи файл-карту sitemap.xml.
Перші спроби індексувати веб-ресурси були зроблені ще в середині 90-х років минулого століття. Тоді база даних була схожа на звичайний предметний покажчик, в якому містилися ключові слова, знайдені роботами на відвіданих ними сайтах. Майже за 30 років цей алгоритм був значно вдосконалений і ускладнений. Наприклад, сьогодні інформація перед попаданням в індекс обробляється з найскладніших обчислювальних алгоритмів із залученням штучного інтелекту.
Індексація сторінок сайту – невід’ємна частина роботи пошукових систем (не тільки Google і «Яндекса», а й усіх інших). База, отримана в процесі сканування веб-ресурсів, використовується для формування релевантної видачі. Основні роботи пошукових систем:
- основний – сканує весь контент на сайті і його окремих сторінках;
- швидкий – індексує тільки нову інформацію, яка була додана після чергового оновлення.
Також існують роботи для індексації rss-стрічки, картинок і ін.
При першому відвідуванні в базу потрапляють всі нові сайти, якщо вони підходять під вимоги пошукової системи. Під час повторного візиту інформація лише доповнюється деталями.
Швидкість індексації сторінок
Чим швидше відбувається додавання сторінки в індекс, тим краще для веб-ресурсу. Однак пошукові роботи не можуть виконувати такий великий обсяг роботи так само часто, як оновлюється наповнення сайтів. Індексація в «Яндекс» в середньому займає один-два тижні, а в Google – кілька днів. З метою прискорення індексації ресурсів, для яких дуже важливо швидке потрапляння інформації до бази (новинні портали і т. д.), застосовується спеціальний робот, який відвідує такі сайти від одного до декількох разів на день.
Як перевірити індексацію в «Яндексі» і Google
Скористатися інформацією з панелі веб-майстрів. У списку сервісів Google відкрийте Search Console, а потім перейдіть в розділ «Індекс Google». Потрібна інформація буде знаходитися в блоці «Статус індексування». У «Яндекс.Вебмайстер» необхідно перейти за наступною ланцюжку: «Індексування сайту» – «Сторінки в пошуку». Ще один варіант: «Індексування сайту» – «Історія» – «Сторінки в пошуку».
Задати пошук по сайту з використанням спеціальних операторів. Для цього використовуйте запит з конструкцією «site:”, вказавши далі адресу вашого ресурсу в повному форматі. Так ви дізнаєтеся кількість проіндексованих сторінок. Серйозні розбіжності в значеннях (до 80%), отриманих в різних пошукових системах, говорять про наявність проблем (наприклад, веб-ресурс може перебувати під фільтром).
Встановити спеціальні плагіни і букмарклети. Це невеликі доповнення для браузера, які дозволяють виконати перевірку індексації сторінок сайту. Одним з найпопулярніших серед них є RDS Bar.
Як прискорити індексацію
На швидкість індексації сайту прямо впливають кілька факторів:
- відсутність помилок, які уповільнюють процес збору інформації пошуковим роботом;
- авторитетність ресурсу;
- частота оновлення контенту на сайті;
- частота додавання нового контенту на сайт;
- рівень вкладеності сторінок;
- коректно заповнений файл sitemap.xml;
- обмеження в robots.txt.
Щоб прискорити індексацію сайту, виконайте ряд правил:
- виберіть швидкий і надійний хостинг;
- налаштуйте robots.txt, встановивши правила індексації та знявши непотрібні заборони;
- позбудьтеся від дублів і помилок в коді сторінок;
- створіть карту сайту sitemap.xml і збережіть файл в кореневій папці;
- по можливості організуйте навігацію таким чином, щоб всі сторінки були в 3 кліки від головної;
- додайте ресурс в панелі веб-майстрів «Яндекса» і Google;
- зробіть внутрішню перелинковку сторінок;
- зареєструйте сайт в авторитетних рейтингах;
- Регулярно оновлюйте контент.
Додатково рекомендуємо оцінити обсяг flash-елементів з точки зору їх впливу на просування. Наявність візуальних об’єктів цього типу значно знижує частку пошукового трафіку, так як не дає роботам виконати індексацію в повній мірі. Також не бажано розміщення ключової інформації в PDF-файлах, збережених певним чином (скануватися може тільки текстове вміст документа).