Присутність в індексі пошукових систем є обов’язковою умовою ефективного SEO. Ось кілька причин, через які сайт може бути знижений у видачі або виключений із пошуку.
На ефективність бізнес-сайту впливає безліч факторів. Їхня комбінація забезпечує кращі чи гірші результати для власника. Багато відмінностей буде навіть залежно від проекту та ніші.
Але всі веб-проекти мають щось спільне, що є необхідною умовою SEO-просування — сторінки сайту повинні бути присутніми в індексі пошукової системи. Впливати на становище сайту та його сторінок в Яндексі та Google можна лише тоді, коли пошук їх бачить.
Відсутність проблем із ранжуванням та хороша видимість у пошуковій видачі дозволяють без додаткових зусиль залучати органічний трафік та підвищують ROI (Return On Investment – коефіцієнт повернення інвестицій).
Щоб стабільно досягати хороших результатів, потрібно розуміти, чому сторінки спочатку якісного сайту можуть бути знижені або видалені з пошуку.
1. Технічні проблеми
Технічні проблеми можуть заважати пошуковим роботам індексувати сторінки сайту. Це знижує видимість сайту в органічній видачі.
Технічні збої, що накопичилися з часом, можуть впливати на поведінкові фактори ранжування, що також призводить до зниження позицій.
Проблеми можуть бути спричинені людським фактором. Так, наприклад, неправильно прописані директиви в robots.txt блокують індексацію окремих сторінок, або навіть цілих розділів. Сюди ж відносяться зміни на сайті, які не погоджувалися з оптимізатором. Втручання в налаштування CMS та плагінів, зміна дизайну можуть негативно позначитися на індексації.
Нештатна робота програмної частини нерідко призводить до створення великої кількості непотрібних сторінок, наприклад, з помилкою 404, що впливає на відношення пошукових систем до сайту в цілому.
Ряд проблем пов’язаний з природним старінням сайту:
- Давно створений сайт хороший на десктопі, але не адаптований або погано адаптований під мобільні пристрої, що негативно впливає на його становище в мобільній видачі.
- По-старому використовується http замість https, або міграція на захищений протокол організована недостатньо добре, що призводить до появи змішаного вмісту (mixed content). Помилка загрожує проблемами з індексацією.
- Сайт завантажується повільніше за сайти конкурентів. Чинник швидкості завантаження тепер набув великої ваги в ранжируванні.
Технічний SEO-аудит дозволяє виявити та усунути подібні проблеми. Варто робити аудит регулярно, наприклад, раз на півроку. Щоб нічого не проґавити, корисно користуватися SEO-чеклістом.
2. Потрапити під фільтри
Раптове зникнення сторінок з результатів пошуку свідчить про те, що сайт міг потрапити під санкції пошукових систем (фільтри). Штрафи бувають алгоритмічні, тобто такі, що накладаються в автоматичному режимі, та ручні. Останні досить рідкісні. Куди простіше потрапити під фільтр алгоритму, який вважає, що сайт недостатньо якісний або порушує рекомендації пошуку.
На щастя, в наші дні пошукові системи стали лояльнішими до власників сайтів та вебмайстрів. Попередження про загрозу санкцій за порушення рекомендацій пошукових систем відображаються в панелях вебмайстрів.
Але повідомлень може і не бути. Крім того, фільтри зустрічаються різні, зв’язок санкцій з апдейтами пошукових алгоритмів не завжди очевидний. Тому, якщо є підозра щодо можливих санкцій, краще звернеться по допомогу до досвідчених фахівців.
3. Злом та віруси
Безпека – проблема номер один у сучасному вебі. Зловмисники зламують чужі сайти, а отримавши доступ до них, заражають шкідливим кодом, згенерованими сторінками, спам-контентом і посиланнями. Виявивши на сайті подібну активність, пошукові системи можуть виключити його сторінки з індексу до повної деіндексації ресурсу.
Є кілька способів перевірити сайт на віруси:
- Перевірити розділ із оповіщеннями про проблеми безпеки у Google Search Console та Яндекс.Вебмастер.
- Довіритися хостерам, які використовують спеціалізоване програмне забезпечення для аналізу сайтів клієнтів. У разі виявлення шкідливого коду вони повідомлять про це власника.
- Використовувати спеціальні плагіни для захисту сайту та перевірки безпеки. Свої плагіни розроблені для різних CMS. Так, наприклад, для сайтів на CMS WordPress застосовують iThemes Security та MalCare.
- Скористайтеся спеціалізованими онлайн-сканерами, такими як Sucuri SiteCheck та VirusTotal.
Ручну перевірку фахівцем із безпеки також ніхто не скасовував. Іноді зловмисники можуть бути дуже винахідливими, і виявити їхню діяльність непросто.
4. Пере оптимізація сторінок
Фільтр за пере оптимізацію пошуковики застосовують найчастіше. Грань між сторінкою, добре опрацьованою на користь SEO, і пере оптимізованою сторінкою досить тонка. Її легко переступити. Фільтр проявляється у вигляді різкого просідання у видачі групи запитів, якими просувається сторінка. Спостерігається аналогічна втрата трафіку.
Для зняття фільтра за переоптимізацію роблять наступні дії:
- зменшують обсяг оптимізованого тексту у вмісті сторінки та метатегах;
- видаляють із тексту надлишкові входження ключів, частину входжень змінюють;
- переформатувати вміст сторінки, розбавити текст зображеннями, списками, таблицями тощо.
5. Недостатньо цінних сторінок
Сторінки з невеликим вмістом або без нього, а також вміст, що дублює вміст іншої URL-адреси, пошукові роботи можуть помилково сприймати як дорвеї . Реакція алгоритмів буде відповідною.
Фільтри, націлені на зачистку пошукової видачі від подібних сторінок передбачені в Яндексі (фільтр МПК – “малокорисний контент”) та в Google (фільтр Thin Content – “худий або слабкий контент”).
Проблемою є не просто обсяг контенту на сторінці, а комплекс причин, поєднання яких знижує цінність сторінки. Йдеться про сторінки з малою кількістю унікального контенту, майже дублі, «сміттєві» сторінки, биті посилання тощо.
На дублі сторінок варто звернути особливу увагу, тим більше що така проблема легко лікуватися шляхом налаштування атрибуту rel=»canonical», а також поряд технічних правок.
6. Невідповідність інтенту
Пошуковики прагнуть давати користувачам найкращі результати у відповідь на пошукові запити. Але навіть при введенні однієї і тієї ж ключової фрази люди можуть шукати різного типу інформації. Тому пошуковій системі важливо узгодити результати видачі з тим, що бажають бачити користувачі, а власнику сайту враховувати це при оптимізації посадкових сторінок.
Намір, який рухає користувачем під час введення ключового слова у пошуковій системі, називається інтентом. Це важливе поняття у сучасному SEO.
Так, наприклад, при пошуку по тому самому запиту частина користувачів хоче бачити огляди продукту та рейтинги, інші — сайти, де продукт можна замовити, третіх цікавлять новини щодо нової версії продукту.
7. Різкі зміни на сайті
Будь-які зміни на сайті, які зачіпають велику кількість сторінок, можуть позначитися на його ранжируванні у пошуку. Такий самий ефект імовірний при істотній зміні вмісту або зовнішнього вигляду посадкової сторінки.
У процесі редизайну сайту або його міграції на іншу CMS навіть крихітні помилки можуть призвести до серйозних негативних наслідків:
- зміни або видалення значної частини контенту на посадкових сторінках;
- зміни структури сайту та шаблону формування URL;
- появі технічних помилок, що впливають на працездатність сайту.
Буває, що нову версію сайту переносять з тестового домену, прихопивши при цьому тестовий robots.txt, де прописана заборона на індексацію, і ніхто цього і не помічає. Статися може будь-яке.
Після виправлення помилок — запит індексації та переобхід
Нещодавно колишній співробітник Google сьогодні SEO-консультант Педро Діас (Pedro Dias) поділився цінною думкою. Він заявив, що хороше SEO – це не про те, щоб знати, що робить Google. Важливо знати, чому це Google робить.
Погана індексація – фатальний результат роботи з сайтом. Розуміння причин поганої індексації дозволяє оперативно усунути помилки.
Пошуковики мають корисні інструменти, які дозволяють швидко повідомити їх про те, що зміни внесені і проблеми виправлені. У Google Search Console цей інструмент називається «Перевірка URL», в Яндекс.Вебмайстрі він доступний під назвою «Перехід сторінок».
Ці інструменти можна використовувати для прискорення індексації або додавання до індексу сторінок, які з якихось причин туди не потрапили або були виключені .