Календарь событий
Август 2019
Пн Вт Ср Чт Пт Сб Вс
      1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17 18
19
20
21 22
23
24
25
26
27
28
29
30
31
 

10 основных причин, по которым страница сайта может не находиться в индексе поисковых систем Яндекс или Google

Причина номер 1. Новая страница или новый сайт

 

Первая причина, это то, что поисковые роботы еще просто не нашли новую страницу вашего сайта. В зависимости от того, какой ваш сайт, переобход страниц может занимать от нескольких минут до нескольких недель.


Чтобы узнать, находится ли в индексе страница Вам необходимо воспользоваться сервисами вебмастера Яндекс или Google Search Console.

 

 

В Яндекс.Вебмастере это раздел «Индексирование» - «Проверить статус URL». Если робот обошел и проиндексировал страницу, вы увидите уведомление «Страница обходится роботом и находится в поиске».


Если робот о странице еще не знает, вы увидите сообщение «Страница неизвестна роботу».

Яндекс.Вебмастер

 

В новой версии Google Search Console вам нужен инструмент «Проверка URL». Если робот обошел и проиндексировал страницу, вы увидите уведомление «URL есть в индексе Google».

 

Google Search Console

 

Google Search Console

 

Google Search Console

 

Если робот на странице еще не был, вы увидите сообщение «URL нет в индексе Google».

 

Причина номер 2. Страница или сайт закрыты от индексации в файле robots.txt

 

Существует специальный файл robots.txt, который позволяет указать роботам на то, какие страницы сайта должны быть в индексе поисковых систем, а какие страницы не должны быть включены.

 

Соответственно, если в файле прописаны запрещающие правила, в индексе поисковых систем данную страницу вы не найдете.

 

Как проверить, закрыта ли страница в robots.txt?

 

 

В Яндекс.Вебмастере: заходим в «Инструменты - Анализ файла robots.txt». В окно «Разрешены ли URL» вносим адреса страниц, которые мы хотим проверить. После того, как мы нажмем на кнопку «Проверить», внизу появится список введенных адресов и их статус: разрешены они для индексации или нет. Если нет, будет указано, какое из правил запрещает обход для робота.

 

 


В Google похожий инструмент находится на вкладке «Сканирование - Инструмент проверки файла robots.txt».

 

Важно! На данный момент эта вкладка находится в старой версии вебмастера!

 

Причина номер 3. Указан запрет в User-Agent

 

У поисковых систем есть свои требования к тому, как должен строиться файл robots.txt. И начинается он с приветствия. Приветствие может быть обращено к роботу яндекс, либо гугл, либо к обеим поисковым системам.

 

Часто для Яндекс и Google делают отдельные секции в файле robots.txt. А потом забывают вносить правки в эти секции. Из-за этого роботы потом некорректно начинают индексировать сайт.

 

robots.txt

 

Проверяем наличие проблемы также, как и в предыдущем случае. Главное - это делать в вебмастере Яндекс, и в вебмастере Google.

 

Причина номер 4. Запрет на индексацию страниц указан в мета-теге robots.

 

Суть этого мета-тега такая же, как и у файла robots.txt, только если страница закрыта в robots.txt она все равно может быть проиндексирована поисковыми системами. Но если на странице используется noindex или none, страница не будет добавлена в индекс.

 

1. Проверить использование данного мета-тега на странице можно в коде (сочетание клавиш Ctrl+U)


 


2. С помощью дополнения для браузера, например seo meta

 

 

3. С помощью вебмастеров.

 

Проверить статус URL

 

Причина номер 5. Некорректно настроенный атрибут rel=canonical.

 

Каноникал - это еще один атрибут, помогающий управлять индексацией страниц.

Если rel каноникал настроен на другую страницу, то вы говорите поисковому роботу о том, что она схожа с другой станицей и первую страницу не нужно добавлять в индекс поисковых систем.

 

Проверить использование данного атрибута можно также в исходном коде, с помощью дополнения для браузера - rds бар или seo meta.

 



Также это можно увидеть в вебмастере Яндекс («Страницы в поиске»- «Исключенные страницы». Проверять необходимо статус «неканонические»).

 

Причина номер 6. Проблемы с ответом сервера

 

Для того, чтобы страница индексировалась, ее код ответа сервера должен быть 200 ОК. Если страница отдает ответ сервера 404 или 301, в индекс поисковых систем данная страница не попадет.

 

 

Проверять код ответа лучше всего с помощью вебмастеров, они показывают наиболее точные данные. А вот визуальной проверкой лучше не ограничиваться, так как бывают случаи, когда страницы выглядят корректно, но код ответа сервера не 200.

 

Причина номер 7. Проблемы с хостингом или сервером

 

Представьте, вы приходите в магазин, а он не работает. Потом снова приходите в магазин, но он все равно не работает. Какова вероятность того, что вы вернетесь туда? Вероятнее всего очень маленькая.

 

Тоже самое происходит и с поисковыми системами. Если он приходит на ваш сайт, а он не работает, то робот просто исключает страницы из индекса и не показывает их пользователям. 

 

Правильно, зачем пользователей приводить на неработающий сайт.

 

 

Для того, чтобы отследить есть ли проблема, необходимо в вебмастерах проверять статус страниц. Если встречаются ошибки сервера 5хх (500, 503), а также если вам приходят уведомления из Яндекс.Метрики о том, что сайт не работает, необходимо решать данную проблему.

 

Причина номер 8. Проблемы со скоростью загрузки страниц

 

Скорость загрузки - важный показатель качества современного сайта. Если ваши страницы долго долго загружаются, роботы поисковых систем исключать такие страницы из индекса.

 

Кроме того, скорость загрузки страниц - является фактором ранжирования в поисковых системах. Поэтому, если у вас с этим есть проблемы, срочно это исправляйте!

 

 

Как проверить? Начните с инструмента PageSpeed Insights от Google. Дополнительно можете использовать сервисы Google Аналитика и Яндекс.Метрика.

Совет! Важно проверять скорость загрузки для нескольких типов страниц и не останавливаться выполнив только одну проверку, т.е. выполнять данные работы периодически.

 

Причина номер 9. Проблема с уникальностью и полезностью контента

 

Поисковики уделяют большое внимание качеству контента, поэтому, если на странице расположен не полезный контент, либо же дублирующийся с другими страницами, такие страницы не добавляются в индекс поисковых систем.

 

 

Как проверить, есть ли на сайте такие страницы - нужно зайти в вебмастер.

В Яндексе - это отчет «Страницы в поиске» - «Исключенные страницы». Проверять нужно статусы «Дубль» и «Недостаточно качественная».

 

В Google Search Console - это отчет «Покрытие» - «Страница является копией. Канонический вариант не выбран пользователем».

 

Google Search Console

 

Причина номер 10. Проблемы с AJAX

 

Если ваш сайт выполнен на технологии AJAX очень важно правильно выполнить требования поисковых систем, для того чтобы поисковые роботы смогли проиндексировать страницы вашего сайта.

 

Таким образом для каждой отдельной страницы должна быть своя HTML-версия.

 

И напоследок, дадим вам несколько советов, как ускорить индексацию:

 

  • отправляйте страницы на переобход с помощью вебмастеров
  • используйте файл sitemap.xml
  • используйте новейшие возможности, которые предоставляют вам поисковики. Например, Яндекс Метрике появилась возможность связать Яндекс Вебмастер и Яндекс Метрику, для того чтобы отправлять страницы на переиндексацию.

Также смотрите наш видеоролик https://youtu.be/HF-2dd4luQY с помощью которого вы сможете найти ошибки у себя на сайте и запланировать работы по их исправлению. 

 

Если вы хотите продвинуть свой сайт в ТОП поисковой выдачи, тогда записывайтесь на  курс по SEO-продвижению http://m.webcom.by/5tsCcgVO

 

Оценка 4.75
на основании 451 отзывов
Наши спикеры
  • Вероника Дубешко
    Спасибо большое Академии за приятную атмосферу, высококвалифицированных спикеров и доброжелательное отношение. Желаю вам успехов и новых слушателей!

    Вероника Дубешкочастное лицо

  • Виталий Храповицкий
    Курсы на 100% оправдали ожидания - позволили систематизировать «кашу» в голове и послужили стимулом для дальнейшего самостоятельного развития.

    Виталий ХраповицкийООО «СБКомпозит»

  • Елена Семенова
    Практично. Доступное изложение материала и много готовых инструментов. С помощью курса удалось спланировать дальнейшую работу в области интернет-маркетинга.

    Елена СеменоваООО «Аплай логистик»

  • Сергей Савкин
    Данный курс помог мне понять, что интернет-маркетинг - это локомотив продаж.

    Сергей СавкинООО «Энертех-сервис»