1. Скорость сайта
2. Дублированный контент
3. Новая архитектура или дизайн
4. Новые URL
5. Удаление или перенаправление страницы
6. Robots.txt и Meta Robots Noindex
7. Инструменты удаления страницы

Неправильное использование инструментов удаления страниц в Bing Webmaster Tools и Google Search Console может снизить общую индексацию сайта.

Без индексации нет возможности ранжирования в естественных результатах поиска. Когда номера индексации падают, существует несколько потенциальных причин.

Скорость сайта

Всё медленнее скорость сайта маскируется под 500 ошибок сервера в Google Search Console и Bing Webmaster Tools, влияющих на индексацию.

Когда сканеры поисковых систем вообще не могут получить доступ к странице - или, по крайней мере, в течение максимального времени, отведенного для загрузки каждой страницы - это регистрируется как отметка на этой странице. При достаточном количестве неудачных попыток сканирования поисковые системы опустят страницу в рейтинге и в конечном итоге удалят ее из индекса. Когда затрагивается достаточное количество страниц, это становится проблемой качества, которая может привести к снижению рейтинга всего сайта.

Дублированный контент

Для поисковой системы нет смысла индексировать две или более копии одной и той же страницы. Так когда дублированный контент начинает закрадываться, индексация обычно начинает снижаться. Вместо того чтобы решить, какую из двух или более страниц, которые выглядят одинаково, следует проиндексировать, поисковые системы могут решить передать всю группу и не проиндексировать ни одну из них.

Это распространяется и на очень похожие страницы контента. Например, если в ваших сетках просмотра для двух подкатегорий используется 75 процентов одних и тех же продуктов, поисковая система не будет иметь никаких преимуществ при индексации их обоих.

Дублированный контент также может быть случайно введен, когда действительно отличающиеся страницы выглядят одинаково или очень похожи, потому что у них нет уникальных характеристик, которые ищут поисковые системы, таких как теги заголовков, заголовки и индексируемый контент. В частности, это может отразиться на сайтах электронной коммерции, поскольку сетки просмотра могут выглядеть очень похожими, когда их причина существования не четко обозначена в копии на странице.

Новая архитектура или дизайн

Изменения в структуре заголовка и нижнего колонтитула сайта часто влияют на категории и страницы. Когда области сайта удаляются из этих элементов навигации по всему сайту, поисковые системы снижают ценность этих страниц, поскольку они получают меньше внутренних ссылок. Пониженное значение может привести к деиндексации.

Точно так же, изменения в дизайне может повлиять на индексацию, если объем содержимого на странице уменьшается или текст внезапно скрывается в изображении, а не легко индексируется как обычный текст HTML. Как и в случае с дублированным контентом, страница может иметь значение, которое не всегда очевидно для поисковых систем; убедитесь, что это видно через индексируемый текст для сохранения индексации.

Новые URL

Платформы электронной коммерции могут вносить неожиданные изменения в URL-адреса на основе изменений в таксономии или данных отдельных продуктов.

Когда URL меняется но содержание не, поисковые системы имеют дилемму. Они продолжают индексировать старую страницу, которую они знают, как ранжировать? Или они индексируют новую страницу, с которой у них нет истории? Или, может быть, они оба индексируют, или ни один? Все четыре варианта. В одном случае индексация удваивается. В другом случае оно падает до нуля.

Удаление или перенаправление страницы

Аналогичным образом, когда страница удаляется с сайта или создается перенаправление на другой сайт, количество жизнеспособных URL-адресов для этого сайта уменьшается. В этом случае вы ожидаете увидеть снижение индексации.

Robots.txt и Meta Robots Noindex

Команды роботов обладают большой способностью влиять на скорость сканирования и индексации. Они всегда являются первым и самым легким местом для поиска, когда у вас есть проблемы с индексацией.

Robots.txt представляет собой архаичный текстовый файл, который сообщает поисковым роботам, какие области сайта они могут сканировать, и какие из них следует избегать. Каждый бот может выбрать или не подчиняться файлу robots.txt. Основные поисковые системы обычно уважают их. Таким образом, снижение индексации произойдет в результате запрета роботам сканировать определенные файлы и каталоги.

Аналогично, атрибут noindex метатега robots указывает ботам не индексировать отдельный фрагмент содержимого. Содержание будет по-прежнему сканироваться, но основные поисковые системы обычно подчиняются команде не индексировать - и, следовательно, не ранжировать - страницы, на которых стоит отметка noindex.

Инструменты удаления страницы

Последний, но тем не менее важный, Google Search Console и Bing Webmaster Tools предлагают инструменты для удаления страниц. Эти инструменты очень мощные и очень эффективные. Введенный здесь контент будет удален из индекса, если он соответствует требованиям, установленным движками.

Тем не менее, для кого-то может быть легко удалить слишком много контента и случайно деиндексировать большие полосы сайта. После проверки файла robots.txt и метатегов, сделайте эти инструменты второй остановкой, чтобы проверить любую недавнюю ручную деиндексацию.