1. Определите предложение полезного URL: коммерческий потенциал URL
2. Цель достижения: 100% URL-адресов сайта сканируются не реже одного раза в месяц.
3. Быстрый анализ логов Googlebot
4. Сводная таблица и Excel
5. Общая скорость сканирования определяется
6. Ежедневная частота сканирования рассчитывается
7. Кредитные дисбалансы сканируют на страницах сайта
8. Объем сканирования на уровне глубины
9. Необработанные страницы
10. Сканирование и эффективность бизнеса
11. Определить факторы блокирования при сканировании
12. Дублирование контента и Prestashop
13. Де-индексировать нежелательные страницы Prestashop и блокировать доступ к роботам
14. Для других страниц, которые не должны быть изучены
15. Используйте подстановочный знак, чтобы установить точные правила для исследования
16. Используйте Google Search Console GWT, чтобы проверить его robots.txt

Регулярно сталкиваясь с проблемами неполной индексации в интернет-магазинах, я решил сделать небольшую закладку из частых вмешательств, которые нужно учитывать, принимая во внимание портфель сайта электронной коммерции на основе Prestashop CMS.

Я стараюсь избегать шагов, связанных с семантической оптимизацией: тегами и метаданными, чтобы посвятить себя в этой статье частым рекомендациям, которые возвращаются во время анализа журналов сервера интернет-магазина.

Определите предложение полезного URL: коммерческий потенциал URL

Чтобы оценить масштаб задачи, ничто не сравнится с небольшим набором URL-адресов, присутствующих в Prestashop. Я имею в виду полезные ссылки, то есть те, которые должны генерировать прямой трафик из поисковых систем. Для этого нет ничего проще, вы уже знаете формулу: ваш любимый скребок Xenu или Screaming Frog.

У меня есть предпочтение Screaming Frog, которое недавно позволяет связывать данные Google Analytics (которые мы будем использовать позже).

Позаботьтесь о соблюдении инструкций файла robots.txt, вы увидите, это имеет все значение

Цель достижения: 100% URL-адресов сайта сканируются не реже одного раза в месяц.

Восстановление журналов сервера: желательно Googlebot

Актуальная тема последних месяцев, анализ журналов сервера и, в частности, журналов Googlebot - это самый близкий уровень анализа между вашим сайтом и активностью поисковых систем. Несколько возможностей:

Получить себе журналы непосредственно на вашем сервере (в отличие от того, что я часто слышу, вполне возможно извлечь журналы на общем сервере). Автоматически или нет, для анализа, составляющего вход в материю, нет необходимости настраивать газовую машину.

Восстановите журналы с помощью графического интерфейса: для тех, кто хочет регулярно проверять журналы со множеством статистических данных, связанных с SEO, некоторые решения существуют, часто платные, а другие скоро появятся на стороне Spiderlog , Я оставляю за собой бесплатное решение Жана Бенуа> http://box.watussi.fr , Бесплатный анализатор логов, который хорошо справляется со своей задачей при минимальной конфигурации. Я пользуюсь этой возможностью для тех, кому не по душе бревна, потому что Жан Бенуа регулярно организует семинары и тренинги по анализу бревен. Для Бордо, сессия запланирована на Бордо 6 ноября Это может быть возможностью начать, особенно если вы работаете с сайтами большого объема.

После того, как журналы восстановлены, мы экспортируем их в выбранном нами формате, чтобы начать анализ и рекомендации.

Быстрый анализ логов Googlebot

Какой период для анализа?

Теоретически мне нравится идти на 60 дней, но иногда нет необходимости возвращаться, особенно для первого анализа устранения первых факторов блокирования. Поэтому мы сосредоточимся на очистке ненужных URL-адресов, часто встречающихся в Prestashop.

Нередки случаи, когда около 80% обращений Google-ботов сосредоточены на бесполезных страницах вашего сайта. Мы еще поговорим об этом.

Я напоминаю вам, что идея состоит не в том, чтобы подробно описать, как анализируются журналы, а в том, чтобы быть эффективными при составлении первых рекомендаций, которые позволят вам работать более здоровым образом в дальнейшем.

Сводная таблица и Excel

Мы импортируем и очищаем наши данные, чтобы сделать их пригодными для использования в Excel. Для этого нет ничего проще, достаточно преобразовать свои данные и дать заголовок каждому столбцу.

Вот пример полей. Мне нравится присваивать уникальный идентификатор каждой строке журналов, чтобы облегчить манипулирование данными и, в частности, визуализацию попаданий / URL.

Общая скорость сканирования определяется

Пример общей таблицы сканирования в таблице

Ежедневная частота сканирования рассчитывается

Всегда с одной и той же сводной таблицей мы должны вывести все ее данные за несколько кликов.

Если диаграмма не говорит с вами, достаточно простой таблицы, в которую вы добавляете условное форматирование.

Кредитные дисбалансы сканируют на страницах сайта

Чтобы лучше понять амплитуды и неравномерность частоты сканирования, необходимо подробно изучить частоту сканирования для URL.

Затем мы сократили глобальную частоту сканирования в 2 метрики: количество URL-адресов для сканирования и часть глобального сканирования.

Самые просканированные страницы за исследуемый период

Мы замечаем ошибочные страницы, которые не оправдывают сканирование, и мы определяем, какое действие предпринять. Удаление и / или перенаправление.

Страницы с ошибкой сканирования

Необработанные страницы отображаются в течение периода, и именно здесь крайне важно сканировать полезные URL-адреса. Чтобы сделать это, ничего более простого, просто настройте функцию searchV в Excel, чтобы она соответствовала набору полезных ссылок, определенных Screaming Frog или другими, и просканированных URL, собранных в файле журнала сервера.

Объем сканирования на уровне глубины

PageRank и внутренняя сетка, оказывающие значительное влияние на действие сканирования, следует отметить уменьшение частоты сканирования при увеличении уровня глубины страниц. Всегда с помощью файла Screaming мы делаем совпадение глубины страниц с попаданиями, возвращаемыми файлом журнала сервера.

Объем сканирования на уровне глубины

Необработанные страницы

Неисследованная или слабо просканированная страница приводит к снижению производительности индексации и ранжирования.

Кричащая лягушка> searchv в файле журнала.

Предварительный просмотр неотмеченных страниц

Сканирование и эффективность бизнеса

Небольшой бонус: с новым обновлением Screaming Frog можно собирать данные из API Analytics при сканировании сайта. Таким образом, можно представить себе статистику аудитории, исходящую из органического трафика, по частоте сканирования по URL. Мы также можем связать CA. Связывание коммерческих исполнений может, в частности, позволить определить различные уровни приоритета для выполнения рекомендаций.

NB. Аудитория URL зависит не только от рейтинга и позиций URL в результатах поиска. Объемы выражений, товарные предложения, позиционирование клиентов и позиционированные лексические поля должны быть приняты во внимание.

Сканирование и производительность Сканирование и эффективность бизнеса

Определить факторы блокирования при сканировании

Как мы видели из различных анализов, многие страницы могут не сканироваться должным образом (не смотрите вообще), несмотря на правильную архитектуру сайта!

Поэтому важно передавать один за другим различные факторы блокировки сканирования, чтобы изолировать точки блокировки и сделать доступными URL-адреса, составляющие коммерческое предложение.

Пример факторов блокировки сканирования

Дублирование контента и Prestashop

Первая часть, являющаяся очень общим, нас сейчас интересует специфика Prestashop. Главное слабое место, общее для многих CMS: дублирование контента. Внутренний или внешний, он становится все более и более реальным препятствием для полной индексации сайта. Поэтому мы рассмотрим некоторые примеры и общие проблемы на Prestashop.

Нумерация страниц, фильтры, ненужные страницы ...

Очень полезный для пользователя, гораздо менее оцененный движками, бесполезный URL должен быть освоен. Это страницы, которые потребляют больше всего кредитов на сканирование, если они не заданы в файле robots.txt. Проще говоря, мы применим тег «Canonical Rel». Я приглашаю вас проконсультироваться с отличной статьей на Effi10 для его реализации ,

Де-индексировать нежелательные страницы Prestashop и блокировать доступ к роботам

Как только мы определим бесполезные страницы для сканирования, мы применим метод Джерома ( Noindex на всех бесполезных страницах Prestashop ) запросить отмену индексации у роботов. Затем, как только эта деиндексация будет учтена, мы просто запретим сканирование. Мы будем возвращать ценные кредиты на наши полезные страницы.

Когда вы хотите заблокировать страницу роботов, я всегда предпочитаю дать роботу деиндексировать перед блокировкой доступа. Риск попадания в фрагмент кода типа: Доступ заблокирован файлом robots.txt сервера.

Чтобы робот учитывал инструкцию по деиндексации, вы должны разрешить ему просматривать страницу!

Советы: удалив страницу непосредственно в консоли поиска Google, вы можете пропустить этот шаг, НО это означает, что вы не заботитесь о других поисковых системах!

Я разрезал процедуру Джерома в 2 этапа, что требует смены крючка дважды.

первый проход : noindex follow

второй проход : после учета деиндексации: noindex, nofollow

Для других страниц, которые не должны быть изучены

Некоторыми другими страницами может показаться сложным манипулировать на лету с помощью простого хука в заголовочном файле Prestashop theme. Для этого нет ничего проще, и вам будет достаточно обогатить robots.txt, перечислив все блокируемые страницы. Файл журнала сервера, после обработки, даст вам все ненужные попадания, которые нужно заблокировать.

Используйте подстановочный знак, чтобы установить точные правила для исследования

Можно заменить последовательность символов звездочкой (*), они многочисленны и позволяют выбраться из любой ситуации. источник

Robots.txt: использовать подстановочные знаки

Используйте Google Search Console GWT, чтобы проверить его robots.txt

Я приглашаю вас использовать утилиту, предлагаемую Google в консоли поиска, для проверки ваших инструкций в файле robots.txt. Особенно в случае введения Wildcard, чтобы не приводить к неизведанным URL-адресам с ошибкой исследования фрагмента.

Инструмент тестирования файлов Robots.txt

Как видите, здесь была только индексная часть каталога. Для продолжения и, в частности, согласованность между URL категории и переписанным URL и внутренней сеткой должна быть возвращена.

Если у вас нет дублирующего контента на сайте и за его пределами, вы должны соблюдать основные правила, которые вы найдете в Интернете, чтобы индексирование каталогов было близко к 100%.

Вам понравилась эта статья? Так что поделитесь им с друзьями, нажав на кнопки ниже: