1. Импорт данных
2. Анализ данных
3. Экспорт данных
4. Заключение

ScreamingFrog известны своими превосходными инструментами SEO Spider. Это один из инструментов, которые я лично использую и на которые полагаюсь больше всего, когда я делаю технический аудит сайта. Иерархическая информация, которую можно найти и экспортировать из сканирования, - это настоящая сокровищница, и с добавлением Javascript она способна дать точный снимок сайтов независимо от того, как они были построены.

Их полномочия на рынке инструментов SEO безупречны, что сделало (относительно) недавний запуск их Log File Analyzer - теперь до версии 2.0 - захватывающей перспективой. Анализ файла журнала становится все более понятным элементом технического SEO-аудита, помогая нарисовать полную картину того, как GoogleBot и другие пользовательские агенты обнаруживают, сканируют и кэшируют контент и страницы на сайте.

Поскольку сайты становятся больше и сложнее, важность этого нельзя переоценить. Анализ журналов - лучший способ понять, насколько эффективно используется ваш бюджет обхода, и отследить проблемы с точки зрения информационной архитектуры и структуры сайта.

Большинство серверов собирают файлы журналов доступа, но извлечение полезных данных из них может быть сложной задачей; будь то с помощью Excel или одного из существующих сервисов анализа журналов, таких как Splunk - процесс не такой интуитивно понятный.

Определенно, на рынке есть пробел для более инстинктивного инструмента анализа логов. Итак, насколько близко ScreamingFrog Log File Analyzer подходит к выполнению этой роли?

Импорт данных

LFA позволяет напрямую импортировать необработанный файл .log, загруженный непосредственно с сервера. Не нужно беспокоиться о преобразовании или форматировании данных, просто перетащите их или используйте функцию обзора.

Кроме того, программное обеспечение позволяет импортировать списки URL-адресов в формате csv или xls / xlsx (файлы Excel до и после 2004 года), которые затем можно использовать для сравнения совпадений с данными из файла журнала, что особенно полезно, если у вас есть подмножество важные URL, которые вы хотите проанализировать.

Полезно, поскольку этот инструмент предназначен главным образом как инструмент SEO (большинство других инструментов этого типа представляют себя как многоцелевые). LFA также автоматически идентифицирует и разделяет запросы, сделанные GoogleBot для вас, гарантируя, что у вас всегда будет чисто набор данных. для того, что, скорее всего, важный паук, сканирующий ваш сайт.

Анализ данных

Вкладка «Обзор» - это отличная панель инструментов со всеми основными показателями, которые вы, вероятно, будете отслеживать при выполнении анализа файла журнала. Он также включает в себя удобные линейные графики, которые разбивают коды ответов, события и URL-адреса, доступные за период журнала. Они могут быть отфильтрованы по периоду времени, а также по конкретному боту, чье поведение вас интересует.

Вопреки обзору, LFA разбивает данные на ряд вкладок, каждая из которых содержит несколько сортируемых, фильтруемых, экспортируемых столбцов и строк, повторяя знакомую настройку SEO Spider Tool. Как и в случае с Spider Tool, вы также можете отфильтровать эти данные на лету, выполнив поиск по любой буквенно-цифровой строке или, если хотите, используйте древовидное представление, чтобы увидеть более иерархическую разбивку.

Представление «URL» содержит следующее:

• URL
• Код последнего ответа
• Время последнего ответа
• Тип содержимого
• Средний байт
• Среднее время отклика (в миллисекундах)
• Общее количество событий
• Количество запросов к ботам (далее это разбито на дополнительные столбцы для часто анализируемых ботов: Googlebot (и варианты для мобильных телефонов и смартфонов), Bingbot, Yandex, Baidu).

Сразу же это дает вам большой объем данных, которые готовы для анализа. Несколько примеров того, как быстро сортировать эти данные по 1 или более столбцам, может помочь вам найти проблемные страницы:

1. Среднее число байтов и среднее время отклика: найдите страницы, которые особенно медленно отвечают на запросы поисковых роботов - эти страницы, скорее всего, будут работать хуже органически, поскольку более медленные страницы могут быть оштрафованы из-за более высоких показателей отказов и других негативных факторов поведения пользователя. Вы можете даже обнаружить, что чрезвычайно медленные страницы либо игнорируются, либо кэшируются менее регулярно, чем лучше оптимизированные страницы - эти страницы являются основной возможностью запуска через GTMetrix или другой инструмент тестирования скорости страниц.
2. Код последнего ответа, время последнего ответа и количество событий: проверьте страницы, которые возвращают ответ заголовка 400 Not Found, 500 Server Error или 30X Redirect в столбце «Last Response Code». Затем, ссылаясь на «ToLR» и «Num Events», узнайте, сколько раз и как регулярно просматриваются эти бесполезные страницы. Это отлично подходит для поиска контента, который был недавно удален или удален, но все еще получает постоянное внимание от роботов поисковой системы - позволяя вам перенаправлять или переназначать URL при необходимости.

Для более специализированного анализа на других, более сфокусированных вкладках инструмента представлены расширенные данные:

• Коды ответов: проанализируйте коды ответов для каждого запрошенного URL-адреса за период файла журнала - например: была ли запрошена правильная страница 96 раз, получено 96 200 ответов OK или это была несовместимая смесь из 200 OK и 404 Not Found? Простой флажок true / false «Несогласованный» поможет вам отследить эти страницы для дальнейшего анализа.
• Агенты пользователей: разбивайте ваши данные главным образом по агентам пользователей, а не по конкретным URL-адресам - узнайте, какие агенты отвечают быстрее всего, и какие ответы заголовка возвращаются в каком количестве.
• Рефереры: откройте страницу, на которой есть ссылка, чтобы сделать этот запрос, как быстро ваш сайт ответил и количество ошибок. Полезно для выяснения, откуда идет ваш реферальный трафик.
• Каталоги: разбивает URL-адреса в соответствии со структурой каталогов (или папок) вашего сайта, отображая количество и тип событий, полученных каждым каталогом. Это еще один мощный инструмент для оценки того, какие конкретные области вашего сайта (а не на уровне страницы) Google тратит большую часть своего времени на сканирование - отличный способ анализа и оптимизации бюджета сканирования.
• IP-адреса: вместо того, чтобы полагаться на пользовательский агент для идентификации создателя запроса, он разбивает его далее на отдельный IP-адрес. Необычные данные здесь могут (но не всегда!) Отражать негативные SEO-атаки или другие злонамеренные намерения.
• События: полный и довольно пугающий список событий за период времени журнала, идентифицируемый меткой времени, методом, кодом ответа и пользовательским агентом.
• Импортированные данные URL: как уже упоминалось ранее, это позволяет импортировать более курируемый список URL, который затем можно использовать в качестве данных сравнения на любой из других вкладок через раскрывающийся список «Вид», чтобы найти URL, отсутствующие в наборе данных или объединить к источникам.

Экспорт данных

Каждый анализируемый вами сайт хранится в отдельном файле проекта, но есть вероятность, что вы захотите выводить сегменты ваших данных, и, к счастью, это просто и гибко в инструменте ScreamingFrog LFA.

Каждая вкладка имеет свою собственную функцию экспорта, которая в случае вкладок URL и кода ответа может быть отфильтрована, чтобы вытащить именно то, что вы ищете.

• URL - экспорт по типу контента (текст / HTML, JS, CSS и т. Д.)
• Код ответа - экспорт по определенному типу кода ответа или список любых противоречивых ответов

Если вы импортировали данные URL, вы также можете выбрать, следует ли включать эти данные или нет, или вывести список совпадающих / пропущенных строк.

Затем ваши данные выгружаются в красиво отформатированный файл CSV или Excel, готовый для дальнейшего анализа или представления.

Заключение

В целом, я обнаружил, что ScreamingFrog Log File Analyzer - отличный способ выполнить работу по анализу лог-файлов, ориентированную на SEO. Тот факт, что он создан специально для технических SEO-пользователей, был для меня огромным благом, и я бы порекомендовал его всем, кто хочет провести такой анализ.

Ограниченное бесплатное демо (ограничено одним проектом из 1000 строк) и полные лицензионные версии доступны на https://www.screamingfrog.co.uk/log-file-analyser/ , Одна лицензия на полную версию составляет £ 99 в год.