Максимизация SEO с Robots.txt
Опубликовано: ноябрь 2014 Автор: Алекс Мембрильо
Чтобы ваш сайт имел высокий рейтинг в Google и других поисковых системах, он должен быть хорошо организован и структурирован, чтобы каждая страница была легко проиндексирована.
Поисковые системы индексируют все веб-страницы, плавающие там в киберпространстве, используя «роботов», которые «сканируют» каждую страницу на основе правил из разных алгоритмов.
Файлы robots.txt содержат инструкции для роботов относительно сканирования страниц веб-сайта. Сайты, которые правильно структурированы и оптимизированы, имеют код (то есть сигналы) в этом файле, чтобы роботы могли сканировать свои сайты.
Если это уже кажется вам немного сумасшедшим, не волнуйтесь, вы не одиноки. Если вы не являетесь частью агентство цифрового маркетинга говорить о файлах Robots.txt может звучать как иностранный язык. К счастью для вас, мы здесь, чтобы помочь!
Как вы управляете роботами
Вы можете разрешить роботам сканировать или запретить им сканирование определенных страниц вашего сайта. Кодирование является ключом к успешному контролю ботов, которые плавают по вашему сайту и пытаются проиндексировать нежелательные страницы. Пример соответствующего кодирования:
Пользователь-агент: *
Disallow: / услуги /
User-agent: *: Этот сигнал кодирования регистрируется всеми роботами, которые сканируют ваш сайт. Он также может включать определенное имя бота, которое блокирует одного бота.
Disallow: / services /: Это дает роботу указание избегать посещения определенной страницы на вашем сайте. Хотя роботы, как правило, следуют правильно отформатированным инструкциям, они могут иногда сбивать и пропускать директивы, поэтому важно постоянно проверять ваши файлы.
Google настаивает на том, что « робот Google » понимает больше инструкций, чем другие. Существует множество поисковых роботов , которые бродят по таким сайтам, как Bingbot , Googlebot и MSNbot , а также из таких инструментов аудита сайтов, как Screaming Frog и Majestic SEO . Важно понимать, что эти боты и директивы для сканирования могут значительно повлиять на ваш сайт, как положительно, так и отрицательно.
Robots.txt Файлы также могут блокировать целые папки и типы файлов на вашем сайте. Это особенно полезно, когда требуются инструкции для многих страниц. Например, вы можете сделать процесс сканирования более эффективным, запретив обход всех изображений или определенных папок.
С другой стороны, эта возможность также может нанести ущерб индексации и ранжированию сайтов, если вы случайно дезинформируете сумасшедших сканеров. Веб-мастера допустили ошибку, заблокировав весь сайт, используя только косую черту (/), которая говорит роботам не сканировать ни одну страницу.
Пример:
Пользователь-агент: *
Disallow: /
Дублированный контент и Robots.txt
Дублированный контент, который может повредить рейтингам, также может быть исправлен с помощью правильных инструкций по кодированию для роботов. Многие компании проходят через редизайн, и файлы robots.txt пригодятся, потому что вы можете дать сканерам указание игнорировать определенные страницы и избегать индексации. Имейте в виду, однако, что хотя инструкции файла robots.txt запрещают сканирование, они не всегда препятствуют индексации страниц. Чтобы страницы не были проиндексированы, вместо них следует использовать метатег роботов «noindex, follow».
SEO Best Practices
Файлы Robots.txt являются одной из лучших практик SEO . SEO-специалисты внимательно следят за плохо себя ведущими ботами и сделайте приоритетным, чтобы они не создавали проблем. SEO- гуру узнали, что им приходится следить за спиной, когда имеешь дело с подлыми роботами. Роботы появились в 1994 году и не покидают их в ближайшее время, поэтому жизненно важно правильно разместить файлы robots.txt на вашем веб-сайте, если вы хотите правильно контролировать поведение роботов.
Все еще есть вопросы о том, как роботы влияют на вас? Спросите наших SEO экспертов в комментариях ниже.
Или, для получения дополнительных советов по созданию лучшей стратегии SEO для вашей компании
Загрузите нашу электронную книгу сегодня « 4 секрета отличного SEO! «
