1. Robots.txt, также известный как исключение роботов, является ключевым в предотвращении сканирования...
2. Как мне создать файл Robots.txt?
3. Откуда я знаю, что это сработало?

Robots.txt, также известный как исключение роботов, является ключевым в предотвращении сканирования роботами поисковых систем ограниченных областей вашего сайта. Смотрите видео или читайте больше ниже!

Возможно, вы захотите запретить роботам индексировать личные фотографии, специальные предложения с истекшим сроком действия или другие страницы, к которым у вас нет доступа для пользователей. Блокировка страниц также может помочь вашему SEO. Robots.txt может решить проблемы с дублирующимся содержимым (однако могут быть более эффективные способы сделать это, что мы обсудим позже). Когда робот начинает ползать, он сначала проверяет наличие файла robots.txt, который не позволяет им просматривать определенные страницы.

Когда я должен использовать файл Robots.txt?

Необходимо использовать файл robots.txt, только если вы не хотите поисковые системы индексировать определенные страницы или контент. Если вы хотите, чтобы поисковые системы (такие как Google, Bing и Yahoo) имели доступ и индексировали весь ваш сайт, вам не нужен файл robots.txt (также в некоторых случаях люди используют robots.txt, чтобы указать пользователям на карта сайта).

Однако, если другие сайты ссылаются на страницы на вашем сайте, заблокированные файлом robots.txt, поисковые системы могут индексировать URL-адреса, и они могут появляться в результатах поиска. Чтобы этого не произошло, используйте X-Robots-тег , метатег noindex или rel canonical для соответствующей страницы.

Как мне создать файл Robots.txt?

Руководство для новичков по блокировке контента с помощью Robots.txt

Если вы хотите настроить файл robots.txt, процесс на самом деле довольно прост и включает два элемента: «пользователь-агент», то есть робот, к которому применяется следующий блок URL, и «запретить», который является URL, который вы хотите заблокировать. Эти две строки рассматриваются как одна запись в файле, что означает, что в одном файле robots.txt может быть несколько записей.

Для строки user-agent вы можете перечислить конкретного бота (например, Googlebot) или применить блок URL ко всем ботам, используя звездочку. Ниже приведен пример того, как пользовательский агент блокирует всех ботов.

Пользователь-агент: *

Во второй строке записи disallow перечислены конкретные страницы, которые вы хотите заблокировать. Чтобы заблокировать весь сайт, используйте косую черту. Для всех остальных записей сначала используйте косую черту, а затем перечислите страницу, каталог, изображение или тип файла. Смотрите следующие примеры:

Disallow: / блокирует весь сайт.

Disallow: / bad-directory / блокирует как каталог, так и все его содержимое.

Disallow: /secret.html блокирует страницу.

После создания вашего пользовательского агента и запрета выбора одна из ваших записей может выглядеть так:

Пользователь-агент: *
Disallow: / bad-directory /

Посмотреть другие примеры записей из Инструменты для веб-мастеров ,

Сохраните файл, скопировав его в текстовый файл или блокнот и сохранив его как «robots.txt». Обязательно сохраните файл в каталоге самого высокого уровня своего сайта и убедитесь, что он находится в корневом домене с именем, точно совпадающим с «robots.txt».

Откуда я знаю, что это сработало?

Протестируйте файл robots.txt на своем сайте в Инструментах для веб-мастеров, чтобы убедиться, что боты сканируют нужные вам части сайта и не попадают в заблокированные вами области.

1. Выберите сайт, который вы хотите протестировать
2. Нажмите «Заблокированные URL» в разделе «Сканирование».
3. Выберите вкладку «Test robots.txt»
4. Вставьте ваш файл robots.txt в первое поле
5. Перечислите сайт для проверки в поле «URL»
6. Выберите нужные пользовательские агенты в списке «Пользовательские агенты»

Имейте в виду, что это будет проверять только Googlebot и других связанных с Google пользовательских агентов.

У вас есть еще вопросы о robots.txt? Разместите их в комментариях ниже!