Как отключить сайт от поисковиков разработка


Как закрыть сайт от индексации в robots.txt

Поисковые роботы сканируют всю информацию в интернете, но владельцы сайтов могут ограничить или запретить доступ к своему ресурсу. Для этого нужно закрыть сайт от индексации через служебный файл robots.txt. 

Если закрывать сайт полностью не требуется, запрещайте индексацию отдельных страниц. Пользователям не следует видеть в поиске служебные разделы сайта, личные кабинеты, устаревшую информацию из раздела акций или календаря. Дополнительно нужно закрыть от индексации скрипты, всплывающие окна и баннеры, тяжелые файлы. Это поможет уменьшить время индексации и снизит нагрузку на сервер.

Как закрыть сайт полностью 

Обычно ресурс закрывают полностью от индексации во время разработки или редизайна. Также закрывают сайты, на которых веб-мастера учатся или проводят эксперименты. 

Запретить индексацию сайта можно для всех поисковиков, для отдельного робота или запретить для всех, кроме одного. 

Запрет для всех        User-agent: * 
Disallow: / 
Запрет для отдельного робота   User-agent: YandexImages 
Disallow: /  
Запрет для всех, кроме одного робота   User-agent: * 
Disallow: / 
User-agent: Yandex 
Allow: / 

Как закрыть отдельные страницы 

Маленькие сайты-визитки обычно не требуют сокрытия отдельных страниц. Для ресурсов с большим количеством служебной информации закрывайте страницы и целые разделы: 

  • административная панель; 
  • служебные каталоги; 
  • личный кабинет; 
  • формы регистрации; 
  • формы заказа; 
  • сравнение товаров; 
  • избранное; 
  • корзина; 
  • каптча; 
  • всплывающие окна и баннеры;
  • поиск на сайте; 
  • идентификаторы сессий. 

Желательно запрещать индексацию т.н. мусорных страниц. Это старые новости, акции и спецпредложения, события и мероприятия в календаре. На информационных сайтах закрывайте статьи с устаревшей информацией. Иначе ресурс будет восприниматься неактуальным. Чтобы не закрывать статьи и материалы, регулярно обновляйте данные в них.

Запрет индексации

Отдельной страницы  User-agent: *
Disallow: /contact.html 
Раздела    User-agent: *
Disallow: /catalog/   
Всего сайта, кроме одного раздела  User-agent: *
Disallow: /
Allow: /catalog
Всего раздела, кроме одного подраздела  User-agent: *
Disallow: /product
Allow: /product/auto 
Поиска на сайте  User-agent: *
Disallow: /search 
Административной панели  User-agent: *
Disallow: /admin

Как закрыть другую информацию 

Файл robots.txt позволяет закрывать папки на сайте, файлы, скрипты, utm-метки. Их можно скрыть полностью или выборочно. Указывайте запрет для индексации всем роботам или отдельным. 

Запрет индексации

Типа файлов  User-agent: *
Disallow: /*.jpg 
Папки  User-agent: *
Disallow: /images/ 
Папку, кроме одного файла  User-agent: *
Disallow: /images/
Allow: file.jpg 
Скриптов  User-agent: *
Disallow: /plugins/*.js 
utm-меток  User-agent: *
Disallow: *utm= 
utm-меток для Яндекса  Clean-Param: utm_source&utm_medium&utm_campaign 

Как закрыть сайт через мета-теги 

Альтернативой файлу robots.txt является мета-тег robots. Прописывайте его в исходный код сайта в файле index.html. Размещайте в контейнере <head>. Указывайте, для каких краулеров сайт закрыт от индексации. Если для всех, напишите robots. Если для одного робота, укажите его название. Для Google — Googlebot, для Яндекса — Yandex. Существуют два варианта записи мета-тега. 

Вариант 1.

Вариант 2.  

<meta name=”robots” content=”none”/>

Атрибут “content” имеет следующие значения: 

  • none — индексация запрещена, включая noindex и nofollow; 
  • noindex — запрещена индексация содержимого; 
  • nofollow — запрещена индексация ссылок; 
  • follow — разрешена индексация ссылок; 
  • index — разрешена индексация; 
  • all — разрешена индексация содержимого и ссылок. 
Таким образом, можно запретить индексацию содержимого, но разрешить ссылки. Для этого укажите content=”noindex, follow”. На такой странице ссылки будут индексироваться, а текст — нет. Используйте для разных случаев сочетания значений.  

Если закрыть сайт от индексации через мета-теги, создавать robots.txt отдельно не нужно.

Какие встречаются ошибки 

Логические — когда правила противоречат друг другу. Выявляйте логические ошибки через проверку файла robots.txt в инструментах Яндекс.Вебмастере и Google Robots Testing Tool. 

Синтаксические — когда неправильно записаны правила в файле. 

К наиболее часто встречаемым относятся: 

  • запись без учета регистра; 
  • запись заглавными буквами; 
  • перечисление всех правил в одной строке; 
  • отсутствие пустой строки между правилами; 
  • указание краулера в директиве; 
  • перечисление множества вместо закрытия целого раздела или папки; 
  • отсутствие обязательной директивы disallow.

Шпаргалка 

  1. Для запрета на индексацию сайта используйте два варианта. Создайте файл robots.txt и укажите запрет через директиву disallow для всех краулеров. Другой вариант — пропишите запрет через мета-тег robots в файле index.html внутри тега . 

  2. Закрывайте служебные информацию, устаревающие данные, скрипты, сессии и utm-метки. Для каждого запрета создавайте отдельное правило. Запрещайте всем поисковым роботам через * или указывайте название конкретного краулера. Если вы хотите разрешить только одному роботу, прописывайте правило через disallow. 

  3. При создании файла robots.txt избегайте логических и синтаксических ошибок. Проверяйте файл через инструменты Яндекс.Вебмастер и Google Robots Testing Tool.

Материал подготовила Светлана Сирвида-Льорентэ.

Как отговорить поисковые системы от индексации вашего сайта в 2020

Для многих веб-сайтов поисковые системы являются крупнейшим источником трафика. Из-за этого, когда кто-то спрашивает, «как отговорить поисковые системы от индексации этого сайта», вы, вероятно, задаетесь вопросом , почему они захотели это сделать. Давайте рассмотрим некоторые из этих причин сегодня.

Распространенные причины блокировки контента из поисковых систем

Многие люди думают, что если другие веб-сайты не ссылаются на ваш домен, поисковые системы не смогут найти ваш сайт.Даже если это так, вот несколько способов найти ваш сайт:

  • Кто-то ранее владел вашим доменом и все еще имел ссылки, ведущие на сайт.
  • Результаты поиска по домену могут быть проиндексированы с вашей ссылкой на них.
  • веб-страниц, содержащих список имен сайтов, включая ваше.

И вот несколько причин, по которым вы можете подумать о том, как отговорить поисковые системы от индексации этого вашего сайта:

  • (Умышленно) дублированный контент. Невозможно переоценить важность отсутствия дублированного контента; это штраф Google, который может привести к деиндексированию вашего сайта поисковым гигантом. Если необходимо опубликовать повторяющийся контент (например, рекламную целевую страницу), рассмотрите возможность добавления канонической ссылки на рассматриваемую страницу. Если вы оказались в ситуации, когда вам нужно опубликовать весь веб-сайт с дублированным содержанием, лучше всего определить, как воспрепятствовать поисковым системам индексировать этот сайт (целиком).
  • Создание веб-сайта для разработки или тестирования. Перед тем, как дебютировать с новой темой WordPress, лучше всего создать копию текущего веб-сайта для работы в целях разработки. Никакого ковбойского кодирования !. Вы не хотите, чтобы дубликат вашего веб-сайта конкурировал с вами за рейтинг или полностью разрушал ваши шансы на ранжирование.
  • Частное содержание. Если у вас есть сайт для участников, вы не хотите, чтобы платный контент индексировался поиском - он предназначен только для платных участников!
  • Динамический контент .Если у вас есть контент, который часто изменяется, вы можете запретить поисковым системам индексировать контент, который может скоро устареть. Поисковым системам требуется некоторое время, чтобы проиндексировать обновленное содержание, поэтому, если ваше содержание меняется слишком быстро, чтобы поисковая система не успевала за ним, лучше запретить поисковым системам индексировать уже устаревшее содержание.

Как запретить поисковым системам индексировать ваш сайт

Есть несколько способов предотвратить индексирование вашего сайта, но сначала давайте проясним, что на самом деле означает .

Многие люди не понимают, чем «перечисленные» веб-сайты отличаются от «индексируемых» в Google. Вот как он распадается:

  • Индексирование : Здесь описывается процесс загрузки содержания сайта на сервер поисковой системы для добавления в его индекс. Проверьте, проиндексирован ли ваш сайт, набрав site: url ​​ (где url - это адрес вашего веб-сайта). Вы увидите, сколько ваших страниц проиндексировано. Если вы обнаружите, что ваш веб-сайт проиндексирован, это обычно считается положительным моментом.Это означает, что поисковые системы могут сканировать ваш сайт в поисках контента. Поисковым системам требуется от недели до четырех недель на обновление результатов поиска, поэтому есть вероятность, что ваш веб-сайт еще не отображается / не ранжируется.
  • Рейтинг / Листинг / Отображение : Ваш веб-сайт отображается на страницах результатов поиска. Поскольку ваш сайт отображается в поисковой выдаче (страницах результатов поисковых систем), это означает, что ваш сайт .

Короче говоря, рейтинг означает, что ваш сайт проиндексирован , но индексирование вашего сайта не означает автоматически, что он будет ранжироваться / отображаться в поисковой выдаче.

Обратите внимание, что сайт не обязательно должен быть указан в списке для индексации.

Теперь ответ на вопрос «Как отговорить поисковые системы от индексации этого сайта»?

Есть несколько способов добиться успеха, если вы не хотите, чтобы Google индексировал ваш сайт:

1. Флажок видимости поисковой системы WordPress

Вы можете отговорить поисковые системы от индексации вашего сайта из панели управления WordPress.

Перейдите в админку WordPress.Выберите Настройки> Чтение:

Перейдите к опции Search Engine Visibility , и там вы увидите флажок видимости в поисковой системе WP. Идите вперед и установите флажок Запретить поисковым системам индексировать этот сайт . Обязательно нажмите Сохранить изменения .

Вот как это работает:

WordPress редактирует файл robots.txt и добавляет строку в заголовок вашего веб-сайта, которая мешает поисковым системам индексировать ваш веб-сайт как таковой:

Обратите внимание, что хотя большинство поисковых систем уважают этот запрос, некоторые поисковые системы могут игнорировать его.Даже после этого могут быть некоторые страницы и особенно изображений с вашего веб-сайта, которые все еще могут отображаться как проиндексированные.

2. Редактирование файла Robots.txt

Реализуя первый вариант, препятствующий поисковым системам индексировать этот сайт, WordPress позаботится о редактировании файла robots.txt за вас.

Еще вариант? Настройте файл robots.txt вручную!

Вот как:

Получите доступ к файлам вашего веб-сайта через файловый менеджер или FTP-клиент и найдите файл robots .txt файл. Обычно он находится в той же папке, что и WordPress, в файле public_html . Если файла robots.txt нет, создайте новый пустой.

Затем введите следующий синтаксис, который запрещает поисковым системам сканировать ваш сайт:

Агент пользователя: *

Disallow: /

3. Защита паролем вашего веб-сайта WordPress

Еще один способ запретить поисковым системам индексировать ваш сайт - защитить его паролем, поскольку поисковые системы и веб-сканеры не имеют доступа к сайтам, защищенным паролем.

Для этого вы можете использовать cPanel или плагин защиты паролем.

Использование cPanel

Большинство веб-хостов используют cPanel для управления вашей учетной записью хостинга.

Чтобы защитить свой веб-сайт паролем с помощью cPanel, сначала войдите в панель управления cPanel и перейдите в каталог Защита паролем .

Затем выберите каталог, который хотите защитить. В WordPress он обычно находится в папке public_html или в каталоге www .

Выберите опцию P assword Protect This Directory , выберите имя каталога, который вы хотите защитить, и затем сохраните.

После этого создайте учетную запись пользователя, которая будет иметь доступ к защищенному каталогу. Введите имя пользователя и пароль, затем сохраните.

Использование подключаемого модуля защиты паролем

Есть также несколько плагинов WordPress, которые позволяют защитить ваш сайт паролем.

Любой хороший разработчик WordPress скажет вам, что добавление плагинов для исправления мелких проблем может принести больше вреда, чем пользы.Каждый новый плагин может негативно повлиять на скорость загрузки страницы и внести новые уязвимости в системе безопасности. По возможности рассмотрите один из предыдущих вариантов, чтобы отговорить поисковые системы от индексации этого сайта.

Если вы не так хорошо разбираетесь в серверной части своего сайта WordPress, рассмотрите следующие плагины:

Вот некоторые из лучших вариантов.

  • Защищено паролем . Простой плагин, который позволяет защитить ваш сайт WordPress с помощью одного пароля. Обратите внимание, что этот плагин защищает только содержимое вашего сайта WordPress, но не изображения и загруженные файлы. . Если кто-то введет точный URL-адрес файла изображения, он все равно будет доступен им при использовании этого плагина.
  • iThemes. iThemes Security - надежный плагин безопасности, который делает гораздо больше, чем просто защищает ваши пароли. Мы знаем это на собственном опыте, учитывая, что мы с ними сотрудничаем! Воспользуйтесь такими функциями, как принудительные безопасные пароли, защита от перебора, обнаружение изменений файлов, резервное копирование базы данных и многое другое.
  • Скрыть мой сайт . Этот плагин позволяет использовать один пароль для защиты вашего сайта WordPress и блокирует пользователей, которые пытаются несколько раз войти в систему.

Удаление проиндексированного веб-сайта из Google

Если ваш сайт уже проиндексирован и вы хотите удалить его из поисковых систем, не волнуйтесь. Еще не поздно.

Чтобы удалить проиндексированный веб-сайт из Google, вам необходимо сначала настроить Google Search Console.

После настройки перейдите на свой недавно добавленный веб-сайт и нажмите Индекс Google> Удалить URL-адреса .

Введите URL-адрес веб-страницы, которую нужно удалить, и нажмите Продолжить .

Выберите Временно скрыть страницу из результатов поиска, удалите из кеша и нажмите Отправить запрос .

Это временно удаляет URL из результатов поиска (около 90 дней). Если вы планируете таким образом отговорить поисковые системы от индексирования этого сайта, лучше всего также применить любой из более постоянных методов, описанных выше.

Полное разрешение Google для индексирования вашего сайта

Хотя могут быть причины, по которым вы не хотите, чтобы Google сканировал и индексировал страницы и сообщения вашего веб-сайта, может наступить время, когда вы передумаете.

Чтобы убедиться, что Google может индексировать ваши веб-сайты, вам не нужно вносить никаких серьезных изменений после публикации контента на своем веб-сайте. Google автоматически просканирует эти страницы и проиндексирует их.

Однако, если у вас возникли проблемы с индексированием ваших страниц в Google, вам нужно пройти все шаги, которые мы только что прошли, чтобы деиндексировать ваш сайт, и убедиться, что ни один из них не активен.Если это так, возможно, вы отговариваете Google от индексации вашего сайта, даже если вы этого не хотите.

Последние мысли: как отговорить поисковые системы от индексации этого сайта

В то время как большинство людей приветствуют трафик поисковых систем на свои веб-сайты WordPress, есть и другие, которым, возможно, потребуется скрыть свой веб-сайт целиком. Конечно, есть много разных причин, чтобы запретить индексирование контента поисковыми системами, такими как Google.

К счастью, есть несколько различных тактик, которые вы можете использовать, чтобы найти ответ на вопрос: «как отговорить поисковые системы от индексации этого сайта?» От работы с внутренними файлами вашего веб-сайта до простого нажатия кнопки или использования плагина - вам, честно говоря, не обязательно быть веб-разработчиком, чтобы решить эту проблему самостоятельно.

Хотите оставить отзыв или присоединиться к беседе? Добавляйте свои комментарии 🐦 в Twitter.

СохранитьСохранить

СохранитьСохранить

.

Как скрыть сайт от поисковых систем

Переполнение стека
  1. Около
  2. Товары
  3. Для команд
  1. Переполнение стека Общественные вопросы и ответы
  2. Переполнение стека для команд Где разработчики и технологи делятся частными знаниями с коллегами
  3. Вакансии Программирование и связанные с ним технические возможности карьерного роста
  4. Талант Нанимайте технических специалистов и создавайте свой бренд работодателя
  5. Реклама Обратитесь к разработчикам и технологам со всего мира
  6. О компании

Загрузка…

.

Как запретить поисковым системам сканировать сайт WordPress

Недавно один из наших пользователей спросил нас, как они могут запретить поисковым системам сканировать и индексировать свой сайт WordPress? Существует множество сценариев, когда вы хотите, чтобы поисковые системы не сканировали ваш веб-сайт или не отображали его в результатах поиска. В этой статье мы покажем вам, как запретить поисковым системам сканировать сайт WordPress.

Почему и кто хотел бы остановить поисковые системы

Для большинства веб-сайтов поисковые системы являются крупнейшим источником трафика.Вы можете спросить, а зачем кому-то блокировать поисковые системы?

Поначалу многие люди не знают, как создать локальную среду разработки или промежуточный сайт. Если вы разрабатываете свой веб-сайт на общедоступном доменном имени, вы, скорее всего, не хотите, чтобы Google индексировал вашу страницу в режиме разработки или обслуживания.

Есть также много людей, которые используют WordPress для создания частных блогов, и они не хотят, чтобы они индексировались в результатах поиска, потому что они частные.

Также некоторые люди используют WordPress для управления проектами или в интранете, и вы не хотите, чтобы ваши внутренние документы были общедоступными.

Во всех перечисленных выше ситуациях вы, вероятно, не хотите, чтобы поисковые системы индексировали ваш сайт.

Распространенное заблуждение состоит в том, что если у меня нет ссылок, указывающих на мой домен, поисковые системы, вероятно, никогда не найдут мой сайт. Это не совсем так.

Есть много способов, которыми поисковые системы могут найти веб-сайт, на который есть ссылки в другом месте.Например:

  1. Ваше доменное имя могло ранее принадлежать кому-то другому, и у них все еще есть ссылки, указывающие на ваш сайт.
  2. Некоторые результаты поиска по домену могут быть проиндексированы с вашей ссылкой на них.
  3. Существуют буквально тысячи страниц со списком доменных имен, ваш сайт может появиться на одном из них.

В сети происходит много всего, и большинство из них не находится под вашим контролем. Однако ваш веб-сайт по-прежнему находится под вашим контролем, и вы можете указать поисковым системам не индексировать ваш веб-сайт и не следить за ним.

Видеоурок

Подписаться на WPBeginner

Если вам не нравится видео или вам нужны дополнительные инструкции, продолжайте читать.

Запрещение поисковым системам сканирования и индексирования вашего сайта WordPress

WordPress имеет встроенную функцию, которая позволяет указать поисковым системам не индексировать ваш сайт. Все, что вам нужно сделать, это зайти в «Настройки » »Читать и установить флажок рядом с опцией« Видимость в поисковых системах ».

Если этот флажок установлен, WordPress добавляет эту строку в заголовок вашего веб-сайта:

  

WordPress также изменяет файл robots.txt вашего сайта и добавляет в него следующие строки:

 Пользовательский агент: * Запретить: / 

Эти строки просят роботов (поисковых роботов) не индексировать ваши страницы. Однако поисковые системы могут принять или проигнорировать этот запрос. Несмотря на то, что большинство поисковых систем уважают это, некоторые страницы или случайные изображения с вашего сайта могут быть проиндексированы.

Как убедиться, что ваш сайт не отображается в результатах поиска?

Настройки видимости WordPress по умолчанию запрещают поисковым системам индексировать ваш сайт. Однако поисковые системы могут по-прежнему сканировать и индексировать страницу, файл или изображение с вашего веб-сайта.

Единственный способ убедиться, что поисковые системы вообще не индексируют и не сканируют ваш сайт, - это защитить паролем весь ваш сайт WordPress на уровне сервера.

Это означает, что когда кто-либо пытается получить доступ к вашему веб-сайту, его просят предоставить имя пользователя и пароль еще до того, как они достигнут WordPress.Это также касается поисковых систем. При неудачном входе в систему им показывается ошибка 401, и боты отворачиваются. Вот как защитить паролем весь сайт WordPress.

Метод 1. Защита паролем всего сайта с помощью cPanel

Если ваш хостинг-провайдер WordPress предлагает доступ к cPanel для управления вашей учетной записью хостинга, то вы можете защитить весь свой сайт с помощью cPanel. Все, что вам нужно сделать, это войти в свою панель управления cPanel и затем щелкнуть значок «Защита паролем каталогов» в разделе «Безопасность».

Далее вам нужно будет выбрать папку, в которую вы установили WordPress. Обычно это папка public_html.

Если у вас есть несколько сайтов WordPress, установленных в каталоге public_html, вам нужно щелкнуть значок папки, чтобы просмотреть и выбрать папку для веб-сайта, который вы хотите защитить паролем.

На следующем экране вам нужно ввести имя для защищенного каталога и нажать кнопку «Сохранить».

Ваша информация будет сохранена, и cPanel перезагрузит страницу.После этого вам необходимо добавить авторизованного пользователя, введя логин и пароль.

Вот и все, вы успешно добавили защиту паролем на свой сайт WordPress.

Теперь, когда пользователь или поисковая система посещает ваш сайт, им будет предложено ввести имя пользователя и пароль, которые вы создали ранее, для просмотра сайта.

Метод 2: Защита WordPress паролем с помощью подключаемого модуля

Если вы используете управляемый хостинг WordPress, иногда у вас нет доступа к cPanel.

В этом случае у вас есть возможность использовать различные плагины WordPress для защиты вашего сайта паролем. Ниже представлены два самых популярных решения:

  1. SeedProd - это ближайший плагин №1 для режима обслуживания WordPress, используемый на более чем 800 000 веб-сайтов. Он поставляется с функциями полного контроля доступа и разрешений, которые вы можете использовать, чтобы скрыть свой веб-сайт от всех, включая поисковые системы. У нас есть пошаговое руководство для SeedProd.
  2. Защищено паролем - это очень простой способ защитить паролем ваш сайт WordPress с помощью одного пароля (создание пользователя не требуется).Ознакомьтесь с нашим пошаговым руководством по защите паролем сайта WordPress.

Мы надеемся, что эта статья помогла вам остановить сканирование или индексирование вашего сайта WordPress поисковыми системами. Вы также можете ознакомиться с нашим окончательным пошаговым руководством по безопасности WordPress для начинающих.

Если вам понравилась эта статья, то подпишитесь на наш канал YouTube для видеоуроков по WordPress. Вы также можете найти нас в Twitter и Facebook.

.

Как остановить поисковые системы от сканирования вашего веб-сайта

Для того, чтобы другие люди могли найти ваш веб-сайт, поисковые роботы , сканеры, также иногда называемые ботами или пауками, будут сканировать ваш веб-сайт в поисках обновленного текста и ссылок для обновления своих поисковых индексов.

Как управлять сканерами поисковых систем с помощью файла robots.txt

Владельцы веб-сайтов могут указать поисковым системам, как им сканировать веб-сайт, с помощью роботов .txt файл.

Когда поисковая система просматривает веб-сайт, она сначала запрашивает файл robots.txt , а затем следует внутренним правилам.

Отредактируйте или создайте файл robots.txt

Файл robots.txt должен находиться в корне вашего сайта. Если ваш домен был example.com , он должен быть найден:

У вас на сайте :

 https://example.com/robots.txt 

На вашем сервере :

 / home / userna5 / public_html / robots.txt 

Вы также можете создать новый файл и называть его robots.txt как обычный текстовый файл, если у вас его еще нет.

Поисковая машина Пользовательские агенты

Наиболее распространенное правило, которое вы использовали бы в файле robots.txt , основано на User-agent поискового робота.

Сканеры поисковой системы

используют пользовательский агент , чтобы идентифицировать себя при сканировании, вот несколько распространенных примеров:

Топ-3 поисковых систем США Пользовательские агенты :

 Googlebot Yahoo! Slurp bingbot 

Обычная поисковая система Заблокированы пользовательские агенты :

 AhrefsBot Baiduspider Ezooms MJ12bot ЯндексБот 

Доступ сканера поисковой системы через роботов.txt файл

Существует довольно много вариантов управления сканированием вашего сайта с помощью файла robots.txt .

Правило User-agent: определяет, к какому User-agent применяется правило, а * - это подстановочный знак, соответствующий любому User-agent.

Запрещено: устанавливает файлы или папки, для которых запрещено сканировать.


Установить задержку сканирования для всех поисковых систем :

Если бы на вашем веб-сайте было 1000 страниц, поисковая система потенциально могла бы проиндексировать весь ваш сайт за несколько минут.

Однако это может привести к высокому использованию системных ресурсов, поскольку все эти страницы загружаются за короткий период времени.

A Crawl-delay: из 30 секунд позволит сканерам проиндексировать весь ваш 1000-страничный веб-сайт всего за 8,3 часа

A Crawl-delay: из 500 секунд позволит сканерам проиндексировать весь ваш 1000-страничный веб-сайт за 5,8 дней

Вы можете установить Crawl-delay: для всех поисковых систем одновременно с:

  Пользовательский агент:   *   Задержка сканирования:   30  

Разрешить всем поисковым системам сканировать веб-сайт :

По умолчанию поисковые системы должны иметь возможность сканировать ваш веб-сайт, но вы также можете указать, что им разрешено с помощью:

  Пользовательский агент:   *   Disallow:  


Запретить сканирование веб-сайта всем поисковым системам :

Вы можете запретить любой поисковой системе сканировать ваш веб-сайт с помощью следующих правил:

  Пользовательский агент:   *   Disallow:  / 

Запретить сканирование веб-сайта одной конкретной поисковой системе :

Вы можете запретить только одной определенной поисковой системе сканировать ваш веб-сайт с помощью следующих правил:

  Пользовательский агент:   Baiduspider   Disallow:  / 


Запретить всем поисковым системам использовать определенные папки :

Если бы у нас было несколько каталогов, например / cgi-bin / , / private / и / tmp / , мы не хотели бы, чтобы боты сканировали, мы могли бы использовать это:

  Пользовательский агент:   *   Disallow:   / cgi-bin /   Disallow:   / частный /   Disallow:   / tmp /  

Запретить всем поисковым системам использовать определенные файлы :

Если бы у нас были файлы типа contactus.htm , index.htm и store.htm мы не хотели, чтобы боты сканировали, мы могли бы использовать это:

  Пользовательский агент:   *   Disallow:   /contactus.htm   Disallow:   /index.htm   Disallow:   /store.htm  


Запретить все поисковые системы, кроме одной :

Если бы мы только хотели разрешить Googlebot доступ к нашему каталогу / private / и запретить всем другим ботам, мы могли бы использовать:

  Пользовательский агент:   *   Disallow:   / частный /   User-agent:   Googlebot   Disallow:  

Когда Googlebot считывает наши robots.txt , он увидит, что ему не запрещено сканировать какие-либо каталоги.

.

Смотрите также

Поделиться в соц. сетях

Опубликовать в Facebook
Опубликовать в Одноклассники
Вы можете оставить комментарий, или ссылку на Ваш сайт.

Оставить комментарий