Как заставить поисковик проиндексировать сайт


5 способов на все случаи жизни — SEO на vc.ru

Всем хочется, чтобы опубликованные страницы мгновенно попадали в индекс и сразу же приводили посетителей.

  • Интернет-магазину важно, чтобы новая категория или товар поскорее начали привлекать покупателей.
  • Информационному проекту быстрая индексация нужна, чтобы размещенный материал не потерял актуальность.
  • Сайту услуг тоже нужно соревноваться с конкурентами в поиске.

Если вы хотите, чтобы новые страницы сайта побыстрее стали доступны в выдаче, следуйте нашим советам.

Почему не индексируется сайт

Проблемы с индексацией сайта бывают трех типов:

  1. Страницы долго индексируются. Зачастую причина — в низкой частоте обновления контента на сайте, и робот просто реже его посещает. Также проблема может крыться в плохой SEO-оптимизации, некачественном контенте и сайте в целом.
  2. Страницы не индексируются ни Яндексом, ни Google. В этом случае нужно убедиться, что не установлен запрет на обход площадки роботами в robots.txt, настройках хостинга или в метатегах robots.
  3. Страницы не индексируются только одним поисковиком. Тогда стоит проверить сайт на фильтры проблемной поисковой системы.

Узнайте, какие именно страницы проиндексированы Яндексом и Google. В помощь — специальный инструмент от PromoPult. После этого вы сможете оценить характер и масштаб проблемы. Подробная инструкция — здесь.

Последние две проблемы устраняются или очень легко (если нужно просто разрешить индексацию страниц) или очень долго (если придется выводить сайт из-под

поисковых систем и SEO (поисковая оптимизация) - Поддержка

в поисковых системах
Что такое SEO?
SEO и бизнес-план WordPress.com
Общие вопросы по SEO и поисковой системе
Часто задаваемые вопросы

в поисковых системах
  • Блоги и веб-сайты WordPress.com по умолчанию очень удобны для поиска.
  • Чтобы убедиться, что вы попали в поисковые системы, убедитесь, что ваши настройки конфиденциальности позволяют поисковым системам индексировать ваш сайт,
  • Чтобы повысить свой рейтинг в результатах поиска, лучший совет, который мы можем дать, - это часто писать хороший контент и давать описательные заголовки изображений.
  • Google предоставляет информацию и инструменты для веб-мастеров, где вы можете получить дополнительную помощь.

Хотя вы можете управлять основными настройками конфиденциальности и содержанием своего блога или веб-сайта, вы не можете контролировать, когда ваш сайт будет обнаружен поисковой системой или как они будут оценивать ваш сайт. Эти детали принадлежат каждой поисковой системе, и они постоянно меняются. Если вы обеспокоены, вам следует попытаться найти информацию из поисковой системы прямо на их справочных страницах, чтобы узнать, что они рекомендуют.


↑ Содержание ↑

Что такое SEO?

SEO означает поисковую оптимизацию и относится к методам, которые вы можете использовать, чтобы обеспечить высокий рейтинг вашего сайта в результатах поисковых систем, таких как Google.

Подробнее о SEO и его применении к вашему блогу на WordPress.com читайте в следующих статьях:


↑ Содержание ↑

SEO и бизнес-план WordPress.com

Вы используете WordPress.com Бизнес-план? В дополнение к вышеперечисленным методам наш бизнес-план включает дополнительные инструменты SEO, которые вы можете использовать. Приведенные ниже руководства помогут вам изучить дополнительные способы улучшения вашего SEO:


↑ Содержание ↑

Общие вопросы по SEO и поисковой системе

Почему мой блог не отображается в Google?

  • Убедитесь, что в настройках конфиденциальности вашего сайта установлено значение Public .
  • Поисковым системам может потребоваться 4-6 недель или больше, чтобы отобразить вновь созданные сайты.
  • WordPress.com автоматически отправляет уведомления в Google при каждом обновлении сообщения и страницы.
  • Хотя включение вашего сайта в индекс Google и не требуется, подключение вашего сайта к Search Console может помочь Google быстрее включить ваш сайт.

Как мне подняться выше в рейтинге Google?

Повышение рейтинга в Google может занять время. Вот несколько советов, которые помогут ускорить процесс.

  • Выясните, какие ключевые слова вы хотите использовать при поиске (например, если ваш сайт посвящен лодкам, вы можете указать «лодки», «парусный спорт» или «экипаж»).Добавьте эти конкретные ключевые слова в заголовки, заголовки, контент и ярлыки URL.
  • Пост! Чем больше вы публикуете, тем выше ваш рейтинг в поиске. Google любит блоги, которые часто обновляются.
  • Используйте нашу функцию «Публикация», чтобы делиться своими сообщениями в социальных сетях при публикации и охватывать более широкую аудиторию.
  • Подтвердите свой сайт с помощью Google Search Console. Этот шаг не является обязательным для индексации, но может ускорить процесс.

Нет настроек, плагинов или служб, которые могут сделать ваш сайт первым в рейтинге поиска Google.Если кто-то пытается продать вам услуги SEO, обещающие быстрые результаты, возможно, он пытается привлечь на ваш сайт поддельный трафик. Это может негативно сказаться на SEO вашего сайта и лишить вас возможности участвовать в рекламных программах.

Информация в результатах поиска Google неверна

  • Если вы внесете изменения в свой сайт, предварительный просмотр сайта, предоставленный Google, может занять некоторое время для обновления.
  • Чтобы попытаться ускорить этот процесс, вы можете попросить Google повторно сканировать ваш сайт.
  • Google решает, какую информацию отображать при предварительном просмотре поиска. Вы можете попробовать добавить отрывок к своему сообщению или странице и обновить заголовок сайта и строку тега, но то, что будет отображаться, в конечном итоге решает Google.

Нужен ли мне плагин для улучшения SEO?

  • Нет! Плагины могут помочь организовать метаданные вашего сайта, но в большинстве случаев это необязательно.
  • WordPress.com уже занимается всеми техническими аспектами SEO.Вам просто нужно побеспокоиться о создании контента!
  • сайтов в нашем бизнес-плане уже включают дополнительные инструменты SEO.
  • Вы можете использовать дополнительные плагины SEO, но это отключит наши внутренние инструменты SEO. Одновременная активация нескольких плагинов SEO также может вызвать проблемы, которые ухудшат ваш рейтинг SEO.

↑ Содержание ↑

Часто задаваемые вопросы

Для краткости все следующие вопросы относятся к Google.Однако одни и те же ответы применимы ко всем поисковым системам.

Почему мой блог не отображается в Google?

WordPress.com автоматически отправляет уведомления в Google при каждом обновлении сообщения и страницы. Поисковым системам может потребоваться 4-6 недель или больше, чтобы добавить новые сайты. Хотя включение вашего сайта в индекс Google не является обязательным, подключение вашего сайта к Search Console может помочь Google быстрее включить ваш сайт.

Я изменил настройки конфиденциальности, но мой сайт по-прежнему не отображается в Google.Зачем?

Поисковым системам может потребоваться 4-6 недель или больше, чтобы повторно посетить ваш блог и обнаружить новое содержание. Регистрация вашего сайта в Google и запрос обновления могут помочь ускорить обнаружение.

Я изменил настройки конфиденциальности, но все еще отображается в Google. Как я могу удалить свой сайт из поиска?

Вам нужно подождать, пока ваши результаты не упадут в поисковике. Вы не можете предпринять никаких дальнейших действий со стороны WordPress.com. Вы можете потребовать, чтобы Google удалил веб-сайт из своего индекса с помощью инструмента запроса на удаление веб-сайта.

Могу ли я загрузить метатеги / карту сайта в поисковые системы?

WordPress.com автоматически создает карту сайта в формате XML для вашего веб-сайта и поддерживает проверку инструментов веб-мастеров с помощью метатегов. Темы на WordPress.com создают необходимую разметку на каждой странице.

Могу ли я загрузить файл, чтобы Google очистил кеш моего блога?

Это не вариант, предлагаемый WordPress.com.

Подскажите, как лучше всего использовать теги для Google?

Мы рекомендуем использовать только несколько описательных релевантных тегов для каждого сообщения.

Почему Google возвращает определенный результат для моего блога / сообщения?

Google решает, как ранжировать и перечислять блоги и веб-сайты. У нас нет никакого контроля над результатами поиска или каких-либо специальных знаний о том, как они выбираются. У каждой поисковой системы есть собственный алгоритм, которым только они управляют.

Почему описание моего сайта в Google отображается как "Описание для этого результата недоступно из-за файла robots.txt этого сайта - узнать больше", если я ищу его?

Если вы долгое время устанавливали видимость вашего сайта на частную, а просто изменили ее на публичную, возможно, вы не сразу увидите описание своего сайта в Google.Вместо этого под URL вашего сайта вы увидите сообщение «Описание этого результата недоступно из-за файла robots.txt этого сайта - подробнее». Подождите, пока Google просканирует и проиндексирует ваш сайт, и его описание в конечном итоге обновится само. Поисковая система Microsoft Bing показывает "Мы хотели бы показать вам здесь описание, но сайт не позволяет нам". Под URL вашего сайта, если видимость вашего сайта недавно была изменена с частной с общедоступной.

Как я могу подтвердить свой блог с помощью Инструментов Google для веб-мастеров? А как насчет SEO?

Для более широкого обсуждения поисковой оптимизации и ее применения в вашем блоге на WordPress.com, см. этот раздел документа поддержки.

.

Как работают поисковые системы?

Для многих Google - это Интернет. Возможно, это самое важное изобретение со времен Интернета. И хотя с тех пор поисковые системы сильно изменились, основные принципы остались прежними.

Статья обновлена ​​Джоэлом Ли 10.10.2017

Для многих Google - это Интернет.Это отправная точка для поиска новых сайтов и, возможно, самое важное изобретение со времен Интернета. Без поисковых систем новый веб-контент был бы недоступен для масс.

Но знаете ли вы, как работают поисковые системы? Каждая поисковая система выполняет три основные функции: сканирование (для обнаружения контента), индексирование (для отслеживания и хранения контента) и извлечение (для получения релевантного контента, когда пользователи запрашивают поисковую систему).

Ползание

Сканирование - это то, с чего все начинается: сбор данных о веб-сайте.

Это включает сканирование сайтов и сбор сведений о каждой странице: заголовки, изображения, ключевые слова, другие связанные страницы и т. Д.Разные сканеры также могут искать разные детали, такие как макеты страниц, где размещаются рекламные объявления, загружены ли ссылки и т. Д.

Но как сканируется сайт? Автоматический бот (называемый «пауком») посещает страницу за страницей как можно быстрее, используя ссылки на страницы, чтобы найти, куда идти дальше.Даже в первые дни пауки Google могли читать несколько сотен страниц в секунду. В настоящее время их тысячи.

Когда веб-сканер посещает страницу, он собирает все ссылки на странице и добавляет их в свой список следующих страниц для посещения.Он переходит на следующую страницу в своем списке, собирает ссылки на той странице и повторяется. Веб-сканеры также время от времени повторно посещают предыдущие страницы, чтобы узнать, произошли ли какие-либо изменения.

Это означает, что любой сайт, на который есть ссылка с проиндексированного сайта, в конечном итоге будет просканирован.Некоторые сайты сканируются чаще, а другие сканируются на большую глубину, но иногда поисковый робот может отказаться, если иерархия страниц сайта слишком сложна.

Один из способов понять, как работает поисковый робот, - это создать его самостоятельно.Мы написали руководство по созданию базового поискового робота на PHP, так что проверьте его, если у вас есть опыт программирования.

Обратите внимание, что страницы могут быть помечены как "noindex", что похоже на просьбу поисковых систем пропустить их индексацию.Неиндексируемые части Интернета известны как «глубокая сеть», и некоторые сайты, например, размещенные в сети TOR, не могут быть проиндексированы поисковыми системами. (Что такое TOR и луковая маршрутизация?)

Индексирование

Индексирование - это когда данные сканирования обрабатываются и помещаются в базу данных.

Представьте, что вы составляете список всех книг, которыми вы владеете, их издателей, их авторов, их жанров, количества их страниц и т. Д. Сканирование - это когда вы просматриваете каждую книгу, а при индексировании вы вносите их в свой список.

А теперь представьте, что это не просто комната, полная книг, а все библиотеки мира. Это уменьшенная версия того, что делает Google, который хранит все эти данные в огромных центрах обработки данных с дисками объемом в тысячи петабайт.

Заглянем внутрь одного из центров обработки данных поиска Google:

Получение и ранжирование

Получение - это когда поисковая система обрабатывает ваш поисковый запрос и возвращает наиболее релевантные страницы, соответствующие вашему запросу.

Большинство поисковых систем различаются методами поиска: они используют разные критерии, чтобы выбрать, какие страницы лучше всего подходят тому, что вы хотите найти. Вот почему результаты поиска в Google и Bing различаются, и почему Wolfram Alpha так уникально полезен.

алгоритмов ранжирования проверяют ваш поисковый запрос на миллиардов страниц, чтобы определить релевантность каждой из них. Компании хранят свои алгоритмы ранжирования как запатентованные отраслевые секреты из-за их сложности.Чем лучше алгоритм, тем лучше будет поиск.

Они также не хотят, чтобы веб-создатели играли в систему и несправедливо поднимались на вершины результатов поиска.Если бы внутренняя методология поисковой системы когда-либо стала доступной, самые разные люди наверняка использовали бы эти знания в ущерб таким поисковикам, как вы и я.

Изображение предоставлено: photovibes через Shutterstock

Эксплуатация поисковой системы , конечно, возможна , но уже не так просто.

Первоначально поисковые системы ранжировали сайты по частоте появления ключевых слов на странице, что приводило к «переполнению ключевыми словами» - заполнению страниц ерундой с большим количеством ключевых слов.

Затем появилась концепция важности ссылок: поисковые системы оценили сайты с большим количеством входящих ссылок, потому что они интерпретировали популярность сайта как релевантность.Но это привело к рассылке ссылочного спама по всей сети. В настоящее время поисковые системы оценивают ссылки в зависимости от «авторитета» сайта, на который указывает ссылка. Поисковые системы придают большее значение ссылкам из государственного учреждения, чем ссылкам из каталога ссылок.

Сегодня алгоритмы ранжирования окутаны большей тайной, чем когда-либо прежде, и «поисковая оптимизация» не так важна.Хороший рейтинг в поисковых системах теперь зависит от высококачественного контента и отличного пользовательского опыта.

Что дальше для поисковых систем?

А, теперь интересный вопрос.Ответ - «семантика»: означает содержимого страницы. Вы можете узнать больше о семантической разметке и ее влиянии на будущее.

Но вот в чем суть.

Прямо сейчас вы можете выполнить поиск по запросу «печенье без глютена», но в результатах могут появиться рецепты печенья без глютена.Вместо этого вы можете найти обычные рецепты печенья, в которых говорится: «Этот рецепт не безглютеновый». В нем правильные ключевые слова, но неправильное значение.

С помощью семантики вы можете искать рецепты печенья, а затем удалять определенные ингредиенты: муку, орехи и т. Д.Вы также можете сузить результаты до рецептов с временем приготовления менее 30 минут и оценкой обзора 4/5 или выше. Это было бы круто, правда? Вот куда мы направляемся!

Все еще не понимаете, как работают поисковые системы? Посмотрите, как Google объясняет этот процесс:

Если вам это показалось интересным, возможно, вы захотите узнать о том, как работают поисковые системы image .

Кредит изображения: prykhodov / Depositphotos

blocklist-sites-parental 7 сайтов, которые все родители должны добавить в свой черный список прямо сейчас

Вы еще не заблокировали YouTube Kids? Вот еще несколько веб-сайтов, которые все родители должны блокировать ради своих детей.

Об авторе

Джеймс имеет степень бакалавра в области искусственного интеллекта и имеет сертификаты CompTIA A + и Network +. Когда он не работает редактором обзоров оборудования, он любит LEGO, VR и настольные игры.

Подробнее о Джеймсе Брюсе
Подпишитесь на нашу рассылку новостей

Подпишитесь на нашу рассылку, чтобы получать технические советы, обзоры, бесплатные электронные книги и эксклюзивные предложения!

Еще один шаг…!

Подтвердите свой адрес электронной почты в только что отправленном вам электронном письме.

.

Изменений для предотвращения индексации сайтов поисковыми системами. - Сделайте WordPress Core

В WordPress 5.3 метод, используемый для предотвращения индексации, будет изменен на сайтах, включив опцию «препятствовать индексированию этого сайта поисковыми системами» на панели управления WordPress. Эти изменения были внесены как часть тикета Created как для отчетов об ошибках, так и для разработки функций в системе отслеживания ошибок. # 43590.

Эти изменения предназначены для того, чтобы лучше препятствовать поисковым системам перечислять сайт, а не только предотвращать сканирование сайта.

Файл robots.txt изменен.

В предыдущих версиях WordPress код Disallow: / был добавлен в файл robots.txt , чтобы предотвратить сканирование сайта поисковыми системами. Это было удалено для непубличных веб-сайтов в WordPress 5.3.

Как пишет Йуст де Валк в объяснении исключения из поисковых систем, запрет сканирования может привести к разрешению индексации сайта:

Чтобы сайт был в списке, его не нужно [сканировать].Если ссылка указывает на страницу, домен или другое место, Google перейдет по этой ссылке. Если файл robots.txt в этом домене предотвращает [сканирование] этой страницы поисковой системой, он все равно будет показывать URL. Определенный веб-адрес веб-сайта или веб-страницы в Интернете, например URL-адрес веб-сайта www.wordpress. org в результатах, если он сможет собрать… на это стоит взглянуть.

Мета Мета - это термин, относящийся к внутренней работе группы. Для нас это команда, которая работает над внутренними сайтами WordPress, такими как WordCamp Central и Make WordPress.tag Каталог в Subversion. WordPress использует теги для хранения одного снимка версии (3.6, 3.6.1 и т. Д.), Что является обычным условием использования тегов в системах контроля версий. (Не путать с тегами постов.) Изменения.

Сайты с включенной опцией «препятствовать индексированию этого сайта поисковыми системами» будут отображать обновленный метатег robots, чтобы сайт не отображался в поисковых системах: .

Этот метатег запрашивает у поисковых систем исключение страницы из индексации и препятствует дальнейшему сканированию сайта.

Исключение серверов разработки из поисковых систем.

Самый эффективный метод исключения сайтов разработки из индексации поисковыми системами - это включить HTTP. HTTP - это аббревиатура от Hyper Text Transfer Protocol. HTTP - это базовый протокол, используемый во всемирной паутине, и этот протокол определяет, как сообщения форматируются и передаются, и какие действия веб-серверы и браузеры должны выполнять в ответ на различные команды. Заголовок Заголовок вашего сайта - это обычно первое, с чем сталкиваются люди.Заголовок или заголовок, расположенный в верхней части страницы, является частью внешнего вида вашего веб-сайта. Это может повлиять на мнение посетителей о вашем контенте и о бренде вашей организации. Он также может выглядеть по-разному на экранах разных размеров. X-Robots-Tag: noindex, nofollow при обслуживании всех ресурсов вашего сайта: изображений, PDF-файлов, видео и других ресурсов.

Как большинство языков разметки гипертекста, отличных от HTML. Язык семантических сценариев, который в основном используется для вывода контента в веб-браузерах.ресурсы обслуживаются непосредственно веб-сервером на сайте WordPress, ядро ​​Core - это набор программного обеспечения, необходимого для работы WordPress. Основная команда разработчиков создает WordPress. программное обеспечение не может установить этот заголовок HTTP. Вам следует проконсультироваться с документацией вашего веб-сервера или вашего хоста, чтобы убедиться, что эти ресурсы исключены на сайтах разработки.

# 5-3, # dev-notes

.

Как остановить поисковые системы от сканирования вашего веб-сайта

Для того, чтобы другие люди могли найти ваш веб-сайт, поисковых роботов , также иногда называемых ботами или пауками, будут сканировать ваш веб-сайт в поисках обновленного текста и ссылок для обновления своих поисковых индексов.

Как управлять сканерами поисковых систем с помощью файла robots.txt

Владельцы веб-сайтов могут указать поисковым системам, как им сканировать веб-сайт, с помощью роботов .txt файл.

Когда поисковая система просматривает веб-сайт, она сначала запрашивает файл robots.txt , а затем следует внутренним правилам.

Отредактируйте или создайте файл robots.txt

Файл robots.txt должен находиться в корне вашего сайта. Если ваш домен был example.com , он должен быть найден:

У вас на сайте :

 https://example.com/robots.txt 

На вашем сервере :

 / home / userna5 / public_html / robots.txt 

Вы также можете создать новый файл и называть его robots.txt как обычный текстовый файл, если у вас его еще нет.

Поисковая машина Пользовательские агенты

Наиболее распространенное правило, которое вы использовали бы в файле robots.txt , основано на User-agent сканера поисковой системы.

Сканеры поисковой системы

используют пользовательский агент , чтобы идентифицировать себя при сканировании, вот несколько распространенных примеров:

Топ-3 поисковых систем США Пользовательские агенты :

 Googlebot Yahoo! Slurp bingbot 

Обычная поисковая система Заблокированы пользовательские агенты :

 AhrefsBot Baiduspider Ezooms MJ12bot ЯндексБот 

Доступ сканера поисковой системы через роботов.txt файл

Существует довольно много вариантов управления сканированием вашего сайта с помощью файла robots.txt .

Правило User-agent: определяет, к какому User-agent применяется правило, а * - это подстановочный знак, соответствующий любому User-agent.

Запрещено: устанавливает файлы или папки, для которых запрещено сканировать.


Установить задержку сканирования для всех поисковых систем :

Если бы на вашем веб-сайте было 1000 страниц, поисковая система потенциально могла бы проиндексировать весь ваш сайт за несколько минут.

Однако это может привести к высокому использованию системных ресурсов, поскольку все эти страницы загружаются за короткий период времени.

A Crawl-delay: из 30 секунд позволит сканерам проиндексировать весь ваш 1000-страничный веб-сайт всего за 8,3 часа

A Crawl-delay: из 500 секунд позволит сканерам проиндексировать весь ваш 1000-страничный веб-сайт за 5,8 дней

Вы можете установить Crawl-delay: для всех поисковых систем одновременно с:

  Пользовательский агент:   *   Задержка сканирования:   30  

Разрешить всем поисковым системам сканировать веб-сайт :

По умолчанию поисковые системы должны иметь возможность сканировать ваш веб-сайт, но вы также можете указать, что им разрешено с помощью:

  Пользовательский агент:   *   Disallow:  


Запретить сканирование веб-сайта всем поисковым системам :

Вы можете запретить любой поисковой системе сканировать ваш веб-сайт с помощью следующих правил:

  Пользовательский агент:   *   Disallow:  / 

Запретить сканирование веб-сайта одной конкретной поисковой системе :

Вы можете запретить только одной определенной поисковой системе сканировать ваш веб-сайт с помощью следующих правил:

  Пользовательский агент:   Baiduspider   Disallow:  / 


Запретить всем поисковым системам использовать определенные папки :

Если бы у нас было несколько каталогов, например / cgi-bin / , / private / и / tmp / , мы не хотели бы, чтобы боты сканировали, мы могли бы использовать это:

  Пользовательский агент:   *   Disallow:   / cgi-bin /   Disallow:   / частный /   Disallow:   / tmp /  

Запретить всем поисковым системам использовать определенные файлы :

Если бы у нас были файлы типа contactus.htm , index.htm и store.htm мы не хотели, чтобы боты сканировали, мы могли бы использовать это:

  Пользовательский агент:   *   Disallow:   /contactus.htm   Disallow:   /index.htm   Disallow:   /store.htm  


Запретить все поисковые системы, кроме одной :

Если бы мы только хотели разрешить Googlebot доступ к нашему каталогу / private / и запретить всем другим ботам, мы могли бы использовать:

  Пользовательский агент:   *   Disallow:   / частный /   User-agent:   Googlebot   Disallow:  

Когда Googlebot считывает наши robots.txt , он увидит, что ему не запрещено сканировать какие-либо каталоги.

.

Смотрите также

Поделиться в соц. сетях

Опубликовать в Facebook
Опубликовать в Одноклассники
Вы можете оставить комментарий, или ссылку на Ваш сайт.

Оставить комментарий