Главное зеркало сайта как узнать


Что такое главное зеркало сайта и как узнать

Содержание

Что такое зеркало сайта?

Зеркалами считаются сайты, контент которых не отличаются друг от друга, при этом имеют разный адрес (протокол, поддомен, домен, порт). Самый распространенный вид зеркал - www.site.ru и site.ru. Главное зеркало - это выбранный вебмастером адрес сайта, который считается основным.

Какие бывают зеркала сайта и для чего их делают?

В первую очередь они делятся на 2 основных вида:

  • Отдельные сайты - сайты размещаются в разных папках/на разных хостингах. Могут функционировать независимо от главного зеркала сайта
  • Алиасы домена - не смотря на то, что адрес другой, используется та же папка на сервере, т.е. вводя адрес - мы ведем тот же самый основной сайт.

Зеркала в виде отдельных сайтов используются:

  • Для доработки проекта разработчиками (тестовая версия сайта).
  • Для маркетинговых экспериментов и исследований, реализация которых на одном сайте проблематична.
  • Скопированные злоумышленниками для незаконных действий (обман пользователей, вымогательство).

Сайты-зеркала в виде алиасов домена применяются:

  • При наличии нескольких доменных имен (например купили доменное имя по названию компании в разных доменных зонах или дополнительно купили домен по номеру телефона и т.п.)
  • Классический алиас “www” (www.site.ru и site.ru)
  • Стандартные протоколы: https и http
  • Различные поддомены, например для маркетинговых экспериментов.
  • Технические домены (обычно выдаются хостингом бесплатно, для его первой проверки и возможности работы с сайтом на время переноса ns адресов, при смене хостинга или если домен только купили).
  • IP адрес сайта.
  • Порт сайта (адрес вида site.ru:8080)

Зеркала сайта вида www/без www и протоколы - необходимо создавать всегда, во избежании проблем с попаданием на сайт пользователей, т.к. иногда посетители вбивают адрес сайта сразу с www/без него, следуя привычке или же, некоторые настройки форумов и блогов автоматически добавляют www. Протоколы https и http аналогично - многие форумы и сайты настроены так, что ссылка оставленная на там использует тот же протокол что сам сайт. То есть если форум находится на https, то и ссылка на ваш сайт будет с https и наоборот. Тем самым, не имея таких зеркал вы можете потерять пользователей.

Как сделать зеркало сайта?

Классическое зеркало, вида www.site.ru и протоколы http/https - в большинстве случаях создается автоматически на хостинге. В случае отсутствия зеркала www - воспользуйтесь алгоритмом для поддоменов.

Существует 4 основных варианта создания зеркал:

  • Создаете поддомен и направляете его на ту же папку что и основной домен. В результате, получится, что поддомен является алиасом основного домена (зайдя на поддомен увидим искомый сайт).
  • Другой домен направляете на тот же хостинг и на ту же папку. Результат будет аналогичен пункту выше.
  • Делаете копию вашего сайта и размещаете ее в другой папке/на другом хостинге. Туда направляете новый домен/поддомен. Перейдя по новому адресу увидим полную копию искомого сайта, в которую можно будет вносить корректировки, при этом не затрагивая искомый сайт.

Зачем выбирать главное зеркало?

Выбирать главное зеркало, в первую очередь, нас заставляют поисковые системы, т.к. они добавляют в индекс только одно зеркало (точнее стараются так делать). Неглавные зеркала считаются дублями главного и если их не склеить или не закрыть от индексации - то можно получить пессимизацию со стороны поисковых систем и ваш сайт потеряет часть трафика.

Как узнать главное зеркало сайта?

Существует несколько вариантов определения главного зеркала сайта. Первый - используя выдачу поисковых систем:

Проверка главного зеркала в Яндексе:

  • Вводим запрос вида: url:site.ru/* и смотрим количество результатов.
  • После вбиваем запрос с другим адресом сайта, например: url:www.site.ru/*

Где больше результатов получили, то зеркало и считается главным со стороны поисковой системы Яндекс.

Проверка главного зеркала в Google немного сложней:

  • Вводим запрос вида: site:site.ru
  • И считаем сколько результатов с каким зеркалом.

Страниц какого зеркала в выдаче больше - то и главное.

Второй способ узнать главное зеркало сайта более простой и быстрый, но учитывает только поисковую систему Яндекс. Заходите в Яндекс.Вебмастер, нажимаете добавить сайт, вставляете url вашего сайта. Если вы добавили неглавное зеркало, то увидите соответствующее сообщение.

Как выбрать основное зеркало сайта

К выбору главного зеркала сайта нужно подходить ответственно, ведь от этого напрямую будут зависеть позиции вашего сайта и соответственно трафик. Если вы выбираете между "классическими" синонимами домена, ответ дан внизу статьи "Какой вариант выбрать". Ниже рассмотрим основные моменты выбора, в случае, если у вас разные алиасы - это разные домены. Порядок от наиболее важного к наименее.

  • Нужно проверить историю доменов: накладывались ли на него фильтры (это можно сделать в вебмастерах), был ли спамные сайты или сайты другой тематики (для этого воспользуйтесь сайтом archive.org).
  • Проверьте возраст доменов, не только дату регистрации (сервисы whois), но и предположительной индексации (тот же вебархив). Стоит отметить, если домен долго был недоступен - это минус.
  • При склейке зеркал сайта, лучше выбрать сайт, который уже имеет хорошие позиции и у которого больше страниц находится в индексе.
  • Если у вас известный бренд - то рекомендуем выбрать тот алиас домена, на который чаще заходят пользователи напрямую.
  • Если алиасы не отличаются пунктами выше - тогда следует выбрать по эстетическому принципу, что вам больше нравится :)

Как сделать главное зеркало?

Если неглавное зеркало сайта сделано в качестве отдельного сайта и должно таким остаться - то достаточно его закрыть от индексации. Но стоит учитывать, что в данной ситуации, ссылки и поведенческие факторы будут накапливаться только для неглавного зеркала, т.е. основной домен с них не получит пользы.

В остальных случаях главное зеркало настраивается в 3 этапа:

  • Исправляем на сайте абсолютные ссылки либо на относительные, либо с использованием главного зеркала.
  • Настраиваем редиректы на главное зеркало.
  • Добавляем в Яндекс.Вебмастер и Google Search Console главное зеркало сайта.

Как указать или изменить главное зеркало в Яндекс.Вебмастере?

Для того, чтобы указать главное зеркало в Яндекс.Вебмастере необходимо добавить в него все зеркала (и главное и неглавные). После чего перейти в управление неглавным зеркалом, кликнуть на “Переезд сайта” и указать главное зеркало сайта. Ниже пошаговая инструкция:

  • Добавляем и подтверждаем сайт.
  • Переходим в управление неглавным зеркалом и нажимаем кнопку переезд сайта.
  • После чего вводим адрес главного зеркала и нажимаем кнопку сохранить (главное зеркало должно быть уже добавлено в Яндекс.Вебмастер).

Если вы не указали главное зеркало, Яндекс может определить его автоматически (не рекомендуем ждать и проверять). Отображается это в вебмастере развернутым списком.

Вид зеркалаПримерСклеит ли их Яндекс
Алиас домена c www и без негоwww.site.ru и site.ruДа
Синоним сайта использует HTTPS и HTTPhttp://site.ru и https://site.ruДа
Поддомены сайтаold.site.ru и site.ruДа
Используются разные доменные зоныsite.net и site.ruНет
Сайт открывается на разных доменахsite.ru и other-site.ru Нет

Как указать или изменить главное зеркало в Google Search Console?

Не так давно Google Search Console начал работу над новым дизайном и инструментарием. В связи с переездом инструмент выбора главного зеркала пропал. На текущий момент единственный способ - это настроить 301 редирект с неглавных зеркал и добавить главное зеркало в Google Search Console.

Как склеить зеркала сайта и правильная настройка редиректов.

Финальная стадии склейки зеркал - это настройка редиректа с неглавного зеркала на главное. В большинстве случаях на хостинге установлен Apache, управление редиректами происходит через файл .htaccess в корне сайта.

Если домен главного зеркала отличается от неглавного:


 RewriteCond %{HTTP_HOST} domain1.ru
 RewriteRule (.*) http://domain2.ru/$1 [R=301,L]
 

Как сделать главное зеркало с HTTPS ?


 RewriteCond %{HTTPS} !=on
 RewriteRule ^(.*)$ https://%{HTTP_HOST}/$1 [R=301,L]
 

Если возникла ошибка, попробуйте другой способ:


 RewriteCond %{HTTPS} off
 RewriteCond %{HTTP:X-Forwarded-Proto} !https
 RewriteRule ^(.*)$ https://%{HTTP_HOST}%{REQUEST_URI} [L,R=301]
 

Как сделать главное зеркало без www ?


 RewriteCond %{HTTP_HOST} ^www\.(.*)$
 RewriteRule ^(.*)$ http://%1/$1 [L,R=301]
 

Как сделать главное зеркало с HTTP ?


 RewriteCond %{HTTPS} =on
 RewriteRule ^(.*)$ http://%{HTTP_HOST}/$1 [R=301,L]
 

Как сделать главное зеркало с www


 RewriteCond %{HTTP_HOST} ^([^www].*)$
 RewriteRule ^(.*)$ http://www.%1/$1 [L,R=301]
 

Проверка склейки сайта

После выполнения всех действий следует проверять корректность склейки зеркал сайта. Проверять можно используя выдачу поисковых систем - по аналогии с поиском главного зеркала, только проверяем количество страниц неглавного зеркала в индексе. Если все сделано правильно постепенно такие страницы исчезнут из выдачи. Также можно применить Яндекс.Вебмастер и Google Search Console - для проверки количества страниц в индексе поисковых систем. Рекомендуем проверять 2 раза в неделю. Срок склейки сайта может варьироваться от 2 дней до полугода.

Часто задаваемые вопросы:

Какой вариант главного зеркала выбрать?

Протокол http устаревает, при создании сайта следует сразу выбирать главное зеркало с https. Использование www - имеет исключительно эстетическое значение. Если вам очень хочется - то можно использовать www. В большинстве случаях для пользователей удобней вариант без www.

Наш вердикт: рекомендуем выбрать главное зеркало вида: https://site.ru/.

Как расклеить зеркала сайта?

При расклейке зеркал следует выполнить три пункта:

  • Снять редиректы.
  • Убедиться что контент сайтов отличается.
  • Перейти в Яндекс.Вебмастер и нажать кнопку отклеить зеркало.

Как указать главное зеркало сайта в robots.txt?

Никак. Возможность указания зеркала сайта в robots.txt использовалась Яндексом до 2018 года, в настоящий момент данный функционал упразднен.

Индексируются ли зеркала сайта?

При правильной настройки зеркал - они не индексируются. Но если вы допустили ошибку - то неглавные зеркала сайта могут проиндексироваться и нанести вред проекту (пессимизация со стороны поисковых систем за неуникальный контент + за попытку "захвата ТОПа" сайтами одной компании / человека).

Учитываются ли характеристики неглавных зеркал на главном?

Если зеркала склеены - то характеристики переносятся на главное зеркало, иначе - нет.

Что делать если у сайта изменилось главное зеркало?

Проверить, была ли правильно настроена склейка зеркал. В большинстве случаях не был настроен редирект. Если ошибок нет, то следует написать в техническую поддержку поисковых систем.

Что делать, если сайты склеены по ошибке?

Провести работы, указанные в пункте “Как расклеить зеркала сайта?”. Если ошибка не ваша - то следует написать в техническую поддержку поисковых систем.

Что делать если Яндекс находит не сайт, а алиас?

В большинстве случаях такая проблема вызвана неправильной настройкой склейки зеркал. Убедитесь, что выполнены все пункты из “Как сделать главное зеркало”. Если ошибка не ваша - то напишите в техническую поддержку поисковых систем.

Плохо ли, если главное зеркало сайта не использует https протокол?

На текущий момент поисковые системы не понижают в ранжировании сайты, не использующие https протокол. Но https - это новая технология, которая по ряду причин лучше http. Поэтому следует задуматься о переводе сайта на https.

Как проверить зеркала сайта, слитые с основным доменом

Как сделать сайт-зеркало? Для этого вам необходимо выполнить следующий алгоритм. Есть разные советы в зависимости от ваших предпочтений и задач. В этой статье мы рассмотрим не создание, а оптимизацию зеркала сайта, которое поможет поисковым системам при обработке доменов и избавит вас от санкций за дубли.

Объединение зеркал означает объединение нескольких доменных имен для идентификации основного, базового зеркала .Чтобы правильно объединить зеркала, выберите основное зеркало и настройте на него 301 редирект. Затем выполните настройки в инструментах для веб-мастеров и в файле robot.txt. Наконец, настройки CMS. Выбор главного зеркала очень важен, так как вся масса будет направлена ​​на него.

Выбирая базовое зеркало, обратите внимание на следующие факторы:

  • если речь идет о сайтах с www или без www, выберите то, которое индексируется;
  • если речь идет о сайтах с разными доменами, выберите тот, который можно найти в поисковой выдаче и который имеет лучший рейтинг;
  • читаемость домена;
  • выбрать более старый домен;
  • очистить историю домена;
  • выберите сайт с прямыми и органическими лидами.

Конечно, главное зеркало сайта можно поменять, но лучше один раз выбрать. Помимо намеренного слияния, есть автоматическое слияние доменов. Поисковые системы автоматически объединяют зеркала, если сайты полностью или частично похожи, и копируют друг друга.
.

Как легко создать локальное зеркало всего веб-сайта

С помощью команды терминала wget очень легко отразить весь веб-сайт на локальном компьютере. В этом руководстве показано, как это сделать с помощью командной строки. wget доступен для Mac OS X, Linux, Unix и многих других популярных операционных систем, поэтому это универсально применимо, если у вас есть wget.

Чтобы начать зеркалирование веб-сайта с помощью wget, запустите приложение «Терминал» и введите следующую команду, заменив guimp.com (крошечный образец веб-сайта) с URL-адресом, который вы хотите зеркалировать локально.

Как сделать локальное зеркало веб-сайта с помощью wget

wget и флаг -m загрузят и отобразят весь указанный веб-сайт. Синтаксис будет следующим, заменяя URL по желанию:

wget -m http://www.guimp.com/

Это загрузит весь веб-сайт на ваш локальный диск в каталог с именем URL-адреса веб-сайтов ... обратите внимание, что это не особенно эффективный способ резервного копирования веб-сайта и его функциональности, это просто его локальное копирование.

Вы можете сделать это практически с любым веб-сайтом, просто введите соответствующий URL-адрес сайта, используя следующий формат синтаксиса:

wget -m [URL]

Очевидно, что это не будет отражать ajax, базы данных, запросы, динамический контент или скрипты, это будет только статическая HTML-версия сайта. Чтобы полностью отразить динамический сайт локально, вам потребуется доступ к необработанным файлам через SFTP или иным образом, на которые вы можете просто загрузить все содержимое сайта, а затем запустить его в зеркальной версии на локальном компьютере через Apache, nginx, MAMP или любой другой веб-сервер, который вы предпочитаете.

Примечание : различные читатели отмечали, что wget не устанавливается в Mac OS X по умолчанию, и вам придется установить его самостоятельно. Вы можете получить wget для OS X, собрав его самостоятельно из исходного кода (рекомендуется для большинства) или установив его через MacPorts. Для последнего варианта ознакомьтесь с нашей прошлой статьей об установке MacPorts. MacPorts или Homebrew - очень полезные инструменты, позволяющие легко устанавливать пакеты программного обеспечения с открытым исходным кодом, и они настоятельно рекомендуются для умеренных и продвинутых пользователей Mac OS X или тех, кто интересуется командной строкой.

Связанные

.

punkave / mirror-website: Создайте статическое зеркало веб-сайта. Цель состоит в том, чтобы удовлетворить почти универсальную потребность в пользовательской обработке при зеркалировании современного сайта.

перейти к содержанию Зарегистрироваться
  • Почему именно GitHub? Особенности →
    • Обзор кода
    • Управление проектами
    • Интеграции
    • Действия
    • Пакеты
    • Безопасность
    • Управление командой
    • Хостинг
    • мобильный
    • Истории клиентов →
    • Безопасность →
  • Команда
  • Предприятие
.

зеркал - ArchWiki

Эта страница представляет собой руководство по выбору и настройке зеркал, а также список доступных на данный момент зеркал.

Зеркала официальные

Официальный список зеркал Arch Linux доступен в пакете pacman-mirrorlist. Чтобы получить еще более актуальный список зеркал, используйте страницу Pacman Mirrorlist Generator на главном сайте.

Проверьте состояние зеркал Arch, посетив страницу состояния зеркала. Рекомендуется использовать только актуальные зеркала, т.е.е. не рассинхронизировано.

Если вы хотите, чтобы ваше зеркало было добавлено в официальный список, см. DeveloperWiki: NewMirrors. А пока добавьте его в статью «Неофициальные зеркала».

Зеркала с поддержкой IPv6

Генератор зеркальных списков Pacman также может использоваться для поиска списка текущих зеркал IPv6.

Включение определенного зеркала

Чтобы включить зеркала, отредактируйте /etc/pacman.d/mirrorlist и укажите свой географический регион. Раскомментируйте зеркала, которые вы хотели бы использовать.

Пример:

 # Любые # Сервер = http://mirrors.kernel.org/archlinux/$repo/os/$arch  Сервер = https://mirrors.kernel.org/archlinux/$repo/os/$arch  

См. # Сортировка зеркал для получения информации об инструментах, помогающих выбрать зеркала.

Совет:
  • Раскомментируйте 5 избранных зеркал и поместите их в начало файла списка зеркал. Таким образом, их будет легко найти и переместить, если с первым зеркалом в списке возникнут проблемы. Это также упрощает объединение обновлений зеркального списка.
  • HTTP-зеркала
  • работают быстрее, чем FTP, из-за постоянного HTTP-соединения: при использовании FTP новое соединение с сервером должно устанавливаться каждый раз, когда pacman запрашивает загрузку пакета, что приводит к короткой паузе.

Также можно указать зеркала в /etc/pacman.conf . Для репозитория [core] настройка по умолчанию:

 [основной] Включить = /etc/pacman.d/mirrorlist 

Чтобы использовать зеркало HostEurope в качестве зеркала по умолчанию, добавьте его перед строкой Include :

 [основной]  Сервер = http: // ftp.hosteurope.de/mirror/ftp.archlinux.org/core/os/$arch  Включить = /etc/pacman.d/mirrorlist 

pacman сначала попытается подключиться к этому зеркалу. Проделайте то же самое для [тестирование] , [extra] и [community] , если применимо.

Примечание: Если зеркала указаны непосредственно в pacman.conf , не забудьте использовать одно и то же зеркало для всех репозиториев. В противном случае могут быть установлены несовместимые друг с другом пакеты, такие как linux из [core] и более старый модуль ядра из [extra] .

Заставить pacman обновить списки пакетов

Зеркала могут быть не синхронизированы, и список пакетов из старого зеркала может не соответствовать списку пакетов нового зеркала, даже если даты списков могут свидетельствовать об этом.

После создания / редактирования /etc/pacman.d/mirrorlist введите следующую команду:

 # pacman -Syyu 

Передача двух флагов --refresh / -y заставляет pacman обновлять все списки пакетов, даже если они считаются актуальными.Выпуск pacman -Syyu в большинстве случаев является ненужной тратой полосы пропускания, но иногда может решить проблемы при переключении с сломанного зеркала на рабочее. См. Также Is -Syy safe ?.

Предупреждение: В большинстве случаев, если вы принудительно обновляете базу данных pacman, вам нужно принудительно откатить все потенциально слишком новые пакеты, чтобы они соответствовали версиям, предлагаемым новым зеркалом. Это предотвращает проблемы, когда пакеты обновляются непоследовательно, что приводит к частичному обновлению.
 # pacman -Syyuu 

В этом нет необходимости при использовании отметок времени, чтобы гарантировать, что зеркала только обновляются.

Сортировочные зеркала

При загрузке пакетов pacman использует зеркала в том порядке, в котором они перечислены в /etc/pacman.d/mirrorlist . Порядок серверов, отображаемых в списке, устанавливает их приоритет.

Неоптимально ранжировать зеркала только по скорости, так как самые быстрые серверы могут быть не синхронизированы. Вместо этого составьте список зеркал, отсортированных по их скорости, а затем удалите из списка те, которые не синхронизированы в соответствии с их статусом.

Рекомендуется повторять этот процесс перед каждым обновлением системы, чтобы поддерживать список зеркал в актуальном состоянии.

Список по скорости

Ранжирование существующего списка зеркал

Пакет pacman-contrib предоставляет сценарий Bash, / usr / bin / rankmirrors , который можно использовать для ранжирования зеркал в соответствии с их скоростью соединения и открытия, чтобы воспользоваться преимуществом использования самого быстрого локального зеркала.

Создайте резервную копию существующего /etc/pacman.d/mirrorlist :

 # cp / etc / pacman.г / mirrorlist /etc/pacman.d/mirrorlist.backup 

Чтобы подготовить mirrorlist.backup для ранжирования с rankmirrors , можно выполнить следующие действия:

  • Отредактируйте mirrorlist.backup и раскомментируйте серверы для тестирования

Наконец, ранжируйте зеркала, используя операнд -n 6 , чтобы вывести только 6 самых быстрых зеркал:

 # rankmirrors -n 6 /etc/pacman.d/mirrorlist.backup> /etc/pacman.d/mirrorlist 
Получение и ранжирование списка активных зеркал

Чтобы начать с короткого списка актуальных зеркал, базирующихся в некоторых странах, и передать его на rankmirrors , можно получить список из генератора Pacman Mirrorlist Generator .# / d '| rankmirrors -n 5 -

Рейтинг на стороне сервера

Официальный генератор списков зеркал Pacman предоставляет простой способ получить ранжированный список зеркал. Поскольку все ранжирование выполняется на одном сервере с учетом множества факторов, нагрузка на зеркала и клиентов значительно ниже по сравнению с ранжированием для каждого отдельного клиента.

Другой популярной альтернативой является следующий инструмент:

Reflector - Получает последний зеркальный список со страницы MirrorStatus, фильтрует и сортирует их по скорости и перезаписывает / etc / pacman.d / mirrorlist

https://xyne.archlinux.ca/projects/reflector/ || отражатель

Устранение неисправностей

В случае возникновения следующей ошибки:

Ошибка
: файл конфигурации /etc/pacman.d/mirrorlist не может быть прочитан: нет такого файла или каталога 

Получите зеркальный список прямо с сайта:

 # curl -o /etc/pacman.d/mirrorlist https://www.archlinux.org/mirrorlist/all/ 

Не забудьте раскомментировать предпочтительное зеркало, как описано выше, затем:

 # pacman -Syu pacman-mirrorlist 

См. Также

.

Смотрите также

Поделиться в соц. сетях

Опубликовать в Facebook
Опубликовать в Одноклассники
Вы можете оставить комментарий, или ссылку на Ваш сайт.

Оставить комментарий