Как блокирует роскомнадзор сайты


Блокировка сайта Роскомнадзором. Что делать и как обойти бан?

Если Вы занимаетесь сайтами серых и темных ниш, то с проблемой блокировкой сайтов Роскомнадзом на территории РФ думаю уже знакомы. Но меня подобная проблема всегда обходила стороной, так как сайты которые я веду в основном белые и пушистые, иногда с оттенками серого. Но даже на белые сайты могут прилетать абузы и блокировки от РКН. Так, в начале декабря, на один из моих проектов тоже прилетел предновогодний сюрприз и трафик в один из дней упал в разы.

Предыстория

Коротко о сайте:

  • Тип сата: портал с объявлениями\предложениями.
  • Контент: товары, бизнес услуги, добавляются пользователями
  • Аудитория: основной трафик с России, Яндекс чуть больше чем Google
  • Причина по которой прилетела блокировка: пара объявлений с предложениями о продаже табачных изделий (стики, кальяны, сигареты)

На сайт часто приходили жалобы, верней не на сайт в целом, а на отдельные объявления (те же сигареты, копии брендов). Иногда это были предупреждения на почту указанную на сайте, но чаще жалобы летели хостеру, а они уже писали мне, я в свою очередь всегда их тут же удалял.

Беда в том, что в этот раз никаких предупреждений не было (как мне казалось), поэтому причину резкого падения я понял не сразу. Что делает  сеошник когда видит такую картину?

Сначала я просрался, потом собрался и начал гонять сайт по сервисам анализа в поисках проблемы, проверять ответы кодов, доступность, позиции, апдейты и.т.д. Но все показывало норм. Позиции просесть не успели, апдейтов не было, сайт технически исправен. В процессе анализа понял что трафик порезало именно с России. Было как-то у меня что Cloud Flare по IP резал страну, поэтому думал на него, и убили сутки на настройку сервера.

Не забыл и на сайт Роскомнадзора заглянуть и проверить нет ли сайта в базе (https://blocklist.rkn.gov.ru/). Сайт был, но ограничение было наложено на страницу, а не на домен. Причем об этом ограничении я знал и ранее, оно было наложено еще с лета (более 5 месяцев), а сайт не доступен стал только сейчас. Страницу не удалял, так как это была категория, причем она сидела в топе по жирным запросам что давало хороший траф на нее (даже с учетом блокировки) и конверсию по монетизации сайта. Ну в блоке и в блоке, сайт же не заблочен был, поэтому этот вариант тоже отложил в сторону.

Многие наверное уже думают:

Бля, как ты мог не заметить? Ведь при блокировке сайта РКН выводится заглушка с сообщением что оный ресурс наказан?

Главная загвоздка моей слепоты была в том, что я живу в Украине (ага, не "на", а "в"), в рунет хожу через VPN от Hideme, а зайдя на сайт под VPN никакой заглушки как оказалось позже не видно, даже если у тебя российские IP установлены. Блокировка происходит на уровне DNS сети в регионах. Когда попросил знакомых с России посмотреть на сайт, сразу все стало на свои места. Прислали такой скрин:

Почему тогда не было предупреждений по email или от хостера? Как оказалось были, вот только в СПАМ все письма от РКН попадали от того я их и не видел. Стоит отдать должное они старались, неоднократно предупреждали, терпели и ждали пока же я исправлюсь.

Вот пример одного из таких писем:

от 25.11.19

Роскомнадзор информирует/the Roscomnadzor is informing

Направляется уведомление о внесении в «Единый реестр доменных имен, указателей страниц сайтов в сети «Интернет» и сетевых адресов, позволяющих идентифицировать сайты в сети «Интернет», содержащие информацию, распространение которой в Российской Федерации запрещено» следующего(их) указателя (указателей) страницы (страниц) сайта в сети «Интернет»: https://адрес страницы .

В случае непринятия провайдером хостинга и (или) владельцем сайта мер по удалению запрещенной информации и (или) ограничению доступа к сайту в сети «Интернет», будет принято решение о включении в единый реестр сетевого адреса, позволяющего идентифицировать сайт в сети «Интернет», содержащий информацию, распространение которой в Российской Федерации запрещено, а доступ к нему будет ограничен.

Сведения о включении доменных имен, указателей страниц сайтов сети «Интернет» и сетевых адресов доступны круглосуточно в сети «Интернет» по адресу http://eais.rkn.gov.ru .
   
С уважением,
ФЕДЕРАЛЬНАЯ СЛУЖБА ПО НАДЗОРУ В СФЕРЕ СВЯЗИ, ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ И МАССОВЫХ КОММУНИКАЦИЙ.

Последнее такое письмо было 09.12.19, а уже 11.12.19 сайт приуныл.

Что стоит знать о блокировке Роскомнадзором?

  1. Блокировка сайта происходит: а) через так называемый Deep Packet Inspection (DPI) б) на уровне DNS. в) По IP ресурса (по-моему уже не блокируют из-за неэффективности метода). 
  2. По вариантам а) и б) менять IP адрес сайта бесполезно
  3. Если вы смотрите на заблокированный сайт с российского IP но через VPN, то сайт будет доступен и вы не увидите того, что он заблокирован
  4. Делать редиректы на варианты домена с www, без www, на https и другие варианты не работают. Блокируется домен целиком со всеми алиасами
  5. Если вы хотите восстановить трафик с помощью редиректов (302 например) с заблокированного домена на новый на время выяснений и процесса разблокировки, то это не поможет ввиду метода блокировки описанного в пунтке 1. Люди все равно будут видеть заглушку от РКН и никакого редиректа не будет.
  6. Боты в отличии от людей заходящих на сайт через браузеры видят редиректы и коды страниц как есть. То есть, если поставить 301 редирект со старого сайта на новый, то пользователи редиректится не будут, но код у страницы для ботов будет 301.
  7. Переезд на новый домен со склейкой через 301 редирект без устранения причины блокировки малоэффективна, так как подобные клоны сайтов быстро снова попадают под блокировку.

Шаги для разблокировки сайта РКН?

Зная нюансы указанные выше стоит начать с ответа на вопрос: можем ли мы устранить причину нарушения (контент который стал причиной блокировки), или наш сайт сплошное нарушение))?

В моем варианте сайт белый, только отдельные страницы серые, поэтому опишу шаги для этого случая. В случае если такой контент удалить не возможно, шаги будут отличаться.

Минимизируем потери трафика

Первоочередная задача при блокировке сайта Роскомнадзором конечно же минимизировать потери посещаемости на время, пока идет процесс разблокировки сайта. Для этого:

  1. Удаляем весь контент который стал причиной блокировки сайта. Причем не скрываем, а удаляем. Код ответа этих страниц должен быть 404, иначе есть вероятность что не прокатит с первого раза.
  2. Покупаем домен (зеркало сайта). В моем случае был куплен домен максимально похож на заблокированный с отличием только в доменной зоне.
  3. В настройках основного домена пишем купленный домен как alias (псевдоним)
  4. Добавляем новый домен в сервисы Яндекс вебмастер и Search console для максимально быстрой индексации. Переезд сайта на новый домен делать я не стал, так как рассчитывал что процесс разблокировки займет пару недель. Если проблема лишь в некоторых страницах, то переезд делать не стоит, пока сайты склеятся сайт уже разблокируют и вам снова нужно будет делать переезд. Больше потеряете в итоге чем сохраните.
  5. Ставим 302 редиректы со всех страниц старого домена, на страницы нового. Но! Редиректы как я писал выше для юзеров работать не будут! То есть кликая на старый домен в выдаче ПС или переходя по прямой ссылке, с закладок и.т.д. он будет видеть заглушку от РКН. Редиректы лишь для того, чтобы поисковые системы быстрее индексировали контент на новом домене, а 302 код указывает, что это временно, а не постоянно. 
  6. Сообщаем нашим пользователям что на сайте временные проблемы и что он временно доступен по новому адресу. Если на сайте есть каналы в Телеграмм, группы с соц. сетях с подписчиками, базы email которые подписались на новости сайта и т.д. делаем рассылки там.
  7. Если позволяет бюджет запускаем контекстную рекламу на поиске, я не запускал так как для этой тематики и частотности запросов это было бы нецелесообразной тратой средств.
  8. Пишем в Роскомнадзор на Email [email protected] письмо примерно следующего содержания:

Здравствуйте. Сайт  https:// адрес был внесен в реестр запрещенных. Сообщаю Вам, что я устранил причину внесения сайта в реестр, все страницы нарушающие правила удалены с портала. В связи с этим прошу Вас удалить сайт из https://адрес  данного реестра и возобновить доступ. Сообщите пожалуйста о статусе заявки, о том нет ли более проблем с сайтом которые могут повлечь его блокировку, и сроки когда можно ожидать восстановления работоспособности сайта.

С уважением, Зинченко А.А

Все. Дальше остается только ждать ответа от них.

Сколько времени проходит на разблокировку сайта от Роскомнадзора?

Письмо мной было написано им 13.12.19, и уже (или аж) 24.12.19 я получил ответ:

Направляется уведомление об исключении записи из «Единый реестр доменных имен, указателей страниц сайтов в сети «Интернет» и сетевых адресов, позволяющих идентифицировать сайты в сети «Интернет», содержащие информацию, распространение которой в Российской Федерации запрещено» следующего(их) указателя (указателей) страницы (страниц) сайта в сети «Интернет»: https://адрес страницы .

С уважением,
ФЕДЕРАЛЬНАЯ СЛУЖБА ПО НАДЗОРУ В СФЕРЕ СВЯЗИ, ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ И МАССОВЫХ КОММУНИКАЦИЙ.

В среднем ответ приходит в промежутке от 7 до 10 дней.

25.12.19 трафик на сайт заметно улучшился, но так как Новый год на носу трафик всегда к этому времени проседал, поэтому оценить реальные потери сложно.

Действия после разблокировки

Чтобы не путаться. Заблокированный основной домен пусть будет сайт 1, новый, временный домен (зеракало) - сайт 2

  1. Убираем редиректы которые делали с сайта 1 на сайт 2
  2. С сайта 2 ставим 301 редиректы на сайт 1
  3. В Яндекс вебмастере делаем переезд (склейку) сайта 2 на сайт 1
  4. В Гугл Search console ничего не делал так как там не все так удобно как в Яндексе, 301 редиректы сдеалют свое дело.

Последствия блокировки и парадоксы

Позиции

Самым интересным является то, что после блокировки сайта позиции в Яндексе начинают стремительно падать, а вот в Гуле наоборот позиции начали расти.

На сегодняшний день (конец Января) позиции в Яндексе восстановились, за исключением некоторых отдельных запрос

Посещаемость

Конечно же посещаемость на время блокировка значительно просела, практически весь российский трафик ушел. Создание домена зеркала не дало ощутимого эффекта на таких коротких сроках, его польза лишь в том, чтобы предоставить доступ к сайту постоянным посетителям. Новые на него идут в очень малых количествах так как он не успел проиндексироваться и занять позиции вытеснив старый домен.

На сегодня посещаемость восстановлена, можно даже сказать полностью, и даже больше, с учетом корреляции на Январь месяц, который всегда был на сайте хуже Декабря.

Но вот если до блокировки лидером по трафику был Яндекс (хоть и не с большим отрывом), то теперь им стал Google, и отрыв уже заметен. При этом позиции в Яндексе восстановлены полностью.

Здесь я описал историю и шаги для сайта, у которого лишь некоторые из страниц нарушали правила РКН, если же сайт сам по себе из серых и черных ниш, то шаги по выходу с под бана будут различаться. Вернее это будет история не выхода с под блокировки, так как его разблокировать не получится, а о том, как восстановить трафик на новом домене-зеркале. При этом 301 редирект и склейка со старым сайтом, как я говорил ранее, скорее всего снова приведет к новой блокировке. Опыта такого пока нет, как будет может напишу отдельную статью.

Если у вас есть свой опыт вывода сайтов с под блокировки РКН было бы интересно почитать ваше мнение и опыт в комментариях, или на отдельных статьях по теме.

Роскомнадзор будет блокировать сайты точнее и быстрее

Роскомнадзор может получить право определять способ блокировки сайтов, занесенных в «черный список». Новые разработанные поправки к регулированию призваны защитить законопослушные веб-ресурсы от необоснованной блокировки, например, когда два веб-сайта «проживают» на одном IP и один из них должен быть заблокирован в соответствии с российским законодательством, «невиновные» не будут наказаны вместе с виновным.

Соответствующие изменения, разработанные Минкомсвязи России, предлагается внести в российский закон об информации, ее защите и информационных технологиях.Эти изменения должны унифицировать требования к операторам связи в отношении блокировки доступа к веб-сайтам. В настоящее время операторы самостоятельно выбирают способ блокировки. МинКом намерен это изменить.

Если информация на определенном веб-сайте или его отдельной странице признана незаконной в соответствии с российским законодательством, она должна быть заблокирована. Под блокировку может попасть домен, отдельная страница сайта или IP-адрес. В случае IP-адреса «соседи» заблокированного сайта, находящиеся на одном IP-адресе, могут попасть под блокировку, несмотря на то, что такие соседи законопослушны.Если Роскомнадзор определит, как блокировать незаконную информацию в Интернете, законопослушные сайты смогут избежать блокировки, как это задумано.

российских хостинг-провайдеров и операторов веб-сайтов уже сталкивались с подобными проблемами. Например, в 2013 году Роскомнадзор потребовал заблокировать IP-адрес сайта, о котором идет речь. Но на том же IP-адресе проживала и одна из компаний Яндекса. Эта компания была вне сети на 30 минут. Сайт этой компании не смогли посетить почти 3,5 миллиона человек.Одна газета также была заблокирована из-за того, что она предоставила один IP-адрес нелегальному сайту.

Российские хостинг-провайдеры быстро и оперативно выполняют требования российских властей по блокировке нелегальной информации или веб-сайтов. Но у зарубежных поставщиков услуг есть свои собственные законы и постановления, и они не всегда выполняют требования российских властей просто потому, что они в первую очередь должны соблюдать закон о регистрации. У МинКома есть еще много дел, чтобы решить эту «задачу».

Но это еще не все изменения. Предполагается создать специальную электронную систему для внутреннего взаимодействия между соответствующими органами. Через эту систему Роскомнадзор будет получать судебные постановления о блокировке веб-сайтов. Такая мера должна сделать блокировку более быстрой и менее затратной. Не нужно будет ждать, когда Почта России доставит все необходимые бумаги. Должностные лица судов должны получить возможность уведомлять Роскомнадзор обо всех решениях, касающихся блокировки или разблокировки, через личный кабинет.

.

sfate / fuck_roskomnadzor: Примечания о доступе к сайтам, которые блокируются роскомнадзором

перейти к содержанию Зарегистрироваться
  • Почему именно GitHub? Особенности →
    • Обзор кода
    • Управление проектами
    • Интеграции
    • Действия
    • Пакеты
    • Безопасность
    • Управление командой
    • Хостинг
    • мобильный
    • Истории клиентов →
    • Безопасность →
  • Команда
  • Предприятие
  • Проводить исследования
.

Как правительство России заблокировало наш бизнес - и как мы с этим справлялись

Как и многие другие сервисы, мы также стали жертвами недавней кампании по запрету, проведенной Роскомнадзором. Это привело к значительной потере трафика, что лишило нас многих потенциальных клиентов. Сначала пользователи нескольких мобильных операторов не могли открыть mkdev, а затем даже у крупных интернет-провайдеров начались блокировки.

Первые два дня мы надеялись, что здравый смысл возобладает.Но этого не произошло, и через некоторое время все изменилось только в худшую сторону, поэтому нам лично пришлось взять это под свой контроль. А теперь поговорим о том, как мы боролись с блокировкой нашего сервиса и наконец завоевали и сохранили критически важную для нашего бизнеса часть рынка.

Как официально разблокировать ваш сайт без каких-либо технических навыков

Очень легко попасть в список заблокированных веб-сайтов и не так просто быть официально удаленным из него.

У нас даже не было возможности подумать, что делать и где писать, поскольку на второй день войны Интернет был полон разнообразно полезных советов от различных правозащитных организаций.

В первую очередь мы хотели написать претензию напрямую в Роскомнадзор, у них есть какая-то особая процедура по этому поводу. Но, к сожалению, мы не смогли этого сделать, так как сам сайт и форма заявки были заблокированы или атакованы. На момент написания он все еще не работает должным образом.

Между тем они официально заявили, что тонны заявлений о блокировке безобидных сайтов - не более чем выдумка. А потом попросили сообщить о таких ситуациях на горячую линию, чтобы их тщательно проверили.

Мы сделали это и даже добавили скриншоты заблокированного сайта от наших клиентов и один с официального сайта Роскомнадзора, упомянув, что наш IP заблокирован. Мы получили ответ об ошибке 554 (когда хост заблокирован за рассылку спама).Некоторые другие компании столкнулись с той же проблемой. Казалось, что исполнительный орган просто заблаговременно внес в черный список всех провайдеров электронной почты.

Спустя несколько дней они наконец-то опомнились и создали почтовый ящик на Яндексе. Мы тоже отправили ему сообщение с тем же требованием, но на сегодняшний день у нас все еще нет ответа. Мы также ничего не получили от РОЦИТ (Региональный центр Интернет-технологий) и РАЭК (Российская ассоциация электронных коммуникаций), хотя на их сайтах упоминается об успешных переговорах с Роскомнадзором.

Такой же диалог у нас был с интернет-провайдерами, особенно с крупными. В большинстве случаев это было примерно так:

- Почему сайт недоступен?
- Мы не имеем к этому никакого отношения, обновите браузер, обратитесь к своему хостинг-провайдеру.
- Но это доступно с VPN. Это означает, что с браузером все в порядке, и провайдер также не несет за это ответственности.
- У нас больше нет рекомендаций для вас.
- А вам доступен mkdev.me?
- Нет, это не так.
- Почему?
- Удачи.

Некоторые из них действительно признали, что сайт был недоступен из-за кампании блокировки Telegram. Однако они не смогли предоставить решение суда, запрещающее нашу службу.

Перевод:

Добрый вечер! Ваша заявка обработана. Сайт недоступен в полной мере, так как он использует веб-сервисы, заблокированные из-за факта кампании блокировки Telegram, которая проводится по решению суда.Веб-сайты (а также IP-сети, подсети и т. Д.), Подлежащие блокировке, определяются Роскомнадзором, и наша компания, как поставщик услуг связи, обязана блокировать такие веб-сайты.

Если у вас возникнут дополнительные вопросы, ответьте на это сообщение.

Спасибо, что выбрали Билайн!

Кейтеринг по вашему желанию, Дарья Шевцова

----- Предыдущее сообщение ----- Пользователи Билайн не могут войти на https://mkdev.me/

Прошло 3 дня.

Похоже, провайдеры либо маскировали сделки Роскомнадзора, либо вели себя непрофессионально (а может, боялись, что их подадут в суд?).Разговор был плодотворным только с небольшими региональными компаниями.

Перевод:

Добрый день!

Сеть, к которой принадлежит ваш домен (18.194.0.0/15), была заблокирована постановлением Генпрокуратуры 2018-14-16 14:17:32.

Провайдеры связи обязаны блокировать сайты и IP-адреса из Единого реестра запрещенных интернет-ресурсов в соответствии с Федеральным законом от 27 июля 2006 г. № 149.

С уважением,

Техническая поддержка VGS

———

Добрый день!

Спасибо за вашу приверженность этому вопросу. Мы готовы помочь вам, чем сможем. В Интернете есть информация…

Через две недели после бана нам так и не сообщили причину и официального заявления. Мы абсолютно уверены, что получим ответ в суде, но это займет много времени. С тех пор трафик из России снизился на 60%, а материальные потери и ущерб репутации растут.

В конце концов мы поняли, что не стоит безнадежно ждать правосудия. И мы решили подумать, как решить наши проблемы техническими средствами.

Несколько слов об инфраструктуре mkdev

Здесь, в mkdev, мы не просто пользуемся парочкой сервисов AWS. Вся инфраструктура находится в облаке Amazon. Более того, mkdev не может обойтись без EC2, RDS, S3, CloudWatch, CloudFrount, SES и SNS. Поскольку mkdev де-юре немецкое предприятие, мы используем Франкфуртский регион AWS (eu-central-1) в качестве центра обработки данных и не можем просто переместить все наши данные и серверы в какую-либо другую страну.

Перенос инфраструктуры в другую страну или к другому провайдеру Интернет-услуг также бессмыслен, потому что блокировка настолько грубая, что от нее практически невозможно избавиться. Они просто блокируют все IP-адреса во всех подсетях. Как вы уже могли заметить, список этих адресов постоянно растет. Нет гарантии, что после того, как мы перенесем наш дата-центр в другое место, Роскомнадзор тоже не заблокирует его со всеми его IP-адресами. Мы не хотели тратить свое время и деньги на переезд, чтобы нас снова заблокировали, это не имело смысла.

Хотя мы не можем полностью избавиться от блокировки, есть несколько способов ее обойти. Но сначала поговорим об IPv6.

Почему IPv6 не может помочь с блокировками Роскомнадзора

Исполнительный орган блокирует только адреса IPv4. Так что теоретически вы можете, наконец, начать использовать IPv6. Проблема в том, что он должен быть и у сервера сайта, и у конечного пользователя. Как оказалось, в России довольно низкая доступность IPv6. Поэтому нам не было смысла переходить на IPv6, поскольку провайдеры наших клиентов, возможно, еще не сделали то же самое.

Но мы все равно получили IPv6-адрес, хотя сейчас он нам и не нужен, но это уже другая история. Продолжаем говорить о нашем окончательном решении.

Почему еще можно обойти бан

Некоторые говорят, что в какой-то момент Роскомнадзор заблокировал 1% всех IP-адресов. Может показаться, что это много, но отчасти это правда. Но давайте не будем забывать о том, что 99% все еще доступны, в том числе миллионы адресов AWS.

Если бы у нас была возможность получить публичный адрес, не заблокированный в России, и сервер, не ограниченный блокировками (любой, кто не находится в России), мы могли бы маршрутизировать весь трафик через этот промежуточный сервер.И вот так мы обошли запрет.

Шаг 1. Ищем адреса, не заблокированные Роскомнадзором

Нам для начала нужен тот самый незаблокированный адрес. Проверить, заблокирован ли адрес, можно на специальной странице на сайте Роскомнадзора. Если вам нужен список запрещенных подсетей, вы можете просто погуглить.

К счастью для нас, 28 апреля исполнительный орган разблокировал две основные подсети AWS. Но с другой стороны, немецкий регион AWS не входил в эти две подсети.Amazon публикует все свои текущие диапазоны IP-адресов в Интернете. Мы немного просмотрели список и нашли регионы с нужными IP-адресами. К сожалению, большинство из них находилось в Японии и США, но нам этого хватило, чтобы сделать ход.

Мы выбрали Японский регион и начали играть в какие-то игровые автоматы, пытаясь получить нужный адрес. Мы искали эластичный IP-адрес, который всегда мог быть доступен только нам. Запрос AWS генерирует случайные EIP, поэтому получение необходимого - лишь вопрос удачи.Или наши навыки программирования.

Поскольку AWS API подходит практически для всего, мы создали небольшой скрипт, который выполняет бесконечно длинные запросы адресов, проверяет, являются ли результаты частью необходимой подсети, и освобождает их, если это не так. Скрипт настолько прост, что нам неловко его показывать, но мы все равно будем:

  требуется 'aws-sdk-ec2' ec2 = AWS :: EC2 :: Client.new пока правда sleep 2 # Не превышать лимит запросов API resp = ec2.allocate_address ({ домен: "vpc", }) ip = соотв.public_ip alloc = соответственно allocation_id ставит ip # Здесь запускается одна из подсетей, не заблокированных в России. если ip.start_with? ("54.170") ставит "Win!" перерыв еще ec2.release_address ({ allocation_id: alloc, }) конец конец  

Поигравшись со скриптом, мы получили нужный нам неблокированный адрес. Что ж, могло случиться так, что все адреса были заняты другими клиентами AWS, так что это был только вопрос удачи. И нам повезло.

Небольшое замечание: здесь мы говорим об AWS и о том, как найти нужный адрес в их дата-центрах.Но само решение предназначено не только для Amazon. Вам просто нужен сервер с незаблокированным публичным адресом. Если вы найдете его в Digital Ocean, Google Cloud, Azure или где-нибудь еще, это тоже здорово. Нам удобнее иметь инфраструктуру и оплачивать ее в одном месте, но если все EIP-адреса Amazon Web Services однажды будут заблокированы, мы просто переместим наш туннель в другое место.

Шаг 2. Настройка серверного туннеля

После того, как мы запустили сервер и назначили ему IP-адрес, нам нужно было настроить его таким образом, чтобы он передавал весь трафик на главный сервер mkdev.Есть несколько способов сделать это, а может быть, и десятки. Я расскажу только о двух из них: один безумно простой, а другой немного сложнее.

Способ 1: переадресация портов на третьем уровне OSI

Самый простой способ - перенаправить трафик на третий уровень OSI. Во всех современных дистрибутивах Linux вам просто нужно ввести несколько команд:

  echo "net.ipv4.conf.all.forwarding = 1" >> /etc/sysctl.conf sysctl -p firewall-cmd --permanent --add-masquerade firewall-cmd --permanent --add-forward-port = port = 80: proto = tcp: toport = 80: toaddr = TARGET_IP firewall-cmd --permanent --add-forward-port = port = 443: proto = tcp: toport = 443: toaddr = TARGET_IP firewall-cmd --reload  

Этого будет достаточно, чтобы весь трафик, отправляемый на прокси-сервер, был перенаправлен на реальный сервер, на котором размещен сайт.Но дело в том, что нужно отслеживать исходные IP-адреса клиентов. Как правило, они хранятся в заголовке HTTP, таком как X-Forwarded-For или X-Real-IP. Поскольку мы пересылаем трафик на этом уровне без каких-либо HTTP-заголовков, мы не можем уведомить целевой сервер об IP-адресе клиента.

Что в этом плохого? Что ж, наш веб-сайт будет принимать весь трафик, как если бы он поступал с одного IP-адреса (одного из наших прокси), и это не очень круто.

Нет никаких сомнений в том, что мы можем настроить прокси-сервер по-другому, мы можем просто отключить функцию маскирования и использовать прокси для всего трафика между клиентом и веб-сайтом.Для этого нам нужно настроить маршрутизацию так, чтобы все пакеты трафика проходили через прокси. Но мы не хотим этого для всего трафика, только для трафика из России. Вот почему нам нужно поговорить о втором способе - полнофункциональном прокси с nginx в качестве основной части.

Способ 2: прокси с nginx

В этом случае вам нужно настроить прокси-сервер nginx и заставить его перенаправлять весь трафик на сервер, на котором размещен веб-сайт. Вам также необходимо уведомить об этом упомянутый сервер и показать ему, откуда взять реальный IP клиента.

Конфигурация прокси может выглядеть так:

  stream { server { слушать 443; proxy_pass TARGET_IP: 8443; proxy_protocol включен; } } http { log_format main '$ remote_addr - $ remote_user [$ time_local] "$ request"' '$ status $ body_bytes_sent "$ http_referer"' '"$ http_user_agent" "$ http_x_forwarded_for"'; access_log /var/log/nginx/access.log main; отправить файл; tcp_nopush on; tcp_nodelay on; keepalive_timeout 65; types_hash_max_size 2048; включить / etc / nginx / mime.типы; default_type application / octet-stream; server { слушаем 80 default_server; слушать [::]: 80 default_server; название сервера _; расположение / { proxy_pass http: // TARGET_IP; proxy_set_header Host $ host; proxy_set_header X-Real-IP $ remote_addr; proxy_set_header X-Forwarded-For $ proxy_add_x_forwarded_for; } } }  

Также необходимо настроить конфигурацию на сайте nginx-server:

  сервер { слушайте 443 ssl; слушать 8443 ssl proxy_protocol; #.... add_header Cache-Control общедоступный; set_real_ip_from PROXY_IP; real_ip_header proxy_protocol; # ... }  

Позвольте сказать, что это не идеальная конфигурация, а самая грубая и самая быстрая. Вы можете использовать его в качестве справочника при реализации своего собственного.

Эта конфигурация заставит nginx перенаправлять весь трафик, а целевой сервер сможет получить реальный IP-адрес клиента от proxy_protocol. В конце концов, этого будет более чем достаточно. Остался еще один шаг: DNS.

Шаг 3. Настройка DNS

Мы хотим, чтобы весь клиентский трафик, кроме трафика из России, шел прямо на наши серверы mkdev. Мы также хотим направлять трафик наших российских клиентов через IP-адрес нашего прокси, когда они заходят на mkdev.me. Route53 может сделать это без проблем, используя политику маршрутизации геолокации. Мы просто указываем, какой адрес следует использовать нашим российским клиентам, а какой - другим. В результате россияне переходят на прокси-сервер, а весь остальной мир идет напрямую на mkdev.

Вот и все?

В основном да. Мы выполнили шаги, настроили простейший прокси nginx, и теперь mkdev снова работает в России. Если наш прокси-IP заблокируется еще раз, мы всегда сможем найти другой и перейти на него.

Что важно, прокси-сервер не должен находиться слишком далеко от основных серверов. Первоначально мы пытались установить сервер в Токио, но это ухудшало скорость отклика. Поэтому после быстрой проверки концепции мы переместили его в Париж.

Так что, если ваш сервис был заблокирован Роскомнадзором или другим официальным органом, не волнуйтесь! Есть несколько способов обойти блокировку.Вам обязательно нужно будет начать официальное расследование, но это может занять несколько недель, и вам понадобится ваша услуга, доступная прямо сейчас.

Выводы, к которым мы пришли после блока

Есть одно, и оно довольно обидно: нам больше нет смысла ориентироваться на российский рынок. В какой-то момент группа людей, не полностью осознающих свои действия, может просто пресечь ваш бизнес на корню или хотя бы серьезно навредить ему, а мы не готовы работать в таких условиях.Мы всегда будем предоставлять свои услуги российским клиентам, но после того, что случилось, мы отдадим предпочтение каким-то другим рынкам.

Быстрое обновление: вся эта история произошла в апреле 2018 года. Примерно в июле 2018 года наш основной IP-адрес был наконец разблокирован, и мы могли временно отказаться от прокси. Мы все же решили перевести эту статью и поделиться ею с более широкой аудиторией, потому что кто знает, кто и когда заблокирует ваш бизнес таким образом, и когда вам понадобятся некоторые быстрые технические советы для решения проблемы.

.

Блокировка Telegram и цифровое сопротивление Павла Дурова

Ситуация вокруг блокировки Telegram продолжает накаляться, и бизнес принимает неожиданный поворот. Роскомнадзор, видимо, решил напугать не только Дурова, но и другие интернет-проекты, поскольку массово блокирует все без разбора, а сам создатель Telegram готов за его поддержку выделить миллионы долларов в биткойнах. Что все это значит и как обстоят дела сейчас?

Массовые замки Роскомнадзора

С 16 апреля вступил в силу приговор Таганского суда Москвы, но Telegram почему-то работает в прежнем режиме.Как Роскомнадзор блокирует сайты? Эта организация ведет реестр запрещенных к отображению сайтов, который она регулярно обновляет. Интернет-провайдеры обязаны блокировать доступ к этим сайтам для своих пользователей. Блокировка в этом случае может осуществляться конкретно по домену или по IP-адресу - в первом случае блокируется конкретный сайт, во втором - все сайты по указанному ip, что не очень удобно и совершенно нечестно.

В связи с тем, что все сторонники блокады - депутаты, Роскомнадзор, суд и другие - не вникали в суть своего требования, на практике его реализация оказалась затруднительной.Приговор еще не вынесен, так как невозможно заблокировать все серверы, которые использует Павел Дуров. А поскольку Telegram может использовать разные IP-адреса и их легко изменить, то нанести точечный удар Telegram невозможно. И хотя блокировки «тележки» мало, но на других ее сайтах и ​​сервисах явно чувствуется, что Дурова тут ни при чем.

Отслеживая IP-адреса Telegram, Роскомнадзор блокирует их, но поскольку адреса забанены блокировкой, все сайты, которые на них расположены, блокируются от него.Ситуация дошла до абсурда, потому что работа ужасного отдела не вышла из-под украшений - миллионы сайтов попали в немилость, а Telegram жив-здоров и вроде бы чувствует себя хорошо.

По последним данным, Роскомнадзор за счет Telegram заблокировал около 18 миллионов IP-адресов, и это самая большая блокировка в истории. От действий агентства пострадали Google и Amazon, социальные сети и онлайн-игры. На этот раз активность подписчиков русскоязычных каналов в Telegram увеличилась на 30 миллионов просмотров.

Почему в Telegram нельзя заблокировать?

По мнению экспертов, у Роскомнадзора очень мало шансов полностью заблокировать Telegram. Это больше похоже на борьбу с ветряными мельницами: только агентство блокирует фактические IP-адреса для Телеграфа, поскольку Дуров переходит на новые. Это может продолжаться бесконечно, потому что с не телепортирующимися адресами блокировка будет снята, и мессенджер сможет снова переключиться на них. Ситуацию для Роскомнадзора усугубляет то, что переключение на новый адрес займет около минуты, а ведомству потребуется не менее часа, чтобы заблокировать его.Эти переходы по адресам сделаны для того, чтобы пользователи могли пользоваться мессенджером без применения VPN и не испытывали неудобств в работе с ним.

Точно так же специалисты утверждают, что вполне вероятно изобретение Дурова и других способов обхода блокировки - это лишь вопрос финансов, которые разработчик готов потратить на свое сопротивление Роскомнадзору. По предварительным оценкам, такие действия могут стоить очень дорого и требовать до 1 миллиона долларов в день.Если вспомнить, что не так давно через ICO разработчик привлек $ 1,7 млрд., То можно смело сказать, что Дуров в этом плане всемогущ.

Есть отдельные мнения, что такие большие деньги не потребуются и, в целом, в настоящее время команда Telegram разрабатывает протокол peer-to-peer. В случае его реализации Дурову больше не понадобятся сторонние серверы и какие-либо IP-адреса, так как пользователи сами будут выполнять роль узлов - пока в сети Telegram есть хотя бы один пользователь, вся система будет существовать.

На данный момент Павел Дуров действует по другой схеме и предоставляет информацию о новых серверах посредством push-уведомлений, к которым пользователи могут легко подключиться. Роскомнадзор не может предотвратить возможность отправки таких уведомлений. Единственный риск, который существует сейчас, - это удаление приложения Telegram из App Store и Google Play. Возможно ли, на данный момент затрудняюсь ответить, отдел может требовать только вывоз из российских магазинов, и неясно, какую позицию займут эти крупные маркетплейсы.И в этом случае Telegram не исчезнет, ​​но установка и обновление будут затруднены, а это значит, что некоторые пользователи просто переключатся на другие мессенджеры.

Цифровое сопротивление и денежные гранты от Павла Дурова

Дуров не ограничился только обеспечением стабильной работы мессенджера, несмотря на блокировку. Разработчик затеял нечто большее, и это смело можно назвать настоящей войной с Роскомнадзором. Хотя Павел Дуров отмечает, что российские пользователи составляют всего 7% рынка Telegram, что не является значительным процентом от общей аудитории, но по личным причинам, команда проекта продолжит борьбу за российский рынок.Причина тому - ущемление цифровой свободы пользователей и для Дурова стало делом принципа противодействия абсурдным действиям чиновников.

В поддержку свободы Интернета основатель Telegram организовал так называемое «цифровое сопротивление», целью которого является защита прав пользователей Интернета и устранение препятствий, мешающих прогрессу. Дуров не только выдвинул идею, но даже придумал символический логотип, который уже разошелся по мемам в Интернете.

Движение Дурова за свободу Интернета - не пустые слова.С тех пор, как Роскомнадзор начал борьбу с прокси-серверами и VPN, распространив требование на их блокировку за экстремизм и беспорядки (как надзорный орган обозначил поддержку Telegram), Павел Дуров встал на защиту этих сервисов. Администрация ресурсов разработчика «Тележка» готова оказать финансовую поддержку и в течение года на эти цели планирует выделить миллионы долларов в биткойнах.

Что касается Роскомнадзора, то агентство сильно пострадало от блокады Telegram, на официальный сайт надзорного органа были проведены многочисленные Ddos-атаки, что даже на время парализовало работу ресурса.Кто был инициатором этих нападений, остается неизвестным, замешаны сам Дуров и его сторонники.

Можно ли заблокировать Telegram?

Как и ожидалось, мировая общественность не промолчала, а действия Роскомнадзора подверглись критике напрасно - свой вердикт высказали не только отдельные лица, такие как Сноуден, и ООН. Общественные деятели осудили действия агентства, назвав их цензурой, непониманием важности надежного шифрования и попыткой взломать весь Интернет.Российские депутаты в многочисленных интервью отвечали, что не видят проблем в блокировке Telegram, не считают такие действия нарушением чьих-либо прав и свобод и в целом настроены очень оптимистично.


Напрашивается вопрос: реально ли в нынешних обстоятельствах как-то заблокировать Telegram? В прямом смысле слова это, скорее всего, невозможно, но Роскомнадзор может использовать самые разные методы для сокращения количества пользователей. Если говорить о полном прекращении доступа пользователей к мессенджеру, то это возможно только в том случае, если весь интернет заблокирован и вы можете подключиться только к определенному списку «белых» сайтов.

Во всей этой истории есть один маленький, но важный нюанс. После появления информации о блокировке «тележки» началось активное продвижение отечественного мессенджера «Там там», который полностью копирует проект Дурова и к тому же гордо называет себя «убийцей Telegram». Разработчик приложения - Mail.ru и на днях о мессенджере было много явно заказных публикаций на крупных новостных ресурсах и даже в громких печатных изданиях.Стоит отметить, что в мессенджере прямо указано, что содержимое переписки передается третьим лицам и не имеет конфиденциальности. В условиях активной рекламы малоизвестного «Там Там» блокировка Telegram приобретает новый смысл. Но ничего не скажем, развитие ситуации расставит все по своим местам.

Степень конфликта между свободолюбивым посланником и государственным контролирующим органом продолжает расти. Сложно представить, какого масштаба это достигнет, потому что стороны твердо стоят на своих позициях и не собираются сдаваться, равно как и выбирать методы.В этой ситуации не только разработчик, не желавший подчиняться законам, вступил в контакт с органом, выполняющим свою работу, - борьба идет между свободой слова и цензурой, конституционными правами человека и их нарушением. Стоит отдать должное Павлу Дурову, который в очередной раз доказывает, что человек может противостоять системе, а для отстаивания своей позиции есть масса средств и методов, главное не сдаваться и не сдаваться перед жизненными трудностями. , даже если у вас очень сильный и мощный противник.

19 апреля 2018 г. .

Смотрите также

Поделиться в соц. сетях

Опубликовать в Facebook
Опубликовать в Одноклассники
Вы можете оставить комментарий, или ссылку на Ваш сайт.

Оставить комментарий