Сохранить сайт как целиком


Как скопировать сайт целиком и бесплатно

Первым и самым простым способом сделать копию веб-сайта считается использование браузера. В любом браузере есть возможность сохранения веб-страниц ресурса на жесткий диск компьютера или ноутбука. Этим же способом вы можете скачать понравившийся вам сайт себе на флешку и просматривать его офлайн.

Для того чтобы скопировать необходимый web-ресурс вам не нужно обладать знаниями программиста или навыками web-разработчика. Все очень просто, вам достаточно использовать стандартную возможность, которая встроена в каждый браузер. Во всех интернет-навигаторах есть операция сохранения страниц.

Как в браузере сделать копию страницы сайта?

Для того, чтобы скачать web-страницу ресурса нажмите комбинацию клавиш «Ctrl»+«S», либо кликните правой кнопкой мыши на сайт и вызовите контекстное меню, где выберете операцию «Сохранить страницу как». Далее вам нужно будет выбрать каталог для сохранения файлов и указать, как стоит сохранить страницу на ПК.

Важно отметить, что для того чтобы скопировать веб-сайт правильно, вам потребуется выбрать опцию, позволяющую сохранить страницу полностью, а не только ее HTML-версию. В этом случае копия веб-страницы будет содержать, как HTML-файл, так и все относящиеся к нему изображения, скрипты, стили и другие важные документы.

Плюсы копирования web-ресурса в браузере

Безусловно, главными плюсом этого метода копирования интернет-ресурса является его бесплатность. Вам не нужно покупать программы и пользоваться услугами онлайн-сервисов, фрилансеров и web-разработчиков. Достаточно открыть любой браузер и попробовать своими руками скопировать понравившийся сайт.

Соответственно вторым и последним преимуществом создания клона web-сайта будет его доступность, так как браузер есть у каждого. Но, как вы понимаете, если бы все было так просто, то не существовало бы других способов создать дубликат сайта. Дело в том, что этих плюсов всего два, а вот минусов, конечно, гораздо больше.

Минусы при клонировании сайта через браузере

К главному минусу можно отнести то, что при таком способе клонирования ресурса, скачиваются в основном те файлы, которые есть в HTML-файле. Файлы, загружаемые динамически, остаются незамеченные браузером и не сохраняются. Это приводит к тому, что часть web-сайта может не работать или отобразится неправильно.

Вполне возможно, что при сохранении интернет-страницы, некоторые скрипты, отвечающие за подключение стилей и в целом за дизайн, сразу же перестанут функционировать. В этом случае верстка web-ресурса будет испорчена, а некоторые его блоки станут отображаться некорректно из-за ошибок в коде.

Если вы копируете одностраничный сайт, например, Лендинг Пейдж, то это не займет много времени. Но если ресурс многостраничный, к примеру со статьями, новостями или интернет-магазин с каталогом продукции, то постраничное сохранение отнимет у вас часы, а то и дни. Это будет еще одним недостатком копирования в браузере.

Другим важным минусом копирования через браузер является то, что формы обратной связи также перестают работать, так как требуют наличие исполнительных PHP-файлов. Эти файлы отвечают за отправку заявок и сообщений на email, и при всем желании скачать их у вас не получится, они работают только на стороне сервера.

Тоже самое касается и административной панели для самостоятельного управления контентом сайта или другими словами «админки». Если у сайта и есть такая CMS-система, то скопировать ее через браузер или любым другим способом у вас не получится. Ее необходимо будет устанавливать и настраивать отдельно.

Как загрузить полную веб-страницу для чтения в автономном режиме

Бывают случаи, когда вы хотите сохранить веб-страницу для использования в автономном режиме. Возможно, у вас нестабильное подключение к Интернету или вы намеренно пытаетесь сократить время, проводимое в Интернете. Возможно, вы захотите сохранить веб-страницу, прежде чем она будет удалена. Или вы столкнулись с чем-то, что просто не можете не сохранить для дальнейшего использования.

Используйте следующие методы для сохранения веб-страниц для чтения в автономном режиме, чтобы вы могли держать свои любимые веб-страницы под рукой, когда они вам больше всего нужны.

1. Сохранить веб-страницу в Firefox

Все основные браузеры имеют возможность сохранять веб-страницы целиком. Это простая работа в один клик, и вот как это делается.

В Firefox нажмите кнопку Меню > Сохранить страницу . Откроется диалоговое окно Сохранить как .

В диалоговом окне Сохранить как введите имя страницы, которую вы хотите сохранить, и выберите место.В раскрывающемся списке Format выберите тип файла, в котором вы хотите сохранить страницу.

  • Веб-страница, полная
  • Веб-страница, только HTML
  • Текстовые файлы
  • Все файлы

Выберите веб-страницу , заполните , если вы хотите сохранить всю веб-страницу вместе с изображениями.В большинстве случаев это сохраняет внешний вид без изменений, но может не сохранять структуру ссылок HTML исходной страницы или какие-либо элементы на стороне сервера. Firefox создает новый каталог, в котором сохраняется страница, для сохранения изображений и других файлов, необходимых для отображения всей веб-страницы.

2. Сохранение веб-страниц в Chrome

Chrome также имеет опцию Сохранить как (работает так же, как Firefox).Вы можете получить к нему доступ из Меню > Дополнительные инструменты> Сохранить страницу как . Чтобы ускорить процесс, используйте сочетание клавиш ( Command + S на Mac и Control + S в Windows).

3.Используйте расширение WE для страницы сохранения

Вы можете сделать процесс проще и надежнее с помощью расширения.Страница сохранения WE работает как в Google Chrome, так и в Firefox. После установки просто щелкните значок расширения на панели инструментов, чтобы мгновенно загрузить всю веб-страницу в одном файле HTML (вместе со всеми ресурсами, такими как изображения, реклама и форматирование).

Если вам нужен больший контроль над процессом, щелкните правой кнопкой мыши значок расширения, чтобы изучить альтернативные методы загрузки, такие как Сохранить базовые элементы , Сохранить стандартные элементы и Сохранить настраиваемые элементы .

Загрузить: Сохранить страницу WE для Google Chrome | Firefox

4.Список чтения Safari на Mac

Хотя функция списка чтения Safari - одна из наиболее удобных реализаций для чтения в автономном режиме, ее использование на первых порах может быть немного запутанным. По умолчанию вам необходим доступ в Интернет для загрузки статей, сохраненных в списке для чтения.

safari-reading-list

Итак, сначала откройте Preferences , перейдите на вкладку Advanced и включите функцию Сохранять статьи для автоматического чтения в автономном режиме , чтобы убедиться, что все статьи в списке для чтения доступны для автономного использования.

Чтобы добавить страницу в список для чтения, щелкните маленький значок + рядом с полем URL.

Чтобы читать из Списка для чтения, нажмите кнопку боковой панели , а затем значок Списка для чтения , который напоминает пару очков.Чтобы скрыть список, нажмите кнопку боковой панели еще раз.

Safari использует iCloud, чтобы ваш список чтения был одинаковым на всех ваших компьютерах Mac и устройствах iOS, на которых Safari включен в настройках iCloud.Это означает, что ваш список чтения будет синхронизироваться между вашим Mac и iPhone.

5. Список чтения Safari на iPhone

Вы найдете функцию «Список для чтения» на нижней панели инструментов приложения Safari.Чтобы добавить статью в список чтения, откройте ее, нажмите кнопку Поделиться и выберите Добавить в список чтения . Опять же, Safari по умолчанию не сохраняет статьи из списка чтения для просмотра в автономном режиме.

Чтобы включить эту функцию, перейдите к Настройки > Safari > Автоматически сохранять автономно .

Теперь нажмите на значок Book на панели инструментов Safari и выберите вкладку Reading List сверху. Теперь нажмите на любую сохраненную статью, чтобы прочитать ее.

6.Сохранение полных веб-страниц в формате PDF

Если вы хотите сохранить веб-страницу таким образом, чтобы ее можно было легко использовать на любой платформе, выберите путь PDF.Похоже, вы сделали несколько шагов назад. Но учитывайте преимущества: вы можете читать их на любом устройстве и даже аннотировать страницу и мгновенно отправить ее кому-нибудь, а также ее можно распечатать, поделиться ею или просто сохранить в папке для последующего просмотра.

В Интернете вы найдете достаточно инструментов для работы с PDF, но самый простой способ - использовать функцию браузера «Сохранить в PDF».Он доступен во всех основных браузерах, таких как Firefox, Safari и Chrome. Выберите опцию Печать , затем выберите Сохранить как PDF .

Сохранить как PDF - это хорошая функция, но это обходной путь. Когда вы сохраняете страницу в формате PDF таким образом, вы получаете много ненужных элементов, таких как реклама, верхние и нижние колонтитулы, и неизбежно возникнут проблемы с форматированием.В такие моменты лучше использовать такие расширения, как Print Friendly & PDF.

Расширение автоматически удаляет все лишние элементы и придерживается текста статьи.Когда вы нажмете на значок расширения, вы увидите всплывающее окно с урезанным форматированием. Вы также можете удалять элементы по отдельности. Нажмите кнопку PDF , а затем нажмите кнопку Загрузить как PDF , чтобы сохранить статью в формате PDF.

Если вы используете iPhone, используйте приложение для автоматизации ярлыков, чтобы упростить это (научитесь использовать ярлыки с помощью нашего простого руководства).Ярлык Make PDF (найдите его в галерее Gallery ) поможет вам преобразовать любую веб-страницу в PDF.

Когда ярлык установлен и активен, нажмите кнопку Поделиться , выберите Ярлыки , а затем нажмите Сделать PDF .Когда вы увидите предварительный просмотр PDF-файла, нажмите Поделиться , а затем сохраните его в приложении, таком как Apple Books, для использования в автономном режиме.

Загрузить: Версия для печати и PDF для Google Chrome | Firefox

7.Прочитать позже с карманом

Некоторые из рассмотренных нами решений противоречат здравому смыслу. Зачем загромождать жесткий диск лишними файлами, которые находятся на расстоянии гиперссылки? С помощью таких сервисов, как Pocket и Instapaper, можно легко сохранить веб-страницу и вернуться к ней, когда у вас будет больше времени.

В то время как Instapaper популяризировал эту функцию, у нее была тяжелая пара лет. Вот почему мы рекомендуем вам повсеместный сервис Pocket.Расширение «Сохранить в карман» доступно во всех основных браузерах. А как только вы установите приложение Pocket на свой iPhone или телефон Android, вы можете использовать лист общего доступа, чтобы сохранить ссылку из любого приложения прямо в Pocket.

Карманное приложение будет вести список всех сохраненных статей.Сами статьи будут сохранены для чтения в автономном режиме, без форматирования, рекламы и других навязчивых элементов. Используя Pocket, вы получаете больше удовольствия от чтения, даже когда вы отключены от Интернета.

Скачать: Pocket для iOS | Android

Сохранение и загрузка веб-страниц для просмотра в автономном режиме

Приведенные выше методы помогут вам сохранить веб-страницы для использования в автономном режиме.Но вы можете сделать гораздо больше без подключения к Интернету. Зачем останавливаться на веб-страницах?

Если вы хотите закончить чтение или узнать что-то новое, почему бы не сохранить аудиокниги, подкасты или видео для автономного доступа? Есть много приложений, которые могут развлечь вас, даже когда вы не в сети.

Кроме того, существует множество способов читать длинные статьи, не сохраняя и не загружая их.

summer Spotify добавляет звуковые эффекты, чтобы помочь вам пережить лето

Wish You Were Here от Spotify позволяет вам послушать песню, отдыхая на пляже или сидя у костра.

Об авторе

Хамош Патхак - внештатный писатель по технологиям и дизайнер пользовательского опыта. Когда он не помогает людям максимально использовать их текущие технологии, он помогает клиентам разрабатывать лучшие приложения и веб-сайты. В свободное время вы увидите, что он смотрит специальные комедии на Netflix и снова пытается прочитать длинную книгу.Он @pixeldetective в Твиттере.

Подробнее о Хамош Патхак
Подпишитесь на нашу рассылку новостей

Подпишитесь на нашу рассылку, чтобы получать технические советы, обзоры, бесплатные электронные книги и эксклюзивные предложения!

Еще один шаг…!

Подтвердите свой адрес электронной почты в только что отправленном вам электронном письме.

.

Как загрузить весь веб-сайт для чтения в автономном режиме

Хотя в наши дни Wi-Fi доступен повсюду, время от времени вы можете оказаться без него. И когда вы это сделаете, могут быть определенные веб-сайты, которые вы хотите сохранить и получить к ним доступ в автономном режиме - возможно, для исследований, развлечений или для потомков.

Достаточно легко сохранить отдельные веб-страницы для чтения в автономном режиме, но что, если вы хотите загрузить веб-сайта целиком ? Что ж, это проще, чем вы думаете! Вот четыре отличных инструмента, которые вы можете использовать для загрузки любого веб-сайта для чтения в автономном режиме, не требуя никаких усилий.

Доступно только для Windows.

WebCopy от Cyotek берет URL-адрес веб-сайта и сканирует его на предмет ссылок, страниц и мультимедиа.При нахождении страниц он рекурсивно ищет больше ссылок, страниц и мультимедиа, пока не будет обнаружен весь веб-сайт. Затем вы можете использовать параметры конфигурации, чтобы решить, какие части загружать в автономном режиме.

В WebCopy интересно то, что вы можете создать несколько «проектов», каждый из которых имеет свои собственные настройки и конфигурации.Это упрощает повторную загрузку множества разных сайтов в любое время, каждый раз одинаково и точно.

Один проект может копировать множество веб-сайтов, поэтому используйте их с упорядоченным планом (например, «Технический» проект для копирования технических сайтов).

Как загрузить весь веб-сайт с помощью WebCopy

  1. Установите и запустите приложение.
  2. Перейдите в Файл> Новый , чтобы создать новый проект.
  3. Введите URL-адрес в поле Website .
  4. Измените поле Сохранить папку на то место, где вы хотите сохранить сайт.
  5. Поэкспериментируйте с Project> Rules… (подробнее о правилах WebCopy).
  6. Перейдите к Файл> Сохранить как… , чтобы сохранить проект.
  7. Щелкните Копировать веб-сайт на панели инструментов, чтобы начать процесс.

После завершения копирования вы можете использовать вкладку «Результаты», чтобы просмотреть состояние каждой отдельной страницы и / или файла мультимедиа.На вкладке «Ошибки» показаны все возможные проблемы, а на вкладке «Пропущенные» показаны файлы, которые не были загружены.

Но наиболее важным является карта сайта, которая показывает полную структуру каталогов веб-сайта, обнаруженную с помощью WebCopy.

Для просмотра веб-сайта в автономном режиме откройте проводник и перейдите в указанную вами папку сохранения. Откройте index.html (или иногда index.htm ) в своем браузере, чтобы начать просмотр.

Доступно для Windows, Linux и Android.

HTTrack более известен, чем WebCopy, и, возможно, лучше, потому что это открытый исходный код и доступен на платформах, отличных от Windows, но интерфейс немного неуклюжий и оставляет желать лучшего. Тем не менее, это работает хорошо, поэтому не позволяйте этому отвратить вас.

Как и WebCopy, он использует проектный подход, который позволяет копировать несколько веб-сайтов и сохранять их все организованными. Вы можете приостановить и возобновить загрузку, а также обновить скопированные веб-сайты, повторно загрузив старые и новые файлы.

Как загрузить веб-сайт с помощью HTTrack

  1. Установите и запустите приложение.
  2. Щелкните Next , чтобы начать создание нового проекта.
  3. Дайте проекту имя, категорию, базовый путь, затем щелкните Далее .
  4. Выберите Загрузить веб-сайты для действия, затем введите URL-адреса каждого веб-сайта в поле Веб-адреса , по одному URL-адресу в каждой строке. Вы также можете сохранить URL-адреса в файле TXT и импортировать его, что удобно, если вы хотите повторно загрузить те же сайты позже.Щелкните Далее .
  5. Настройте параметры, если хотите, затем нажмите Готово .

Когда все будет загружено, вы можете просматривать сайт как обычно, перейдя туда, где были загружены файлы, и открыв в браузере index.html или index.htm .

Доступно для Mac и iOS.

Если у вас Mac, лучший вариант - SiteSucker . Этот простой инструмент копирует целые веб-сайты и поддерживает ту же общую структуру, а также включает все соответствующие медиафайлы (например, изображения, PDF-файлы, таблицы стилей).

Он имеет чистый и простой в использовании интерфейс, который очень легко использовать: вы буквально вставляете URL-адрес веб-сайта и нажимаете Enter.

Одна отличная функция - это возможность сохранить загрузку в файл, а затем использовать этот файл для загрузки тех же файлов и структуры снова в будущем (или на другой машине).Эта функция также позволяет SiteSucker приостанавливать и возобновлять загрузки.

SiteSucker стоит 5 долларов и не поставляется с бесплатной версией или бесплатной пробной версией, что является его самым большим недостатком.Для последней версии требуется macOS 10.13 High Sierra или новее. Более старые версии SiteSucker доступны для старых систем Mac, но некоторые функции могут отсутствовать.

Доступно для Windows, Mac и Linux.

Wget - это утилита командной строки, которая может получать все типы файлов по протоколам HTTP и FTP. Поскольку веб-сайты обслуживаются через HTTP, а большинство файлов веб-мультимедиа доступны через HTTP или FTP, это делает Wget отличным инструментом для копирования веб-сайтов.

Хотя Wget обычно используется для загрузки отдельных файлов, его можно использовать для рекурсивной загрузки всех страниц и файлов, которые можно найти на начальной странице:

  wget -r -p https:  

Однако некоторые сайты могут обнаруживать и предотвращать то, что вы пытаетесь сделать, потому что копирование веб-сайта может стоить им большой пропускной способности.Чтобы обойти это, вы можете замаскироваться под веб-браузер со строкой пользовательского агента:

  wget -r -p -U Mozilla https:  

Если вы хотите быть вежливым, вам также следует ограничить скорость загрузки (чтобы не перегружать пропускную способность веб-сервера) и делать паузы между каждой загрузкой (чтобы не перегружать веб-сервер слишком большим количеством запросов):

  wget -r -p -U Mozilla --wait = 10 --limit-rate = 35K https:  

Wget входит в состав большинства систем на базе Unix.На Mac вы можете установить Wget с помощью одной команды Homebrew: brew install wget (как настроить Homebrew на Mac). В Windows вам нужно будет использовать эту перенесенную версию.

Какие веб-сайты вы хотите загрузить?

Теперь, когда вы знаете, как загрузить весь веб-сайт, вас никогда не поймают без чего-либо для чтения, даже если у вас нет доступа в Интернет.

Но помните: чем больше размер сайта, тем больше загрузка. Мы не рекомендуем загружать огромные сайты, такие как MakeUseOf, потому что вам потребуются тысячи МБ для хранения всех используемых нами мультимедийных файлов.

Лучше всего загружать сайты с большим количеством текста и небольшим количеством изображений, а также сайты, которые не добавляют регулярно новые страницы или не изменяются.Сайты со статической информацией, сайты электронных книг и сайты, которые вы хотите заархивировать на случай, если они выйдут из строя, - идеальный вариант.

Если вас интересуют дополнительные возможности для чтения в автономном режиме, ознакомьтесь с тем, как настроить Google Chrome для чтения книг в автономном режиме.А чтобы узнать о других способах чтения длинных статей вместо их загрузки, ознакомьтесь с нашими советами и рекомендациями.

Изображение предоставлено RawPixel.ru / Shutterstock

TikTok Boss Quits Босс TikTok уволился с работы, поскольку запрет Трампа приближается

Генеральный директор TikTok Кевин Майер уходит в отставку всего за несколько недель до крайнего срока запрета приложения в США.

Об авторе

Джоэл Ли имеет степень бакалавра наук. Кандидат компьютерных наук и более девяти лет профессионального опыта в области написания и редактирования. Он был главным редактором MakeUseOf с 2018 года.

Подробнее о Джоэле Ли
Подпишитесь на нашу рассылку новостей

Подпишитесь на нашу рассылку, чтобы получать технические советы, обзоры, бесплатные электронные книги и эксклюзивные предложения!

Еще один шаг…!

Подтвердите свой адрес электронной почты в только что отправленном вам электронном письме.

.

sharepoint - сохранить семейство сайтов как файл шаблона сайта (.stp)

Переполнение стека
  1. Около
  2. Товары
  3. Для команд
  1. Переполнение стека Общественные вопросы и ответы
  2. Переполнение стека для команд Где разработчики и технологи делятся частными знаниями с коллегами
  3. Вакансии Программирование и связанные с ним технические возможности карьерного роста
  4. Талант Нанимайте технических специалистов и создавайте свой бренд работодателя
  5. Реклама Обратитесь к разработчикам и технологам со всего мира
  6. О компании

Загрузка…

.

Как заблокировать доступ целым странам к вашему веб-сайту


Популярных публикаций на SitePoint сегодня:


Если у вас сайт, то по умолчанию он доступен для всей планеты. Многие веб-сайты просто не имеют отношения к людям из других стран. Таким образом, вы, конечно же, не должны ожидать от них значительного трафика.

Если у вас есть местный книжный магазин и ваш основной рынок сбыта - это местные жители, входящие в ваш магазин, то нет необходимости разрешать другим странам индексировать или тратить пропускную способность на вашем сервере.То же самое может относиться к автомойке, няне или стрижке газонов.

Если у вас есть личный или даже частный веб-сайт, например семейный блог, вы можете по умолчанию сильно ограничить трафик.

Вот скриншот Awstats, говорящий мне, что Китай отвечает за второй по величине объем трафика на определенный веб-форум, которым я управляю. Это только на январь 2015 года.

Хотя вполне возможно, что китайцы найдут содержание форума полезным, на самом деле нет никакого объяснения этой активности.Мы не обслуживаем специально Китай и не рекламируем его для привлечения жителей Китая. Сайт даже не предлагает китайский перевод и не говорит о китайских проблемах.

Я также знаю, что 99% всех попыток взлома пароля пользователя методом перебора исходят с китайских IP-адресов. Приблизительно от 50 до 100 попыток грубой силы «угадать» пароли к легитимным именам пользователей происходят с китайских IP-адресов каждый день на этом сайте.

Разница между 1,9 миллионами страниц и 134 000 страниц довольно большая, и 1.86 ГБ пропускной способности - это еще не конец света. Но когда я знаю, что 99% из них - подделка, боты, взломы методом перебора, сканеры уязвимостей и поисковые роботы, то почему бы мне просто не заблокировать доступ Китая к моему сайту?

Есть несколько причин против блокировки доступа в страны. Очевидный пример - отели. Несмотря на то, что они обслуживают только местных жителей, которые приходят сюда, чтобы остановиться, иностранцы, приезжающие в этот район, будут искать отели до того, как приедут. Тот же аргумент можно использовать для модных ресторанов, курортов, аренды автомобилей, пригородных перевозок и так далее.Вам нужно будет решить (и проверить свою веб-статистику!), Принесет ли вам блокировка определенных стран или нет.

Ниже приведены многие из распространенных способов блокировки стран, с некоторыми плюсами и минусами и примерами кода.

.htaccess

Если вы веб-администратор, возможно, вы знаете, что попытки сделать некоторые вещи (например, заблокировать целые страны через .htaccess) - проигрышная игра. Легальные хакеры используют прокси или бот-фермы для выполнения своей грязной работы. Тот факт, что IP-адрес из Китая, не означает, что его блокировка в конечном итоге принесет пользу.

Веб-администраторы редко блокируют IP-адрес просто потому, что этот IP-адрес однажды сделал непослушные вещи. Настоящий хакер не будет использовать свой личный IP-адрес, и нет гарантии, что IP-адрес всегда останется у недобросовестного пользователя.

Легальные пользователи тоже могут использовать прокси! Имейте в виду, что если вы заблокируете неплохую страну только потому, что считаете, что она не имеет отношения к вашему трафику, у вас могут быть пользователи, использующие прокси или VPN в этой стране.

Это также проигрышная игра, потому что существует более четырех миллиардов IPv4 IP-адресов и нет простого способа разделить их по странам.Другими словами, ваш файл конфигурации .htaccess или Apache (или другой ACL / брандмауэр), вероятно, вырастет до сотен тысяч строк текста, если вы захотите самостоятельно заблокировать страны таким образом. Это непрактично и неэффективно.

Если вы хотите узнать, сколько строк потребуется в .htaccess, чтобы заблокировать страну, попробуйте использовать ip2location. Чтобы заблокировать США, вам нужно более 150 000 строк текста!

Суть в том, что не используйте .htaccess или конфигурацию Apache или любой другой ACL веб-сервера, чтобы пытаться заблокировать страны.Это может быть хорошо для нескольких IP-адресов, но эти файлы читаются на каждый запрос и не кэшируются; рано или поздно тебе будет больно.

СОВЕТ

: если вы все равно заинтересованы в использовании маршрута .htaccess и хотите получать точный, «прямо из источника», ежедневно обновляемый список IP-адресов по странам, вы можете начать с чтения того, что этот парень сделал для автоматизации. .

Фактический код для блокировки IP-адреса с помощью .htaccess может быть таким простым:

  Заказ запретить, разрешить Запретить с 1.1.1.1 Запретить с 2.2.2.2 Запретить с 3.3.3.3  

С помощью этого инструмента можно сгенерировать код.

Вы можете получить гораздо более продвинутый вариант, например, ограничение на основе используемого протокола, но это основная идея. Ваш файл .htaccess выйдет из-под контроля!

Использовать хостинговую компанию, у которой есть блокировка как часть встроенных средств управления

Звучит неплохо, но встречается очень редко. Большинство хостинговых компаний предоставляют серверы таким образом, чтобы сделать это функцией, которую они не могут предложить.Два основных типа:

Чистый металл

«Голый металл» или VPS - это машина, которую вы полностью контролируете. От программных брандмауэров до программного обеспечения для хостинга и панелей управления - все в ваших руках.

Это может быть, например, дроплет DigitalOcean или сервер без ОС от InMotionHosting или Rackspace.

Часто, когда вы покупаете "голый металл" или VPS, вы не можете изменить способ маршрутизации серверной части. Я не нашел хоста, у которого блокировка страны включена в план и конфигурацию по умолчанию.В лучшем случае они предоставляют вам базовый брандмауэр для добавления IP-адресов в черные или белые списки.

Виртуальный хостинг

Вы можете настроить сервер с помощью панели управления Plesk или cPanel. Это просто панели управления для работы с базами данных, электронной почтой, резервными копиями и многим другим. Общий сервер обычно поставляется с панелью управления, но вы не можете включить сетевые элементы управления, которые затем повлияют на другие веб-сайты, размещенные на общем сервере с тем же IP.

В лучшем случае панель управления позволит вам легко добавить IP-адреса в брандмауэр или разрешить редактирование.htaccess, но я не встречал ни одного с элементами управления одним щелчком для блокировки трафика по странам.

Вот мой блокировщик IP cPanel:

Короче говоря, сама хостинговая компания вряд ли поможет вам в этом, и вы не сможете блокировать IP-адреса через панель управления по одному!

Блокировка страны кажется чем-то, что, как вы думаете, может разрешить веб-хостинг, поэтому я включил эту категорию, но, к удивлению, я не могу найти ни одной, которая поддерживает.

Сети доставки контента

Это не всеобъемлющее решение для всего вашего веб-сайта, но оно частично решает проблему.Если ваш веб-сайт предоставляет статический контент, такой как медиафайлы, изображения или другие файлы, вы можете использовать CDN со встроенными инструментами геолокации, чтобы заблокировать доступ к определенным странам.

Крупный игрок здесь - Amazon CloudFront. Прочтите страницу с подробностями и перейдите к разделу «Географические ограничения». Цитата:

Geo Restriction или Geoblocking позволяет вам выбирать страны, в которых вы хотите ограничить доступ к вашему контенту. Настроив белый или черный список стран, вы можете контролировать доставку своего контента через Amazon CloudFront только в страны, где у вас есть лицензия на распространение.

Большинство хороших CDN будут иметь географические ограничения в той или иной форме. Другой пример - Akamai, который не только разрешает блокировку по коду страны, но вы также можете блокировать на основе их списка стран, на которые распространяется эмбарго США.

Если у вас есть CDN, доставляющий ваш контент, вы, вероятно, не слишком беспокоитесь о пропускной способности (если только вы не платите за это дополнительно в CDN!). Но это помогает и другими способами, например, с лицензированием, если вы не разрешаете просмотр или прослушивание ваших СМИ в определенных странах.

Модули Apache

Вам не нужно заполнять.htaccess с тысячами строк IP-адресов. Вместо этого вы можете установить библиотеку C и модуль Apache, которые сделают за вас тяжелую работу.

MaxMind предоставляет популярную бесплатную базу данных, которая часто используется для поиска IP. Их GeoLite2 - это бесплатная база данных, которая обновляется ежемесячно. Их платный продукт более точен и обновляется чаще, если вам это нужно.

Используя эту базу данных и установив один из их различных API, вы можете обрабатывать трафик так, как считаете нужным.

Для наших целей вам потребуется установить API библиотеки C, а также модуль Apache.(RU | DE | FR) BlockCountry Запретить с env = BlockCountry

Это заблокирует Россию, Германию и Францию. Получите здесь свои двухбуквенные коды стран ISO.

Это будет работать намного лучше, чем если бы вашему серверу приходилось анализировать тысячи строк текста при каждом запросе в файле .htaccess!

Вам нужен расширенный доступ к вашему серверу для установки библиотеки и модуля, так что это бесполезно на общих хостах или там, где у вас нет такого доступа на VPS.

Это также будет работать, если по какой-то причине вам понадобятся определенные правила блокировки на уровне папки.

Уровень приложения

Самая быстрая блокировка произойдет, когда она полностью отключена от вашего сервера, обрабатывается на уровне маршрутизации или отдельными DNS-серверами или прокси-сервером, прежде чем трафик даже попадет на ваш веб-сервер. Следующим по скорости будет программный брандмауэр как часть операционной системы до того, как трафик перейдет к программному обеспечению вашего веб-сервера.

Мы говорили о блокировке на уровне веб-сервера, например, с помощью конфигураций Apache или .htaccess, но теперь мы достигли самого верхнего, 7-го уровня OSI, на уровне приложения.

Вы можете заблокировать на уровне приложения, используя те же API MaxMind, упомянутые ранее. На этот раз вы можете установить PHP, .NET или Perl API, которые помогут вам принимать решения о географическом местоположении прямо в логике вашего приложения.

Это может быть необходимо, если вам нужно принять решение, например, показать другую страницу для разных стран или языков или иметь совершенно разные предложения в зависимости от страны и вам нужно каким-то образом изменить основную логику вашего приложения.

Прочтите это, чтобы получить представление о том, как это делается в PHP.

Это будет один из самых медленных методов, так как вам нужно выполнить поиск по их IP и проверить его, прежде чем ваш код сможет полностью скомпилировать страницу. Умножьте это на тысячи посещений в день, и вы можете столкнуться с некоторым отставанием в производительности, если вы не очень оптимизированы.

Я не предпочитаю делать полную блокировку на уровне приложения. К тому времени, когда человек заблокирован, он уже связался с вашим сервером, отправил некоторые данные, использовал пропускную способность, взял несколько циклов процессора и т. Д.Но в некоторых особых случаях это может быть ровно того метода, который вам нужен.

Блокировка уровня приложений имеет любую вообразимую форму, вы можете найти API и файлы данных для любого языка, который вам нужен. Некоторое предварительно созданное программное обеспечение, особенно программное обеспечение для электронной коммерции, более чем вероятно, имеет встроенные инструменты геотаргетинга, такие как Prestashop. Они изменят такие вещи, как отображаемая валюта, на основе геоданных.

Действительно ли мне приходится иметь дело с API и т.п.?

Конечно, нет! Один из самых крутых способов сделать это на уровне приложения - использовать любое количество доступных (и бесплатных) веб-API.

Например, freegeoip.net отправит вам геоданные, просто обратившись к своему URL-адресу в форме «freegeoip.net/{format}/{IP_or_hostname}», где формат - csv, xml, json или jsonp.

Все, что вам нужно сделать, это получить IP-адрес пользователя, отправить его по URL-адресу и проанализировать ответ! Freegeoip позволяет выполнять до 10 000 запросов в час, но если вам нужно больше, вы можете бесплатно загрузить их сервер и запустить свой собственный сервис!

Вы можете не только получить код страны, но и прочитать город, почтовый индекс, часовой пояс и координаты GPS.

Естественно, этот метод имеет собственное запаздывание, когда вы ждете ответа из совершенно другого домена, но мы здесь не говорим о секундах! Это довольно быстро, и очевидно, что они могут обслуживать 10 000 запросов в час для многих пользователей одновременно, так что это что-то.

Таблицы маршрутизации

Я кратко упомянул блокировку на уровне межсетевого экрана; это, конечно, тоже вариант. Это может быть одно из наименее автоматизированных решений, если вы не опытный администратор сервера.

Это, естественно, снизит накладные расходы на программное обеспечение вашего веб-сервера (например, Apache), и вам также не придется самостоятельно выполнять кодирование на уровне приложения.

Я обычно думаю, что попытки поддерживать таблицы маршрутизации в актуальном состоянии с точными IP-адресами станут головной болью при обслуживании. Я бы не пошел по этому пути, если количество IP-адресов, которые вам нужно заблокировать, не будет минимальным, и вам будет удобно редактировать таблицы брандмауэра и автоматизировать их обновления.

В любом случае, посетите ipdeny.com, где вы можете скачать списки стран в виде файлов зон. Их файл зоны на самом деле представляет собой просто текст с одним адресом CIDR в строке.

Для получения инструкций по использованию iptables и написанию сценария для этого процесса в Linux прочтите это.

Даже при том, что это удаляет некоторые накладные расходы с веб-сервера, наличие тысяч строк, которые нужно обрабатывать в маршрутизаторе, может привести к накладным расходам своего рода. Я считаю, что это действительно не лучший метод.

Однако этот метод имеет другой эффект. Любые заблокированные IP-адреса не просто блокируются для веб-трафика порта 80, но и буквально блокируются для любого доступа к вашему серверу! Другие методы могут заблокировать доступ Китая к вашей веб-странице, но это не помешает им попытаться войти в систему для получения root-прав через SSH!

Эту усиленную безопасность гораздо лучше настроить с помощью модели отрицательной безопасности, просто заблокируйте все , кроме , несколько допустимых точек доступа в вашем маршрутизаторе, вместо того, чтобы пытаться блокировать огромные участки планеты!

Этот метод также не подходит для виртуального хостинга или заблокированных серверов, где вы не можете получить доступ к программам маршрутизации или выполнять массовые обновления для них.

ModSecurity

ModSecurity - это брандмауэр веб-приложений для Apache, IIS и Nginx, предназначенный для защиты от многих типов атак и позволяющий осуществлять мониторинг HTTP-трафика, ведение журнала и анализ в реальном времени.

Вы можете установить и настроить это на голом сервере, если у вас есть навыки! Если у вас есть хост, который предоставляет вам WebHostManager (WHM), вы можете настроить его из интерфейса WHM.

ModSecurity настроен с использованием собственного языка, называемого ModSecurity Rule Language, который предназначен для работы с данными транзакций HTTP.

ModSecurity - это огромная тема сама по себе, с множеством различных форм защиты, которые она может предложить. Однако для наших целей он имеет встроенную поддержку ранее упомянутой базы данных MaxMind для поиска и правил GeoIP.

Вот пример правила ModSecurity для блокировки Китая:

  SecGeoLookupDb /path/to/geo/data/GeoIP.dat SecRule REMOTE_ADDR "@geoLookup" "цепочка, id: 20, drop, msg: 'Заблокировать китайский IP-адрес'" SecRule GEO: COUNTRY_CODE "@streq CN"  

Чтобы это сработало, вы должны обратить внимание на то, какую базу данных MaxMind вы используете, и вашу реализацию ModSecurity.

Если вы используете WHM, вот что вы бы сделали.

Сначала загрузите существующую базу данных стран , которую можно найти здесь. Важно получить устаревшую базу данных в формате * .dat, поскольку модуль Apache ModSecurity пока не может использовать более новый формат * .MMDB.

Более быстрый способ - сначала создать папку для хранения файла базы данных. Я использовал / usr / share / geoip / , что довольно часто.

Используйте эту команду для загрузки файла каждый месяц (он обновляется в первый вторник месяца).

  wget -N http://geolite.maxmind.com/download/geoip/database/GeoLiteCountry/GeoIP.dat.gz  

Многие люди загрузят последнюю версию в среду или четверг на случай, если они не обновят файл.

После загрузки извлеките с помощью этой команды:

  gzip -df GeoIP.dat.gz  

Переключатели говорят ему «сдуть» и перезаписать существующий файл.

Теперь войдите в WHM и перейдите в Центр безопасности-> Конфигурация ModSecurity.Прокрутите вниз до «База данных геолокации» и введите путь сверху.

Вы также можете убедиться, что механизм правил настроен на обработку правил. Затем сохраните изменения.

Затем перейдите в раздел ModSecurity Tools. Вы увидите текущий «Список обращений», показывающий действия, выполняемые любыми активными правилами. Нажмите кнопку «Список правил», а затем нажмите «Добавить правило».

Скопируйте это правило:

  # Проверить IP-адрес и заблокировать по коду страны SecRule REMOTE_ADDR "@geoLookup" "этап: 1, цепочка, id: 10, drop, log, msg: 'Blocking China IP Address'" SecRule GEO: COUNTRY_CODE "@streq CN"  

Установите флажок «Включить правило», а также флажок «Развернуть и перезапустить Apache», а затем «Сохранить».

В кратчайшие сроки вы должны увидеть, что ваше новое правило блокирует некоторый трафик.

Просто убедитесь, что если вы воспользуетесь этим методом, он будет заблокирован для ВСЕХ доменов, размещенных под WHM! Если вы хотите заблокировать только определенные домены, вам потребуется дополнительная настройка. Ни один из моих доменов, размещенных на этом сервере WHM, не требует читателей из Китая, поэтому я решил заблокировать все домены.

Также обратите внимание, что если на вашем WHM нет такого меню, как у меня, возможно, вы не в актуальном состоянии.Убедитесь, что у вас установлена ​​последняя версия, которая сейчас 11.48.0 (сборка 12).

Если у вас нет WHM, вам придется установить и настроить ModSecurity вручную и, вероятно, также использовать другую (не устаревшую) базу данных.

Также…

Вам также следует ознакомиться с предложениями на ConfigServer. У них не только есть собственный продукт для обеспечения безопасности и межсетевого экрана, но он также интегрируется с продуктами cPanel. У них даже есть плагин для WHM / cPanel для дополнительного контроля ModSecurity.

Пространство WAF (брандмауэр веб-приложений) имеет множество опций и само по себе является большой темой. Здесь много претендентов и даже голых металлических приборов, которые выполняют эту работу, например, от Barracuda.

Используйте прокси-службу в своем домене

Наш последний метод заключается в том, чтобы скрыть ваш домен за прокси-службой, которая по сути обрабатывает весь исходный трафик, прежде чем перенаправить его на ваш сервер.

Это работает на уровне DNS, и часто все, что вам нужно сделать, это изменить настройки DNS, чтобы использовать их.

Самым известным игроком здесь будет CloudFlare.

Ваш сайт не только работает через прокси-сервер, но также предоставляет функции безопасности, доставку контента и многие другие элементы управления. Если у вас небольшой (безумно) сайт и вам не требуются их расширенные функции, почти нет причин, по которым вы не должны защищать свой сайт с помощью их полностью бесплатного плана. Подробности смотрите в планах. И я уже упоминал, что они довольно хорошо справляются с атаками DOS?

Они также действуют как обратный прокси-сервер с услугами CDN и обслуживают ваш контент с помощью серверов геотаргетинга.Из-за этого они могут вставлять контент на ваш сайт, например, дополнительную аналитику или различные «приложения», которые вы можете добавить. Примером приложения является приложение «Лучший браузер», которое будет уведомлять ваших пользователей, если они используют устаревший браузер. Они делают это без необходимости кодировать что-либо дополнительно на своем сайте или самостоятельно создавать эту логику.

Нет ничего проще, чем заблокировать страну. Просто войдите в систему и перейдите в «Контроль угроз», затем там, где написано «Добавить собственное правило», начните вводить полное название страны и затем щелкните его в раскрывающемся списке.Нажмите большую красную кнопку «Заблокировать», и все готово!

Заблокируйте любые страны, которые вам нужно, и тогда они появятся в вашем «черном списке».

Это может быть самый быстрый и простой способ включить некоторый уровень защиты, поддержку CDN, обратное кэширование прокси и возможности блокировки страны в домене. Вы можете привязать свой домен к CloudFlare и получить его защиту и настройку примерно за 10 минут.

Я упомяну здесь еще одного игрока, и это Инкапсула.Они делают много того же и напрямую конкурируют с ClourFlare. У них также есть бесплатный план, который вы можете использовать в неограниченных доменах с основными функциями. С CloudFlare вы должны изменить свои записи NS, но Incapsula требует только CNAME, что может лучше соответствовать тому, как обрабатывается ваш DNS.

Если вы серьезно относитесь к использованию прокси-сервисов (и вам все равно следует серьезно об этом подумать), изучите CloudFlare и Incapsula, чтобы выбрать лучший вариант для ваших нужд.

tl; dr - Просто так получилось, что есть довольно глубокий анализ CloudFlare vs.Incapsula против ModSecurity на Slideshare от Zero Science Lab, проверьте это.

Сводная записка о безопасности

Я потратил немного больше времени на ModSecurity и CloudFlare, потому что я склонен полагать, что это ваши лучшие варианты сегодня. Не думаю, что вам стоит возиться с правилами .htaccess или брандмауэра. В некоторых ситуациях могут потребоваться географические ограничения на уровне приложения, поэтому при необходимости это хороший вариант.

В конце концов, вам действительно стоит обратить внимание на CloudFlare, Incapsula и ModSecurity, чтобы обеспечить вам большую степень защиты от сегодняшних атак и проблем с безопасностью.Или посмотрите другие решения WAF.

Когда вы устанавливаете ModSecurity с WHM, существует множество правил по умолчанию, которые начинают защищать вас от вещей, о которых вы даже не задумывались. Например, мой начал блокировать запросы, используя протокол COOK, а не GET или POST. Зачем? Поскольку очевидно, что этот протокол иногда обрабатывается встроенным компилятором в ОС и может использоваться через Интернет. Кто знал? Вероятно, в какой-то момент это был успешный взлом, хотя не уверен, что давно его исправили.

Если вы устанавливаете ModSecurity с нуля, правила по умолчанию не устанавливаются. Чаще всего нужно установить готовый набор правил. Лучшим является набор основных правил OWASP ModSecurity Core Rule Set (CRS). Это защищает от многих известных приемов взлома и плохого поведения, такого как запрос содержимого по протоколу COOK!

Если вы используете ModSecurity, вы должны остерегаться ложных срабатываний. Будьте готовы справиться с ними и следить за заблокированным трафиком, который вы обычно разрешили бы.Следите за журналами на предмет чего-нибудь интересного.

Дополнительная литература

Если вы ищете дополнительную литературу по теме, почему бы не попробовать:

Заключение

У меня не было места, чтобы предоставить точную установку и примеры кода для каждого метода блокировки стран, но я надеюсь, что вы все же нашли что-то полезное.

Есть некоторые веб-администраторы, которые дурачат меня за то, что я вообще предлагаю блокировать страны, но это полностью зависит от вас, и у вас могут быть вполне веские причины делать это на ваших собственных доменах, так что мне все равно!

Я также хотел бы знать, знаете ли вы какие-либо веб-хосты, которые имеют встроенную готовую поддержку географических ограничений без суеты или дополнительных настроек.Я не нашла ничего!

Если я пропустил какие-то приемы, не стесняйтесь поделиться ими. Если вам нужна более подробная статья об использовании определенной техники в конкретной среде, возможно, мы сможем обсудить это на форумах.

.

Смотрите также

Поделиться в соц. сетях

Опубликовать в Facebook
Опубликовать в Одноклассники
Вы можете оставить комментарий, или ссылку на Ваш сайт.

Оставить комментарий