система dpi что это такое
Введение в DPI: Состав системы и схемы подключения
Привет, Хабр! Мы в VAS Experts специализируемся на создании и внедрении сервисов в области контроля и анализа интернет трафика. В нашем блоге мы будем делиться собственным опытом работы и рассказывать о том, как устроены те или иные технологии, имеющие отношение к нашей сфере деятельности.
Глобальный рынок систем глубокого анализа трафика (DPI) в 2013 году оценивался практически в 742 млн долларов США. По прогнозу аналитиков, к 2020 он вырастет более чем в 6 раз и будет оцениваться в 4,7 млрд. DPI-системы в основном применяют интернет-провайдеры и операторы связи, которые стремятся защитить своих абонентов и оптимизировать полосу пропускания до клиента за счет фильтров, приоритетов и кешей.
DPI выполняет анализ всех проходящих через неё пакетов вплоть до 7 уровня модели OSI и распознает приложения, не использующие для обмена данными заранее известные заголовки и структуры. Однако система DPI сама по себе не решает проблемы и задачи, описанные выше. Она взаимодействует с другими устройствами и сервисами сети передачи данных оператора. Об этом сегодня и поговорим.
Взаимодействие с другими системами
Стандарты и спецификации для мобильных сетей не разрабатываются каждым оператором отдельно, этим занимается созданный в 1998 году 3GPP (3rd Generation Partnership Project).
Центральным понятием сетей, построенных по стандартам 3GPP, является PCC (Policy and Charging Control). Решения этого класса позволяют персонифицировать услуги, активно управлять трафиком и качеством обслуживания, используя PCC-правила для принятия PCC-решений. Осуществляет применение этих PCC-правил к трафику функция PCEF (Policy and Charging Enforcement Function). Системы DPI являются частью PCEF, сканируя весь проходящий трафик и применяя к нему требуемые политики.
Однако в схеме имеются и другие элементы, например PCRF (Policy Control and Charging Rules Function) – это решение по применению политик обслуживания абонентов для установления параметров QoS и правил тарификации в зависимости от различных условий. Еще есть OCS (Online Charging System), осуществляющая тарификацию услуг и контролирующая баланс абонента.
Следует отметить систему биллинга, которая хранит базу данных баланса абонентов и предоставляет ее серверу OCS, и репозиторий UDR (User Data Repository), осуществляющий хранение данных пользователей (сервисы, доступные абоненту, параметры QoS и другие). Полный список задействованных компонентов вы можете найти в нашем блоге.
Схемы подключения DPI
Основных схем подключения устройства глубокого анализа трафика к оборудованию оператора здесь две – это так называемая установка «в разрыв» (активная схема) и зеркалирование трафика (пассивная схема).
Схема установки «в разрыв»
Этот вид подключения используется для реализации функционала любой системы DPI. В этом случае система анализа трафика подключается после граничного маршрутизатора в разрыв uplink.
Преимуществом такой схемы является то, что через DPI проходит абсолютно весь трафик. Это позволяет осуществлять приоритизацию, а также настраивать уведомления, кеширование и другие функции. Однако такой тип подключения обладает существенным недостатком: устройство DPI становится точкой отказа – если оно выходит из строя, связь полностью обрывается.
Но есть способы решения этой проблемы:
Зеркалирование трафика осуществляется через SPAN-порты или оптические сплиттеры. При такой схеме возможен анализ истории посещений в реальном времени, переадресация запросов блокировки, кеширование и работа с бонусными программами.
Плюсами этого варианта подключения являются минимальные изменения в структуре действующей сети и отсутствие необходимости использовать bypass-карту. В этом случае есть возможность снимать аналитику с трафика, подключить кеш-сервер и «зеркалить» трафик на оборудование СОРМ, но весь функционал системы DPI реализовать не получится.
Отметим, что оба варианта подключения поддерживает наше решение СКАТ DPI, позволяющее ограничить размер занимаемой полосы по группам протоколов, управлять приоритетом проходящих через него пакетов, блокировать рекламный контент и др. Более подробную информацию о системе вы можете найти по ссылке.
Вместо заключения
DPI-системы, которые появились в результате объединения нескольких более молодых систем фильтрации пакетов (если вам интересно, историю зарождения DPI и информацию о предшественниках решения вы можете найти здесь и здесь), позволили упростить процессы поддержки и администрирования сетей и сайтов, повысили защищенность последних от разного рода атак и расширили область применимости технологий анализа трафика.
Подробно о том, как применяются DPI, мы поговорим в нашем следующем материале. Будем рады вашим предложениям по темам для дальнейшего рассмотрения в блоге.
ИТ База знаний
Полезно
— Онлайн генератор устойчивых паролей
— Онлайн калькулятор подсетей
— Руководство администратора FreePBX на русском языке
— Руководство администратора Cisco UCM/CME на русском языке
— Руководство администратора по Linux/Unix
Навигация
Серверные решения
Телефония
FreePBX и Asterisk
Настройка программных телефонов
Корпоративные сети
Протоколы и стандарты
Что такое технология DPI?
Deep Packet Inspection
Привет, друг! Ты, наверное, слышал аббревиатуру DPI. А как это расшифровывается и что это вообще такое? Это сейчас и узнаем.
Онлайн курс по Кибербезопасности
Изучи хакерский майндсет и научись защищать свою инфраструктуру! Самые важные и актуальные знания, которые помогут не только войти в ИБ, но и понять реальное положение дел в индустрии
Что такое DPI?
Обычно функции глубокой проверки пакетов работают на уровне приложений (Application) модели OSI, в то время как традиционная фильтрация пакетов только сообщает информацию заголовка каждого пакета. Другими словами, традиционная фильтрация пакетов была похожа на чтение названия книги без осознания или оценки содержимого внутри.
Как работает DPI?
DPI проверяет содержимое пакетов, проходящих через заданную точку, и принимает решения в режиме реального времени на основе правил, назначенных компанией, провайдером или сетевым администратором, в зависимости от того, что содержит пакет. До недавнего времени фаерволы не обладали вычислительной мощностью, необходимой для более глубоких проверок больших объемов трафика в режиме реального времени.
Глубокая проверка пакетов может проверить содержимое сообщений и определить конкретное приложение или службу, из которой оно поступает. Кроме того, фильтры могут быть запрограммированы для поиска и перенаправления сетевого трафика из определенного диапазона адресов Интернет-протокола (IP) или определенной онлайн-службы, например, такой как Facebook.
Как используется DPI?
Глубокая проверка пакетов также может использоваться в управлении сетью для оптимизации потока сетевого трафика. Например, сообщение, помеченное как высокоприоритетное, может быть направлено к месту назначения раньше менее важных или низкоприоритетных сообщений, или пакетов, участвующих в случайном просмотре Интернета. DPI также может использоваться для регулирования передачи данных, чтобы предотвратить злоупотребление p2p, что улучшает производительность сети.
Также DPI используется для предотвращения проникновения в вашу корпоративную сеть червей, шпионских программ и вирусов. Кроме того, DPI также можно использовать для расширения возможностей интернет провайдеров по предотвращению использования IoT-устройств при DDOS-атаках путем блокирования вредоносных запросов от устройств. Глубокая проверка пакетов также может предотвратить некоторые типы атак переполнения буфера.
Наконец, глубокая проверка пакетов может помочь вам предотвратить утечку информации, например, при отправке конфиденциального файла по электронной почте. Вместо того, чтобы успешно отправить файл, пользователь вместо этого получит информацию о том, как получить необходимое разрешение и разрешение на его отправку.
Техники DPI
Два основных типа продуктов используют глубокую проверку пакетов: межсетевые экраны, в которых реализованы такие функции IDS (Intrusion Detection System – система обнаружения вторжений), как проверка содержимого, и системы IDS, которые нацелены на защиту сети, а не только на обнаружение атак. Некоторые из основных методов, используемых для глубокой проверки пакетов, включают в себя:
Существуют некоторые ограничения для этих и других методов DPI, хотя поставщики предлагают решения, направленные на устранение практических и архитектурных проблем различными способами. Кроме того, решения DPI теперь предлагают ряд других дополнительных технологий, таких как VPN, анализ вредоносных программ, антиспам-фильтрация, фильтрация URL-адресов и другие технологии, обеспечивающие более комплексную защиту сети.
Недостатки DPI
Ни одна технология не является идеальной, и DPI не является исключением. У нее есть несколько слабых сторон:
Помимо проблем конфиденциальности и внутренних ограничений глубокой проверки пакетов, некоторые проблемы возникли из-за использования сертификатов HTTPS и даже VPN с туннелированием. Некоторые фаерволы теперь предлагают проверки HTTPS, которые расшифровывают трафик, защищенный HTTPS, и определяют, разрешено ли пропускать контент.
Тем не менее, глубокая проверка пакетов продолжает оставаться ценной практикой для многих целей, начиная от управления производительностью и заканчивая аналитикой сети, экспертизой и безопасностью предприятия.
Онлайн курс по Кибербезопасности
Изучи хакерский майндсет и научись защищать свою инфраструктуру! Самые важные и актуальные знания, которые помогут не только войти в ИБ, но и понять реальное положение дел в индустрии
Deep Packet Inspection: Оборудование и применение
Мы в VAS Experts проектируем и внедряем сервисов в области контроля и анализа интернет трафика. В нашем блоге мы решили начать рассказывать об устройстве технологий, связанных с нашей сферой деятельности.
В первых двух материалах мы поговорили о составе системы и схеме подключения, а во втором — о сценариях использования. Сегодня мы посмотрим, какие требования предъявляются к «железу» для полноценной работы систем глубокого анализа трафика, и где такие системы применяются.
/ Flickr / Sean MacEntee / CC
Системы Deep packet inspection (DPI) чаще всего используются для контроля и фильтрации трафика, иногда для блокировки протоколов. С помощью DPI можно отслеживать генерируемые приложениями данные и выбирать соответствующую стратегию действий.
Для работы DPI нужна программная система, установленная на подходящую аппаратную платформу. Только правильно подобранное оборудование и оптимизированное программное обеспечение в связке дадут высокий уровень производительности.
Серверы для DPI
Серверы для DPI обычно похожи на серверы 1U, но в них акцент сделан на сетевые компоненты, а не на оперативную память и жёсткие диски. В DPI-серверах могут быть установлены от 4 до 8 портов 1 GbE RJ45, 4 порта 10 GbE SFP+ или 2 порта 40 GE QSFP+.
Сетевые карты в DPI-системе должны поддерживать режим Bypass — если сервер отключится, то соединение между портами продолжит работать с помощью питания от встроенной батарейки и будет пропускать трафик без фильтрации. Также на DPI-сервере обычно установлена система мониторинга состояния работы (Advanced Lights Out Management), с помощью которой можно управлять всеми параметрами удалённо или через графический интерфейс на дисплее. BIOS материнской платы сервера должен быть защищён аппаратно от повреждений и поддерживать удалённое обновление.
Для функционирования сервера достаточно одного или двух процессоров Intel Xeon E5-2600 V4 (Broadwell-EP) и двух жёстких дисков, объединенных в RAID 1. Обычно в основном устройстве есть два SSD-диска для установки операционной системы, например SmartOS, к ним добавляют до 24 HDD- или SSD-накопителей, а также сетевые порты и порты для полок расширения. Для увеличения хранилища данных дополнительно к устройству подключают дисковые массивы JBOD, каждый из которых поддерживает до 70 дисков HDD или SSD.
Такая модель позволяет быстро и без больших затрат расширять объёмы для хранения данных, что особенно важно при обработке статистики трафика и кэширования содержимого — изображений, видео и прочих подобных файлов.
Для контроля дисков, поддержания их целостности и высокой скорости работы лучше всего использовать файловую систему ZFS и технологию RAID-Z. Для обеспечения отказоустойчивости желательно устанавливать минимум два взаимозаменяемых блока питания.
Часто производители систем глубокого анализа трафика предлагают готовые комплекты из оборудования и ПО — такие серверы отличаются от стандартных систем и могут дополнительно оснащаться системами хранения данных или сбора статистики в соответствии с требованиями законодательства.
С другой стороны, может быть значительно удобнее, если предлагаемый сервер будет устройством на стандартной платформе, которое можно легко модернизировать. Такие системы чаще встречаются у российских компаний — «Протей», Vas Experts, Peter-Service, Napa Labs.
Категории применения
Компания Heavy Reading провела опрос среди телеком-компаний и собрала данные об основных областях применения DPI. Самым популярным направлением стало качество обслуживания (QoS) — сюда относится мониторинг состояния сети и решение проблем с оборудованием.
Раньше трафик домашних абонентов (HSI — High Speed Internet) почти не контролировался – BitTorrent мог забрать всю свободную полосу подключения, теперь же DPI позволяет операторам распределять канал между различными приложениями.
Второй по важности категорией для операторов стало управление политикой абонентов сети (PCEF). По данным исследований аналитиков, это самая крупная категория применения DPI по объёму и ценности, и она только продолжит расти. Третьей по значимости категорией провайдеры назвали сетевые шлюзы – сегодня DPI часто применяют на маршрутизаторах в сетях 4G (P-GW) и 3G (GGSN).
Четвёртая категория в опросе — использование DPI для анализа информации о пользователях. Изначально DPI применяли для анализа сетевого трафика и трендов, но всё чаще компании подключают эту технологию для анализа поведения подписчиков в реальном времени, чтобы разрабатывать более подходящие наборы услуг и при этом подбирать правильную нагрузку на сеть.
Свойства и сравнение «железа»
По мнению специалистов из Калифорнийского университета в Беркли, для быстрой и надёжной работы DPI оборудование должно обладать определенными свойствами. DPI используется для проверки сетевых пакетов по тысячам идентификаторов, поэтому для высокой скорости работы необходимо разделить этот процесс на параллельные потоки, то есть оборудование должно поддерживать параллелизм в обработке данных.
«Железо» должно обрабатывать сетевые пакеты с высокой скоростью, чтобы соответствовать пропускной способности гигабитного канала сети. Кроме того, оборудование не должно потреблять много энергии — перегрев означает замедление работы, поломку или большую нагрузку на систему охлаждения.
Также аппаратное обеспечение должно быть гибко настраиваемым и предоставлять возможность будущего расширения функций и быстрого обновления, например, для защиты от новых вирусов.
Мы в Vas Experts провели сравнение устройств начального и среднего класса как отечественных, так и зарубежных производителей, которые могут себе позволить почти все операторы. На основании собранных нами данных можно сделать вывод, что самыми дорогими системами младшего класса оказались Cisco SCE1000 и Huawei SIG9800-X3, причем последняя обладает самой высокой производительностью.
Что касается среднего сегмента, то здесь мы пронаблюдали почти полное равенство по производительности и оснащению устройств. Отличие состоит только в том, что российские системы основаны на стандартных компонентах, а это позволяет повышать производительность с гораздо меньшими затратами, ведь дополнительные расширения для устройств зарубежных компаний Sandvine, Allot или Procera стоят гораздо дороже и требуют расширения лицензий (полный анализ вы можете найти в нашем блоге).
На основании этого можно сделать вывод, что российские производители могут составить конкуренцию международным компаниям, но использовать их решения следует в сетях с невысоким объёмом трафика и небольшим числом абонентов. В ином случае следует обратить внимание на закрытые платформы иностранных разработчиков, которые обладают несколько большей надёжностью, стабильностью и оптимизацией.
Практическая выгода
К сожалению, сравнение по указанным в спецификации характеристикам не даст полного понимания практической выгоды, поэтому важно проверять оборудование на тестовых экземплярах от производителей. Однако не всегда удаётся получить аппараты для тестирования, в этом случае нужно ориентироваться на опыт людей, которые уже работают с конкретными системами и технологиями, искать информацию на форумах и у специалистов технической поддержки.
Также при выборе системы большое значение (помимо производительности и функционала) играют расходы на интеграцию — для многих это становится решающим фактором для установки системы DPI. Приведем пример расчёта эффективности внедрения подобной системы (ROI).
Допустим, что суммарный объём потребляемого абонентами трафика составляет 20 Гбит в месяц, стоимость 1 Гбит составляет 3 000 долларов, а стоимость DPI-системы — 75 000 долларов. Тогда использование системы DPI при заявленной эффективности по уменьшению аплинка в 35% даст 7 Гбит/с экономии полосы пропускания в месяц – это 21 000 долларов ежемесячно. В этом случае DPI-система окупится через 3,6 месяца (75000/21000 = около 3,6).
Если учитывать, что за добавление дополнительных функций (блокировка запрещённых сайтов, защита от вирусов и атак, CGNAT) не придётся платить, то внедрение DPI окупится ещё быстрее, а клиенты получат более высокое качество услуг за ту же цену. Стоит заметить, что российские компании продают оборудование по ценам в рублях — это серьёзное преимущество для операторов, которые получают свои доходы в этой же валюте. Покупать и поддерживать систему в таком случае будет еще выгоднее.
Всевидящее око DPI. Как работает глубокая инспекция пакетов и как от нее скрыться
Содержание статьи
Провайдеры и DPI
У провайдеров есть две проблемы:
И та и другая проблема решается ограничением отдельных запросов или протоколов, с чем справляется тот самый глубокий анализ пакетов — DPI.
Рядовых пользователей это лишает многих возможностей. Провайдер, например, способен заблокировать или сильно замедлить весь трафик протокола BitTorrent, так что качать торренты станет невозможно. Или, ради дополнительной выгоды, может «отключать» VoIP и Skype для всех пользователей, кроме тех, кто специально оплатил доступ.
DPI способен обнаруживать и пресекать соединения по определенным правилам, а их возможности зависят от производителя оборудования. Единственное, что их объединяет, — DPI работает начиная с транспортного уровня сетевой модели.
Сетевая модель
Компьютерные сети устроены таким образом, чтобы работать над сложными приложениями, не думая о кабелях и битах.
Для этого было определено четыре степени абстракции. Каждый следующий шаг вверх упрощает работу с информацией, которая передается по сети.
Оборудование DPI обычно работает с транспортным уровнем, пакетами TCP и UDP, читая не только заголовки, но и содержимое пакетов.
Анализ пакетов данных
Любой протокол имеет свою четко обозначенную внутреннюю логику, а также специальные сигнатуры, которые позволяют участникам соединения определять, кто и о чем говорит.
Продолжение доступно только участникам
Вариант 1. Присоединись к сообществу «Xakep.ru», чтобы читать все материалы на сайте
Членство в сообществе в течение указанного срока откроет тебе доступ ко ВСЕМ материалам «Хакера», позволит скачивать выпуски в PDF, отключит рекламу на сайте и увеличит личную накопительную скидку! Подробнее
Немного о системах Deep Packet Inspection
Вокруг систем глубокого анализа трафика сформировался достаточно прочный ареол мифов, который препятствует пониманию функциональных возможностей и решений для адаптации технологии. В нашем сегодняшнем материале мы хотим поговорить об этих сомнениях и постараться развеять некоторые из них.
Миф №1: DPI как почтальон, заглядывающий в конверты
Многие утверждают и одновременно опасаются, что системы глубокого анализа трафика — это ненадежный почтальон, изучающий содержимое каждой доставляемой им посылки. Однако эта аналогия неподходящая. Более точной аналогией будет почтальон, разносящий поздравительные карточки или открытки, ведь именно на них похожи пакеты данных в Сети — их содержание доступно всем.
DPI-системы не используются для чтения пересылаемых сообщений, например по электронной почте, — они лишь анализируют и устанавливают природу передаваемого контента — голос, письмо, вредоносное программное обеспечение. На основании полученных данных они принимают решение о том, что делать с содержимым. Это позволяет осуществлять защиту от DDoS-атак, работать с рекламой, оптимизировать каналы доступа, собирать аналитику и приоритизировать трафик. Отметим, что все эти функции реализует система СКАТ от VAS Experts.
Миф №2: DPI – это нарушение приватности
Этот миф является следствием предыдущего. Есть мнение, что сетевое устройство, исследующее пользовательский контент, нарушает приватность общения, как бы «прослушивает» звонки. Но и это не совсем так. Следуя этой логике, под определение «слухача» попадут и антивирусы, антиспам защита, системы обнаружения вторжений, которые важны для обеспечения безопасности работы в интернете.
Автоматическая компьютерная система, которая сканирует файлы в поисках известных паттернов вредоносного ПО или спама, — это не нарушение приватности. На самом деле, эта процедура менее тщательная, чем досмотр багажа в аэропорту. Сканерами управляют люди, изучающие содержимое чемоданов и сумок и точно идентифицирующие находящиеся внутри предметы, в то время как DPI-система реагирует лишь на запрограммированные сценарии. Получается, что DPI-решение в аэропорту «видело» бы в багаже только те предметы, которые запрещено проносить на борт самолета.
Также хотелось бы отметить, что системы DPI, наоборот, помогают предотвращать случаи «подслушивания» на линии. Речь идет о так называемых MITM-атаках. Этот термин обозначает сетевую атаку, когда злоумышленник с помощью специального программного обеспечения подключается между пользователем и приложением, имитируя работу с ним и создавая впечатление нормального процесса обмена информацией. Цель такой атаки может быть самая разная — хищение персональных данных пользователей, личной переписки или банковских реквизитов и др.
Обычно MITM-атака проходит в два этапа. Сперва осуществляется перехват трафика, поступающего от пользователя к целевому приложению. Наиболее простым способом перехвата остается пассивная атака, когда злоумышленник создает открытые беспроводные точки. В момент подключения пользователя к сети, атакующий получает доступ ко всем передаваемым данным. Что касается других способов перехвата –активных — то здесь используются такие варианты, как IP-спуфинг, ARP-спуфинг и DNS-спуфинг, заключающиеся в подмене IP-адреса, MAC-адреса или заражении DNS соответственно.
После перехвата двухсторонний SSL-трафик дешифруется, причем так, что пользователь и запрашиваемый им ресурс не замечают вмешательства извне. Для этого также существует несколько приемов: HTTPS-спуфинг, атака SSL Beast, SSL-хайджекинг.
Поэтому для защиты от MITM-атак разработчикам веб-приложений и сайтов стоит использовать защищенные протоколы TLS и HTTPS, усложняющие проведение спуфинг-атак и перехват трафика. Операторы связи же используют системы Deep Packet Inspection для обнаружения аномалий в сетях передачи данных и предотвращения спуфинга.
Миф №3: DPI окажутся «не у дел» при распространении шифрования
Есть мнение, что DPI-решения начнут стимулировать адаптацию технологий шифрования, поскольку все больше пользователей будут стараться помешать провайдеру «читать» их почту. Однако рост популярности шифрования будет только полезен. Ведь реальная угроза потребителям — это доступ к незашифрованным сайтам. В этом случае они становятся легкой «добычей» для злоумышленников.
К примеру, Netflix — это крупнейшая компания-поставщик видеоконтента в мире. Сервис имеет порядка 60 миллионов подписчиков, а в начале 2016 года пользователи «насмотрели» 10 миллиардов часов. Компания генерирует более трети всего входящего трафика на территории Северной Америки в вечернее время.
Недавно Netflix заявили, что сервис начнет шифровать весь передаваемый трафик, сменив протокол передачи данных с HTTP на защищенный HTTPS. Такое решение должно обеспечить конфиденциальность клиентов и защитить интеллектуальную собственность правообладателей контента.
Сейчас основная доля зашифрованного трафика в интернете приходится на Google, Facebook и Twitter. На изображении ниже они представляют большую часть красного сектора. После перехода Netflix на HTTPS красный и зеленый сектор поменяются местами.
С распространением протоколов шифрования трафика операторы связи, использующие системы глубокого анализа, якобы столкнутся с проблемой невозможности изучения данных внутри зашифрованного пакета. Однако представители компаний заявляют, что у них никогда и не было цели подглядывать за действиями пользователей.
DPI – это просто инструмент
DPI-технология достаточно нейтральна сама по себе. Это просто инструмент, который может быть использован по-разному. Негативный окрас DPI-системы приобрели из-за недопонимания принципов работы и назначения решений. Но DPI — это необязательно нарушение чьей-то приватности или вторжение в частную жизнь, это еще и ускорение работы сети, повышение безопасности и анализ необходимой статистики.