Анализ интернет трафика


Кажется, ты используешь AdBlock. Хабрахабр развивается и существует за счет доходов от рекламы. Добавь нас в исключения. Я уже несколько лет активно занимаюсь темой DPI, осуществляя пресейл и непосредственно внедрение этих решений. Побудило меня на написание этого топика то, что тема DPI на хабре раскрыта достаточно слабо, поэтому хотелось бы немного рассказать об устройствах, которые применяют ведущие сервис-провайдеры и крупные корпоративные пользователи для интеллектуального управления трафиком в своих сетях, а также пояснить зачем им это всё. Основы Система DPI, как видно из названия, выполняет глубокий анализ всех проходящих через неё пакетов. Термин «глубокий» подразумевает анализ пакета на верхних уровнях модели OSI, а не только по стандартным номерам портов. Помимо изучения пакетов по неким стандартным паттернам, по которым можно однозначно определить принадлежность пакета определённому приложению, скажем, по формату заголовков, номерам портов и т. Яркий пример тому — Bittorrent. Естественно, сколько производителей такого железа — столько интерпретаций поведенческих моделей соответствующих протоколов, а значит и точность детектирования также разнится. Раз речь зашла о производителях, стоит отметить, что наиболее крупными игроками их продуктами на рынке standalone DPI являются. Всё более и более популярными становятся интегрированные в маршрутизаторы решения DPI. Так поступают многие — Cisco, Juniper, Ericsson и т. Такие решения, как правило, достаточно компромиссные, и не могут предоставить весь спектр сервисов, доступных standalone решениям. Однако, для большинства задач этого вполне достаточно. Важной отличительной особенностью настоящего DPI является возможность аналитики трафика за счёт сбора различного рода статистики с разбивкой по приложениям, по тарифным планам, по регионам, по типам абонентских устройств и т. По этой причине замечательный NBAR имени Cisco хоть и позволяет детектировать и осуществлять контроль трафика по приложениям, полноценным решением DPI не является, т. Система DPI, как правило, устанавливается на границе сети оператора в разрыв существующих аплинков, уходящих от пограничных маршрутизаторов. Тем самым, весь трафик, который покидает или входит в сеть оператора, проходит через DPI, что даёт возможность его мониторинга и контроля. Естественно, здесь речь идёт о достаточно крупных сервис-провайдерах с большой распределённой сетью масштабов страны и с достаточно дорогими канальными ёмкостями. На рынке DPI есть модели на самый разный кошелёк. Соответственно, и стоимость плавает весьма серьёзно — от нескольких тысяч до миллионов долларов США. Операторские решения рассчитаны на подключение множества линков 1GE и 10GE. Что касается совсем взрослых решений, то пока что рынок 100GE интерфейсов на сетевом оборудовании достаточно скуден и дорог, но как только появится первый реальный бизнес-кейс, вендоры DPI предложат соответствующие решения, ибо у некоторых из них заготовки уже имеются. Основная проблема всех существующих решений DPI заключается в том, что для того, чтобы однозначно определить принадлежность того или иного потока данных к одному из сетевых приложений, устройство, осуществляющее анализ трафика, должно увидеть оба направления сессии. Иными словами, входящий исходящий трафик в пределах одного flow должны пройти через одно и то же устройство. Если оборудование понимает, что видит только одно направление в рамках сессии, оно не имеет возможности соотнести данный flow с какой-либо известной категорией трафика со всеми вытекающими последствиями. В связи с этим, когда речь заходит о контроле аплинков, встаёт очень логичный вопрос об асимметричном трафике, который для более-менее крупных операторов является не экзотикой, а обыденностью. Разные вендоры решают эту задачу по-разному: Cisco довольствуется половинкой сессии и пытаются определить тип сетевого приложения, используя лишь эти данные. Очевидно, что при данной методике страдает точность детектирования приложений, особенно тех, для которых требуются поведенческие модели анализа. Также в такой реализации есть ряд ограничений, накладываемых на возможности управления таким трафиком, у каждого вендора они. Sandvine для решения проблемы асимметричного трафика использует следующую идею — весь трафик, являющийся асимметричным, при помощи инкапсуляции в broadcast-фреймы пересылается на все устройства DPI, находящиеся в едином домене. В итоге данной пересылки устройства, видевшие до этого лишь одно направление в рамках сессии, увидят и второе, на основании чего можно будет осуществить полный комплекс мер по анализу и управлению трафиком. Недостаток данной схемы очевиден — при больших объёмах асимметричного трафика на сети предъявляются серьёзные требования к каналам связи, соединяющим устройства DPI на разных сайтах. В некоторых случаях, когда речь идёт об асимметрии порядков нескольких гигабит или десятков гигабит в секунду, данная методика неприменима в связи с высокими накладными расходами на организацию канала между сайтами. Умнее всех поступают Procera и Allot. Идея похожа на реализацию Sandvine с тем отличием, что между сайтами пересылается не асимметричный трафик, а метаданные, явно характеризующие. В общем случае можно считать, что это протокольные заголовки, хотя на самом деле всё чуть сложнее. За счёт подобной оптимизации требования к межсайтовым каналам связи намного более гуманны, относительно реализации Sandvine выигрыш может быть до 95%. Предвосхищая некоторые комментарии, отвечу сразу — да, это работает, подтверждено на практике на production сетях, внедрял лично своими руками. Ещё один важный момент, который является критичным для некоторых заказчиков — это периодичность обновления файлов сигнатур, на основании которых осуществляется анализ трафика. Некоторые вендоры делают обновление раз в квартал, некоторые — раз в неделю. В случае необходимости критическое обновление содержащее методики обнаружения новой версии скайпа, к примеру может выйти раньше календарного срока. Как правило, все вендоры адекватно относятся к желаниям заказчиков добавить какой-то новый протокол в список поддерживаемых и всячески помогают в. Не секрет, что на каждом локальном рынке существуют специфические приложения, практически отсутствующие в иных странах. Или, например, подобный запрос может возникнуть после выхода очередной сетевой игры, которую необходимо выделять из общего потока данных. Теперь возникает логичный вопрос — ну и что теперь со всем этим делать? У оператора появляется достаточно мощный инструмент, при умелом использовании которого можно решать различные задачи по эксплуатации сети и её развитию. Реализация QoS С точки зрения эксплуатации, оператор может контролировать утилизацию подключенных через DPI каналов на уровне приложений. Раньше он решать задачи реализации QoS Quality of Service исключительно средствами построения очередей на основании маркировки трафика служебными битами в заголовках IP, 802. Трафик типа Best Effort, к которому относится весь интернет трафик домашних абонентов HSI — High Speed Internetоставался фактически без контроля, что давало возможность тому же Bittorrent забрать себе всю свободную полосу, что, в свою очередь, вело к деградации любых других веб-приложений. С использованием DPI у оператора появляется возможность распределить канал между различными приложениями. К примеру, в ночные часы разрешить трафику Bittorrent забирать себе больше полосы, чем днём, в часы-пик, когда в сети ходит большое количество другого веб-трафика. Другая популярная мера у многих мобильных операторов — блокировка Skype-трафика, а также любых видов SIP-телефонии. Вместо полной блокировки оператор может разрешать работу данных протоколов, но на очень низкой скорости с соответствующей деградацией качества предоставления сервиса у конкретного приложения, чтобы вынудить пользователя платить за услуги традиционной телефонии, либо за специальный пакет услуг, разрешающий доступ к VoIP-сервисам. В первом случае простейшим образом оговаривается, что конкретному приложению позволяется утилизировать определённую полосу. А у подписчика Пети, который купил дополнительную услугу под названием «Skype без проблем», трафик приложения Skype не будет блокироваться ни при каких условиях, но любой другой — легко. Можно сделать привязку к User-Agent и разрешить браузинг только при помощи рекомендуемых браузеров, можно делать хитрые редиректы в зависимости от типа браузера или ОС. Иными словами, гибкость тарифных планов и опций ограничена лишь здравым смыслом. Если же речь идёт о трафике мобильных операторов, то DPI позволяет контролировать загрузку каждой базовой станции в отдельности, справедливо распределяя ресурсы БС таким образом, чтобы все пользователи остались довольны качеством сервиса. Разумеется, данную задачу можно решать силами мобильного ядра, но это не всегда бюджетно. Раз уж я упомянул мобильных операторов, то хотелось бы отметить, что каждый уважающий себя производитель пакетного ядра EPC Evolved Packet Core для LTE интегрирует в свой PDN-GW функционал DPI, заточенный под решение задач мобильных операторов. Зачем это всё надо? Звучит это всё, конечно, не очень оптимистично, но для многих операторов по экономическим причинам значительно дешевле поставить систему DPI для контроля утилизации каналов, чем расширять аплинки. Причём, сделать это без особых потерь абонентской базы, т. И в этом случае оператору экономически целесообразней снизить абонентскую базу, но платить меньше денег за аплинки, т. Это ночной кошмар любого маркетолога, но в некоторых случаях потерять клиентов — выгодно. Деликатность ситуации заключается в том, что рано или поздно наступит такой момент, когда все операторы так или иначе будут что-либо шейпить при помощи DPI. После этого у того сильно скакнёт загрузка его каналов и клиенты начнут жаловаться на то, что плохо работает веб-браузинг. Оператор подумает, подсчитает, и в итоге купит DPI. И так до тех пор, пока все игроки на рынке не обзаведутся подобной системой. Разумеется, установка DPI не снимает с оператора задачу по периодическому расширению аплинков и увеличению скорости доступа для подписчиков. Просто теперь эти расширения не будут бесконтрольными. Моё личное мнение в первом приближении, как пользователя услуги широкополосного доступа в интернет, заключается в том, что что-либо резать и блокировать, конечно же, плохо и совершенно неправильно. Но, глядя глазами инженера на то, какими темпами растут объёмы трафика, использование DPI становится спасением для многих операторов, т. Новая модель услуг Мы плавно перешли к задаче развития сети и её услуг. Глядя на то, как подписчики пользуются купленной ими полосой, какие приложения используют, оператор может изучать потребности каждой категории подписчиков и предлагать им более гибкие и совершенные тарифные планы. К примеру, основываясь на том, что подписчики тарифа Silver активно пользуются услугами сторонней SIP-телефонии, можно предложить им дополнительный пакет, позволяющий использовать аналогичный сервис, предоставляемый оператором, но со скидкой. Остальные подписчики при желании воспользоваться более дешёвой телефонией будут мотивированы переходить на более дорогой тариф, приобретая дополнительные бонусы в виде повышения скорости. Можно придумать много кейсов, это лишь один из. Своё видение персонализированных сервисов представила компания Allot в своей презентации, выдержки из которой упоминаются в материале, когда-то опубликованном. Подход очень интересный, и выгодный как для пользователя, так и для оператора. Тенденции развития телекоммуникационного рынка таковы, что для операторов продавать трубу, как они делают сейчас, скоро будет просто невыгодно, есть масса исследований, подтверждающих. ARPU не увеличивается, конкуренция высока, оборудование необходимо апгрейдить всё чаще и чаще, расходы операторов растут, а желание получать прибыль никуда не девается. Задача DPI в данном разрезе — реализовать новые модели предоставления услуг конечному пользователю. Некоторые мировые операторы маленькими шагами уже двигаются к данной идее. В России, очевидно, процесс этот будет долгим и мучительным, т. Я бы не хотел сейчас запускать дискуссию на тему «А где мне брать легальный контент? », это отдельная песня, и я очень рад, что это сдвинулось с мёртвой точки на примере ivi, omlet, zabava и т. Надеюсь, данные проекты не заглохнут. О Netflix я пока не мечтаю, но было бы здорово. DPI отлично умеет работать в связке с различными VAS Value Added Services системами, такими как антиспам, антивирус, видеооптимизаторы и т. Суть функционала заключается в отводе части трафика по заданным администратором критериям, на сторонние устройства, для осуществления более глубокого анализа и обработки. Довольно легко можно организовать предоставление пользователям услуг по родительскому контролю, которые становятся всё более и более актуальными. Спецслужбы В конце хотелось бы сказать пару слов о том, для чего также закупается DPI, кроме как для издевательств над абонентами. Оборудование DPI, в связи со своим умением видеть всё и вся, что происходит на сети, является весьма интересным устройством для товарищей в погонах, без которых сейчас никуда. При помощи DPI спецслужбы могут вести наблюдение за сетевой активностью того или иного пользователя. Можно перекрыть ему VPN, HTTPS и прочие прелести, делающие невозможным анализ контента. Разумеется, можно закрывать доступ пользователей к неугодным властям сайтам, что очень актуально в связи с последними событиями в законотворческой деятельности в России. Сетевой нейтралитет И, наконец, хотелось бы сказать пару слов о многострадальном сетевом нейтралитете, который существует в некоторых странах. Но, в то же время, ещё нет чётких формулировок на тему того, какие именно приложения являются законными, а какие —. По логике, незаконным может быть только контент, а не приложения. К примеру, детская порнография явно относится к незаконному контенту, но протоколы HTTP и Bittorrent, посредством которых можно осуществлять его передачу — вполне себе легальны. Так что тут имеется ещё достаточно большой простор для споров, а тема, на мой взгляд, весьма интересна. Пока что у нас сетевым нейтралитетом не пахнет, посему у операторов на руках — все карты для управления трафиком при помощи DPI. Вместо заключения Надеюсь, данная заметка помогла кому-то немного структурировать свои знания относительно DPI. Я подумаю над тем, чтобы остановиться на каких-то моментах более детально в следующих опусах, ежели на них будет спрос, тема достаточно обширна. Чтобы избежать лишней полемики — лично я, как пользователь услуг ШПД, против того, чтобы что-либо резалось и блокировалось, что ни в коем случае не мешает мне делать свою работу. С радостью отвечу на вопросы. Есть масса промежуточных устройств, которые от такого количества соединений упадут куда раньше, чем DPI, не стоит об этом забывать. Если опустить предыдущее предложение, то DPI, конечно же, не упадёт. Просто при достижении определённого значения активных соединений коробка перестанет обрабатывать новые. Активно в какую-то единицу времени 59. Натравливаем вышеупомянутый скрипт, генерируем новые сесии, наблюдаем. Видим, что после достижения 60M соединений коробка перестаёт создавать новые сессии. А вот что произойдёт дальше, зависит от реализации того или иного вендора. Может быть следующее поведение: — Новые сессии просто дропаются и не пропускаются через DPI. Вообще, всегда есть крутилка, позволяющая ограничить количество соединений, которые могут быть активны на одном сетевом хосте. Также есть крутилка, регулирующая рейт новых CPS connections per second — всё, что будет выше этого рейта, будет дропаться. Так что DPI довольно элегантно можно использоваться для защиты от простейших DDoS атак. Спасибо за статью, очень интересно было почитать про DPI. Правильно ли я понимаю, что даже самое навороченное оборудование можно одурачить, если входящий исходящий трафик абонент пустит по разным каналам? Технически устроить асимметрию возможно, после чего у DPI поедет голова, всё верно. У циски не совсем поедет, т. Правильно ли я понимаю, что даже самое навороченное оборудование можно одурачить, если входящий исходящий трафик абонент пустит по разным каналам? Да можно, но есть проблема. Как правило если есть DPI и QoS трафик который не удалось определить относится к категории «мусор» и обрабатывается в последнюю очередь. Так что к примеру такие фишки как «я умный щас заверну torrent в шифрованный канал и буду качать на полную» не прокатят. Вы не забывайте, что в тарифах провайдеров как правило указывается некая минимальная скорость доступа, которую провайдер обязуется обеспечить абоненту. Я вам четкий пример привел с мазамбиком. Как оператор вам может гарантировать туда минимальную скорость? Имеется в виду, что провайдер не будет шейпить траффик до этого лимита. Ну и если HTTP до Мазамбика идет нормально, а torrent нет, то это тоже повод для претензий, нет? Ну и если HTTP до Мазамбика идет нормально, а torrent нет, то это тоже повод для претензий, нет? Для такого количества трафика в случае Cisco вам потребуется или штук 15 SCE 2020 и много головной боли по разруливанию по ним трафика или пара SCE 8080. Ценники на бу у того же нага SCE 2020 — SCE 8080 — Ну и как минимум одно устройство желательно купить в RTL чтобы иметь доступ к обновлениям сигнатур и прошивок. Голубая мечта любого провайдера — чтобы пользоаватель платил за скайпы сипы и фильмы. Конечно, кому интересно продавать канал, лучше брать за всё просмотренное, прослушанное, позвоненное денежку. А потом прилетает волшебная фея и отрубает торренты! {конец сна, пробуждение} Всё так, таковы требования рынка и тенденции его развития, DPI же воплощает эти идеи в жизнь. Есть довольно много аналитики на эту тему, многие склоняются к тому, что продажа трубы — это тупиковая ветвь развития. На первый взгляд —. На второй — не будем забывать, что любой оператор связи не является благотворительной организацией, и в конечном счёте создан для зарабатывания денег. В данный момент рынок таков, что на трубе зарабатывать всё сложнее и сложнее. Электросети например тоже не благотворительная организация, однако почемуто подключение к ним пылесоса обходится не дороже подключения холодильника, и мне кажется что это нормально. Для начала обращение к минусующим. В своих комментариях я не защищаю позицию операторов, я тоже считаю их зажравшимися сволочами, я лишь объясняю что происходит и что будет происходить в ближайшем будущем, инструмент для этих действий — DPI. Врага, как известно, надо знать в лицо, именно поэтому я и делюсь этим знанием. Да, мне тоже кажется нормальным, что в случае с электричеством мы платим за трубу. Однако, думаю, если бы у энергетических компаний была возможность отличить пылесос от холодильника, они бы обязательно воспользовались этим знанием, вам так не кажется? Ещё раз хочу повторить. Я уже высказывал в статье своё личное отношение к каким-либо блокировкам со стороны оператора — мне это категорически не нравятся. Но факт остаётся фактом — оператор хочет зарабатывать денег, пусть и за счёт создания искусственных условий для. Если бы интернет-бизнес не являлся фактическим региональным монополистом я говорю не про провайдеров последней мили, а в статье так же вроде не про них … то такие выкрутасы вида, а заплатите ка за этот тип трафика в 10 раз больше, а не ухудшить ли мне качество картинок, а не ограничить ли вас статическим контентом вместо html5 динамики… должны ограничиваться на тех же условиях что обычные монополии. Примерно об этом и говорится в соглашениях о сетевом нейтралитете. Но вот только проблема — в скольких странах он принят? По пальцам одной руки посчитать можно, не хотят операторы упускать возможность заработать. С электричеством тоже есть некоторая дифференциация: промышленные потребители и физ. Однако, если бы при этом были бы нормальные законодательные требования по качеству поставляемого электричества, то нередко оно было бы вообще бесплатным : А аналогий с перекосом фаз и cos f для телекомов похоже нет, так как телекомам не нравится сам факт прокачки трафика, а что трафик торрентов, что трафик ютуба, что трафик еще какой-нибудь при одинаковых объемах воздействует на сеть практически одинаково про pps я в курсе, но этим часто можно пренебречь. Насчёт PPS спорное утверждение. Достаточно вспомнить активацию uTP в режиме по-умолчанию для uTorrent, и как от этого взвыли многие операторы, после чего побежали настраивать всякие rate-limiters и покупать новые маршрутизаторы. Операторам не нравится другое — что их начинают использовать тупо как транспорт для различных OTT-сервисов. Разумеется, они хотят на этом заработать. Достаточно вспомнить недавний скандал во Франции когда выяснилось, что Orange берёт деньги с гугла за передачу трафика. Да, скачек PPS из-за uTP пожалуй действительно был хороший, но история показывает, что такие по сути баги в пользовательском софте не часты. Операторам не нравится другое — что их начинают использовать тупо как транспорт для различных OTT-сервисов. Операторам не нравится, что их используют для передачи трафика. А все остальное лишь прикрытие диких наценок на остальные виды услуг, которые естественно не нравятся клиентам и в результате чего клиенты отказываются от услуг с завышенными ценами. Достаточно вспомнить недавний скандал во Франции когда выяснилось, что Orange берёт деньги с гугла за передачу трафика. Скандал то был, но не о. Когда ложечки нашлись, то оказалась, что у Orange и Google есть прямой пиринг, за который все-же принято платить, если нет иных договоренностей. Согласен, операторам не нравится, что их используют по, казалось бы, прямому назначению. Тут сравнение не корректно. Более правильное сравнение это когда у всех нет счетчиков и один из ваших соседей подключил цех металлообработки как физическое лицо. В результате он начинает выжирать электричества как сто обычных людей с пылесосами, а платит он столько же сколько. Чтобы такой ситуации не происходило, энергетики во первых ограничивают входную мощность которую можно забрать как физическое лицо, во вторых ставят счетчики. Позвольте с Вами не согласиться! В прямой аналогии, это значит, что оба соседа купили полосу в 100500А, 220В, а уж сколько из нее тянуть решают. Если в случае, когда кто-то начал тянуть всю описанную в договоре мощность, а если электросеть от этого навернулась, то единственный, кто тут виноват — это поставщик, который не смог обеспечить доставку до потребителя всех услуг, прописанных мало того, что в договоре, так еще и в договоре, который был составлен полностью поставщиком по своему желанию. Несколько лет назад у нас на даче на линии поставщика электричества произошел большой бабах из-за каких-то проблем в месте стыка линии и подстанции, суть которого, что этот стык не смог передать ту мощность, которая была продана потребителям. Так вот, поставщик электричества ремонтировался за свой счет, а не стал бегать за клиентами и говорить, какие они плохие, что потребляют столько, за сколько заплатили по договору. Сходите внимательно почитайте договор. А еще у многих буржуйских и наших провайдеров указан объем в месяц после которой провайдер ужимает вашу полосу до меньших значений к примеру с 10 мбит до 512кбит. В прямой аналогии, это значит, что оба соседа купили полосу в 100500А, 220В, а уж сколько из нее тянуть решают. В прямой аналогии там будет указано с возможными пиковыми нагрузками до 100500А. А не постоянная величина. В котором четко указано что скорость стоит ДО. Несколько лет назад у нас на даче на линии поставщика электричества произошел большой бабах из-за каких-то проблем в месте стыка линии и подстанции, суть которого, что этот стык не смог передать ту мощность, которая была продана потребителям. Это совсем другая история. А вот если бы кто-то не взирая на предписания перегрузил подстанцию, то платил бы. В случае клиента утилизирующего 100% полосы это как раз про. Но так-как так сложился рынок да и в целом количество таких людей невелико, провайдеры для улучшения жизни остальных вводит DPI и немного ухудшает жизнь тем кто утилизирует 100% полосы. Единственный кто виноват это вы так-как не внимательно прочитали договор. В котором четко указано что скорость стоит ДО. Тогда все еще хуже для поставщика. Так как я то хочу получить цифру, которая укладывается в лимит, а поставщик не может ее отдать. На счет лимита, то да у меня в договоре он тоже есть, но я просто плачу 60р сверху за снятие этого лимита, так как иногда мне приходится перекачивать большие объемы данных дома и я не хочу получить после этого снижения скорости. Вот по статистике за прошлый год это было целых 2 раза, а все остальное время я и половины лимита не выбирал. Это совсем другая история. А вот если бы кто-то не взирая на предписания перегрузил подстанцию, то платил бы. В случае клиента утилизирующего 100% полосы это как раз про. С учетом того, что была поздняя осень и очень многие топили электричеством, потребление было сильно ближе к зимнему максимуму. Так что клиенты то утилизировали, за что платили, поставщик локально не справился, но за перегруз подстанции это засчитано не было, ибо в договоре написано что могут потреблять столько, а поставщик не смог столько обеспечить. И невозможность это обеспечить в своих сетях это проблема провайдера да, конечные источники трафика конечно же могут и не осиливать такой поток данных. Так как я то хочу получить цифру, которая укладывается в лимит, а поставщик не может ее отдать. Интересно каким образом поставщик может дать вам 10 мбит из мазамбика где максимальная скорость линии 512кбит? Вот по статистике за прошлый год это было целых 2 раза, а все остальное время я и половины лимита не выбирал. На этом и базируется продажа вам интернета по указанной вам в договоре скорости. И причем для тех кто не утилизирует 100% полосы DPI дает только плюсы. Фишка именно в условиях. К примеру провайдер может в часы ЧНН зарезать торренты в результате у вас будет отлично показывать видео быстро открываться страницы, но несколько хуже качаться торренты. А так-как торренты это довольно большой объем трафика в сети провайдера то это позволяет улучшить качество сервиса и контролировать. На самом деле, сейчас есть тенденция по удалению ДО из договора. Сейчас просто под многочисленными звездочками и сносочками указывают, что скорость эта до шлюза оператора. Как правило в договоре написано, что скорость гарантируется в рамках сети оператора и. Дальше интернет а там понятное дело как получится. Интересно каким образом поставщик может дать вам 10 мбит из мазамбика где максимальная скорость линии 512кбит? Пожалуйста, читайте мои сообщения полностью. Чуть ниже же написано, что должен делать провайдер в этом случае. И причем для тех кто не утилизирует 100% полосы DPI дает только плюсы. А я вижу только минусы. Нельзя давать автомат «обезьянам». А так-как торренты это довольно большой объем трафика в сети провайдера И что? А если я свои 32Мбита котиками с ютуба буду забивать, то это значит что уже и http резать будет нормально? К примеру провайдер может в часы ЧНН зарезать торренты в результате у вас будет отлично показывать видео быстро открываться страницы, но несколько хуже качаться торренты. Вы же понимаете, что провайдер будет делать не это, а выдавливать те сервисы, которые конкурируют с его услугами. Вот ниже приводили пример, где главная задача — резать скайп, чтобы клиенты покупали голосовые услуги по многократно завышенным ценам. А я вижу только минусы. Нельзя давать автомат «обезьянам». Фишка в том что сетевой нейтралитет при этом не является панацеей. «провайдеры должны делать толще uplink» вы в курсе что цена оборудования для обеспечения все больших и больших скоростей начинает расти в геометрической прогрессии? А если я свои 32Мбита котиками с ютуба буду забивать, то это значит что уже и http резать будет нормально? Интересно как вы это сделаете? Далеко не у всех провайдеров есть «свои» услуги. К тому же ничто не мешает провайдеру продавать улучшенное качество доступа к тем или иным сервисам. В загнивающей америке такое уже. У меня несколько другие сведения. Все подешевле будет, чем в геометрических прогрессиях и не всегда расширение потребует нового оборудования. Интересно как вы это сделаете? Вот есть 1Гбит, 10Гбит, 40Гбит, 100Гбит. Там вполне наличествует геометрическая прогрессия. Причем количество трафика все растет и растет. Так что вот с моей точки зрения те же торренты стоит обрабатывать только по остаточному принципу. Каким образом различные вендоры предлагают встраивать DPI? Я имею ввиду, где логически и физически расположен комплекс? Как правило, физически DPI размещается либо на границе сети оператора перед или после ASBRлибо сразу после коробки, выполняющей роль BRAS. Вопрос про логику немного не понял, что имелось в виду? Всё зависит от характера задачи. Как правило, все делают взаимодействие с NTP-сервером, а также сборником SNMP-пробов и Syslog-сообщений. Иногда — с почтовым сервером для рассылки информационных писем о состоянии комплекса. Интерфейсы могут быть самые разные — RADIUS, DHCP, SOAP, JSON, Gx, Gy и. Если необходимо обеспечить видимость BGP AS Path, то нужно делать BGP-стык с операторским ASBR. Если необходимо сливать статистику во внешнее хранилище, то требуется связка с внешним хранилищем. Как правило как минимум взаимодействует с биллингом чтобы определять что это за пользователь. DPI кроме аа мы им все порежем еще мощный инструмент изучения какой трафик используется в сети и кем. За счет этого можно правильно крутить приоритеты и ограничения у различных видов трафика улучшая сервис. Я думаю что к примеру если у вас торрент вместо 10 минут будет качаться 20 минут, то трагедии большой не. А вот если skype будет заикаться и видео будет сыпаться, то трагедия. DPI — функционал полностью софтовый, никаких ASIC, работающих с тем или иным приложением, разумеется. Так что в описанной задаче не вижу ничего экстраординарного. Очевидно, немного вырастет нагрузка на процессоры, т. Софтовый DPI как выглядит у разных вендоров? Блейды или стоечные серверы? Какое железо, какая ОСь? Для решений попроще используют сервера, произведённые на заказ, а не просто банальный OEM. Ось везде проприетарная, но всё linux-based. Для крупных решений, как правило, используют промышленное ATCA-шасси в 12-14 RU. Там уже интересней — XLR, либо топовые Xeon и 48 гиг оперативной памяти. С точки зрения окружающих DPI устройств, он работает в прозрачном режиме, с точки зрения L2 DPI невидим. Есть несколько кейсов, когда коробка начинает интерактивно общаться с пользователем, но это частные случаи. Если вопрос был про инкапсуляцию, с которой умеет работать DPI, то, как правило, это могут быть как голый Ethernet, так и dot1q, Q-in-Q, MPLS, GRE, PPPoE, 6in4, причём с разными уровнями вложенности. Что понимается под «колбасить трафик»? Если вы корректно зададите вопрос, я смогу на него ответить: -С точки зрения окружающих DPI устройств, он работает в прозрачном режиме, с точки зрения L2 DPI невидим. Есть несколько кейсов, когда коробка начинает интерактивно общаться с пользователем, но это частные случаи. ЗЫ: окружающие устройства — это кто? Под окружающими устройствами я имею в виду те два, в разрыв линка между которыми мы включили наш DPI. Анализа L2, как такового нет, ибо это просто транспорт для IP. Всякую экзотику типа IPX и CLNS не умеет никто из известных мне решений. Всё, что делает DPI на L2, это декапсулирует полезный IP-трафик. Тоже занимаюсь решениями DPI, правда больше специализируюсь на оборудовании одного из вендоров. Все по делу и доступно. Самая большая инсталляция на данный момент насчитывает порядка 10 шасси, работающих с трафиком суммарной ёмкостью порядка 350Gbps и разнесённых по разным точкам и работающих под единым управлением. Шейпит торренты, ухудшает Skype Out и SIP, радует маркетинг заказчика красивыми отчётами и даёт им громадное поле для формирования корректной тарифной политики. Блокирует нехорошие ресурсы, отводит часть трафика в сторону VAS-коробок, ничего невероятного оборудование не делает. Из интересного на данный момент могу отметить разве что турбокнопку, но потенциал заложен очень приличный. Как выглядит для конечного пользователя 'ухудшение Skype Out'? Битрейт снижается до некомфортного уровня, после чего грустный пользователь идёт пользоваться слугами традиционной телефонии, либо SIP-шлюзом хитрого провайдера. Но в какой-то момент случится так, что все провайдеры примут общие правила игры и будут действовать одинаково. Пользователи будут загнаны в тупик. А собственно почему все провайдеры должны действовать по одной схеме? Конкуренцию ни кто не отменял, будут провайдеры с кастрированным нетом и обычным. А уж клиенты сами пускай выбирают. А это уже к вопросу о сговорах и требованиях регулятора о тех или иных блокировках. Думаю, доживём и до. А вот останутся ли те кто платит за интернет для «Скайпа родственникам дешевле звонить», «Вконтакте для школьников с видео и музыкой», «Ютуб для разбора полётов авторегистраторов и владельцев оных на просторах необъятной с обязательными комментариями» большой вопрос. Средний пользователь не только серфит страницы как было скажем лет 7 назад, он начал смотреть видео, общаться в видеочатах, пользоваться Skypeом качает фильмы наверное, В общем улучшает свой досуг. В какой то мере вопрос досуга решает IPTV но увы, не получением контента единым. Если интернет не работает, не выполняет возложенные на него функции, пользователю не важно кто там и что шейпит, он не понимает почему раньше все работало и он платил меньше, а теперь все не работает и он должен платить больше при том за то что раньше было доступно и. Я надеюсь антимонопольные комитеты развитых стран увидят в этом наконец сговор с целью получения сверхприбылей и монополизацию интернет пространств, а не банальное нам каналов не хватает потому что мы разрешили качать пользователям много надеясь на то что они будут качать мало. Спасибо автору, статья получилась весьма неплохая и намечает довольно четко, вектор движения наших дорогих ISP. ITU рассматривает решение о включении DPI в стандарты сетей. Опять же 5% пользователей от общей абонентской базы генерируют до 90% трафика в сети провайдера. Тупо за счет 100% утилизации своего линка все время. И ни о каких сверхприбылях речь не идет. Просто если провайдер будет резервировать свой линк с расчетом что каждый его пользователь может утилизировать его постоянно на 100%, то стоимость связи вырастет до астрономических цифр. Вы для интереса узнайте сколько стоит хотя бы в пределах города купить канал связи в 2 мегабита из точки а в точку б. Вы будете неприятно удивлены. Хотя если вы купите банальное подключение и будете гонять трафик через сеть провайдера при помощи VPN то все будет как-то существенно дешевле. А людей утилизирующих на 100% свой канал будут активно зажимать, они будут платить все больше и. Для тяжелого же контента типа видео, все активнее используют локальные проксирующие сервисы. Чтобы тот же youtube не жрал полосу которую можно утилизировать чем-то более полезным. В простейшем случае — да, всё верно, это самый надёжный способ уйти из-под контроля DPI. Однако есть два соображения: 1. Есть методики, позволяющие использовать поведенческие модели анализа трафика применительно к данным, живущим в туннеле. Точность, конечно, хромает, но методики существуют. Провайдер может банально зарубить возможность использования VPN, либо сильно ограничить действия пользователя в плане скорости. Это, конечно, крайняя мера, но держать в голове это. В последнем случае провайдер точно будет идти лесом… Если я увижу что мои окружающие провайдеры начнут ограничивать и 'сыпать какашки' в такие популярные вещи как скайп, то я приму все возможные усилия чтобы насолить им… понятно что я один могу не много, но я и мое окружение, а так же те кто просит у меня совета таких не то чтобы много, но не пара человекточно будет голосовать рублем. Вся проблема в том, что таких понимающих клиентов будет не очень. Потери абонентской базы скомпенсируются снижением затрат на аплинки. В том случае, если регуляторы будут молчать и допускать данную стратегию развития, рано или поздно на неё перейдут все операторы. А что мешает провайдеру ваш VPN относить к типу трафика «мусор» и обрабатывать его в последнюю очередь? Просто потрясает какие деньги можно заработать при такой стоимости технологии. Самое обидное, что эти затраты лягут на плечи обычных граждан, которые о детской порнографии и наркотиках узнают в основном благодаря эффекту Барбары Стрейзанд. А теоретически можно использовать DPI в качестве несигнатурного анализатора? Некая смесь эвристики и доп. Насколько масштабируема система с точки зрения навешивания доп функционала? И я так понял использовать внутри LAN не получится, только как шлюз? Теоретически — разумеется, ведь DPI, по сути, это всего лишь мощный сервер. Железо весьма производительное, мне не удавалось добиться загрузки процессоров, занятых обработкой трафика, более чем на 40%, запас прочности ещё. DPI ставится в режиме inline относительно того трафика, который ему подлежит проанализировать и обработать. Вопрос не совсем к автору, но всё же интересно его мнение, как причастного, по поводу «зарубания» HTTPS, VPN и прочего подобного. Как известно, интернет-торговля развивается на Западе и в Китае, как минимум. Развивается и удалённая работа на Западе. И то, и другое требует шифрованных каналов, во всяком случае, я не встречал контору, которая позволит удалённо работать через telnet, как и человека, который номер кредитки пошлёт по HTTP. Как это может повлиять на желание операторов давить шифрованный трафик? Если задавят — это резко затормозит интернет-торговлю и работу в тех же операторах зачастую. Если не задавят — мешает DPI. Выходит, не так уж и полезно шейпить всё подряд, экономя канал? Собственно, великий китайский фаервол именно это и для международного трафика. Не думаю, что до такой меры в принципе может дойти, но чёрт его знает. А вот объясните мне пожалуйста, в чем смысл применения DPI для оптимизации загрузки аплинков? Не дешевле просто аплинки расширять? Если смотреть на задачу в лоб, то на сегодняшний день в России, как правило, апгрейд аплинков обходится дешевле установки DPI. DPI может очень здорово помочь с управлением трафиком во время возникновения нештатной ситуации на сети, к примеру, во время отвала одного или нескольких аплинков когда на оставшихся аплинках начинаются перегрузки. DPI позволит выстроить приоритеты таким образом, чтобы подавляющая часть пользователей не заметила факта аварии в принципе. Заметят её только качальщики, т. Также DPI позволяет наблюдать за тенденциями изменения структуры трафика на границе сети и делать её апгрейд более правильным, корректно расставляя акценты. Если посмотреть на сети мобильных операторов, то для них контроль полосы по приложениям является способом выживания. Не секрет, что каждая БС имеет свой лимит по производительности, и всегда существует вероятность съедания всей полосы одним особо активным абонентом, что, в конечном счёте, ведёт к деградации сервиса у остальных клиентов. При помощи зарезания трафика тех же P2P сетей на границе сети мобильщик серьёзным образом может снизить загрузку своих драгоценных БС. Смотрите вот у вас есть 5% пользователей которые генерируют 80-90% трафика. И этот трафик торренты. В случае приближения утилизации канала к 100% я к примеру могу до расширения аплинка предварительно задавить торренты. В результате пострадают 5% пользователей, да и то незначительно. Зато остальным можно будет предоставить качественный сервис, так-как трафик торрентов не будет им мешать. Я так скажу — мне не приходилось сталкиваться с такими пользователями, хотя число абонентов уже относительно солидное. Ну смотрите, средний канал у пользователя примерно 20 мегабит и это в моем Замкадье. Что должен делать пользователь, чтобы его круглосуточно и 100% утилизировать? Смотрит хд на ютьюбе? Решается установкой гугловой кешировалки. Решается пирингом с. Большая часть проблемы решается ретрекером, при тысячах 30+ абонентов в локалке есть практически все популярные релизы. Качает торренты причем BDRemux, причем постоянно из буржуйских интернетов ; Ну есть. Их мало но тем неменее. Если утилизация аплинков приближается к 100%, то это факап и решать его нужно не ухудшением жизни для некоторых, а улучшением для. Ну вообще когда утилизация приближается к 80% уже надо бегать. Но вы же отлично знаете раз и вот вам толстый линк не сразу может получиться. А DPI даст дополнительное пространство для маневра. Если аккуратно прижать торренты, то клиенты этого могут вообще не заметить. А в случае если это давится DPI то обнаружить это очень сложно. А куда он их качает? У него там что, многотерабайтный рейд? Или он просто ради процесса? Ну вообще когда утилизация приближается к 80% уже надо бегать. Но вы же отлично знаете раз и вот вам толстый линк не сразу может получиться. А DPI даст дополнительное пространство для маневра. Что дает дополнительное пространство для маневра, так это 2 лямчика, которые стоит DPI. На диски пишет он их пишет ; Что дает дополнительное пространство для маневра, так это 2 лямчика, которые стоит DPI. SCE 2020 стоит вполне умеренных денег. Ну давайте вопрос поставим по-глупому: купив SCE 2020 и зафильтровав торренты на 4 гигабитах аплинка что по нынешним временам очень малосколько полосы я освобожу для других целей? Зависит от того насколько сурово будете шейпить. По статистике 60-80% трафика это торренты. Безболезненно зажать вы можете на 20-40%. Если речь о входящем трафике, то картина иная. Если есть большая внутренняя сеть с ретрекером, и нет пиринга с тем же кэшем от youtube или контактом, то 40-50% от входящего трафика честно отжирает потоковое видео. На выход да, процентов 60-80 это P2P сети. Разумеется, надо держать в голове, что у среднестатистического оператора, входящий трафик по объёмам достаточно сильно превышает исходящий. Вопрос не автору а скорее комменаторам: насколько законно то что провайдет портит пользователю использование каких-то определенных программ или протоколов, таких как skype, torrent VPN и прочие? Как это соотносится с тем что оператор связи не может вмешиватся в поток данных от пользователя? Пока не принят сетевой нейтралитет, оператор может делать всё в пределах существующего законодательствачто захочет, если иное не описано в договоре, который абонент заключает с оператором. Иначе говоря, на сегодняшний день нигде не описано, что оператор не имеет право блокировать скайп. Это скотство, но это. Только зарегистрированные пользователи могут оставлять комментарии. Пометьте топик понятными вам метками, если хотите Метки лучше разделять запятой.

Смотри также