Привет всем. На нашем основном канале в Telegram (Codeby Pentest) мы спросили у подписчиков, интересно ли им больше узнать о жизни оператора связи, кто они и что входит в задачи. Диалог завязался с темы мониторинга, собеседник сообщил, что для работы им требуется один человек и 12 мониторов. Итак, ниже часть разговора с админом.
Собеседник: Мы - крупный оператор связи, который продает КПД (канал передачи данных) и ШПД (широкополосный доступ) всяким Ростелекомам и прочим ЭР-Телекомам. На мониторинге сидит один человек.
Интервьюер: Если есть
Собеседник: ... Забиксы, SLA, СДХ, Смотрешки ТВ, Телефония. Плюс когда надо траблшутить центр узлы м9\м10 и у тебя по 10 терминальных сессий ты просто раскидываешь их по мониторам и не путаешься, где и какой узел.
Интервьюер: Смотрешки тв) Это как у режиссёров - монтажеров на ТВ? По 10 экранов и на каждом свой канал ТВ... Тогда конечно)
Собеседник: Нет, мы для клиентов предоставляем услуги автоматического наслоения (я не помню, как это правильно называется, с ТВ плохо шарю), когда они поставляют нам контент, а мы на него накладываем логотипы, также для Smart TV предоставляем плееры в виде некой мидлвары и т.д.
Интервьюер: Добавляете рекламу в трафике?
Собеседник: По желанию клиентов, они предоставляют нам контент и тайминги для его воспроизведения, а у нас уже генерируется поток: аудио, видео, телетекст, логотип и т.д. А что они скидывают - без разницы. Могу сказать только то, что платные каналы присылают много 18+ контента. Из интересного - МВД часто по запросу просят дампы трафика. А еще у них в нашей серверной (одной из нескольких) есть своя комната, ключей от которой ни у кого нет.
Интервьюер: А кто разгребает трафик? Там же тонны гигабайт в секунду.
Собеседник: Мы можем дампить как с центральных узлов, так и с конкретного свитча по конкретному порту
Интервьюер: Долго храните данные?
Собеседник: На самом деле зависит от клиента так как у нас B2C\B2B\B2O\B2G (Прим. редактора. Business to Consumer, Business to Business, Business to Operators, Business to government). Стандартно для B2C - 30 дней, а для кого-то не храним совсем. На самом деле я дампы часто смотрю и еще не разу не видел там что-то интересное, если это не телефония. Обычно все пошифровано. Обязанностей много, но в целом весело. Все жду момент, когда "отлетят" все три подстанции, и я побегу запускать огромный ДГУ, но говорят такого еще не бывало.
Интервьюер: На бензине? На сколько киловатт?
Собеседник: Д - дизельный. Если честно, то не знаю. Я ходил в него один раз при инструктаже, сказали что включать так, вольтаж на аккумуляторах проверять так, топливо мерить так. На основном источнике 90 киловатт.
Интервьюер: Такие в подвалах ставят или на улице? Им же вентиляция нужна и шумит он будь здоров.
Собеседник: Дизельный стоит на улице в большом фургоне потому что это офисная территория, а что не на колесах должно иметь трубу выше здания, а там 16-ти этажка. Поэтому его в огромный фургон установили, поставили подпорки под колеса и цепью привязали. Но когда серверная не горит, не отваливаются от сети города, когда партнер в виде какого-нибудь Ростелекома не проводит плановых работ по улучшению качества, от которых деградация трафика на всю страну, когда строители не рвут магистральную оптику или электрики не обесточивают условный район где-то в Твери, то остается много времени на изучение пентеста.
Интервьюер: Деградация трафика - это ухудшение качества?
Собеседник: Ухудшение качества, когда один из портов начинает плохо работать и у тебя с М9 условно не 60ГБ\с, а 50ГБ\с. Это патери пакетов, это задержки и все такое. Для некоторых например очень критично, что у него пинг стал не 2мс, а 15мс - начинают сервисы отваливаться, причем такая тема заметна только на ICMP от 1550
Интервьюер: А есть 100 гиговые или больше порты?
Собеседник: У нас - нет, максимум 60ГБ\с, но таких линий может быть несколько. Еще у нас постоянно DDoS.
Интервьюер: А как ваше оборудование во внешней сети видно? Это же надо знать, что именно ваше. По идее протоколы провайдеров должны нивелировать левый трафик.
Собеседник: Суть в том, что ты, скорее всего, не знаешь, что это наше оборудование. Мы условно предоставляем 2 канала партнеру, а он может их предоставить еще множеству партнеров, но выход в глобальную сеть осуществляется через наше оборудование. Мы не только предоставляем доступ по российским линиям, у нас также есть зарубежные каналы. Я мало работаю с зарубежными партнерами, последние, с кем общался, это чехи и партнер из Хельсинки. Атаки на инфраструктуру часто исходят из украинских сетей (уже заблокированных) и, почему-то, много из США. Мы им часто отправляем стандартные письма о компрометации их сервисов и просьбе проверить их зону ответственности. Они часто даже не отвечают.
Интервьюер: А у вас WAF обеспечивается отдельным оборудованием или всё на одном условном NGFW?
Собеседник: Я примерно знаю, как работает услуга анти-DDoS нашего клиента: мы просто перенаправляем нагрузку на себя и уже от себя маршрутизируем трафик на клиента, фильтруя запросы. Но как работает WAF я не знаю.
Собеседник: Вот статистика с одного транкового порта. Условно мы видим, что трафф идет выше нормы и этот трафик мы перенаправляем на резервный канал, фильтруем его и, если он считается системой легитимным, отправляем до хоста; если нет, то отбрасываем. Условно, трафик начинает идти другим маршрутом через другие узлы.
Интервьюер: А как вы определяете легитимность, если это трафик до клиента? Клиент вам дает какие-то критерии или вы исходите из общих правил DDoS-атак, типа атак по DNS или много запросов с плечом на большие ответы?
Собеседник: Плечи, частота запросов, просто аномалии. Есть хитрые атаки на тяжелые веб-скрипты серверов, с разными запросами, из разных стран, например, но условно по этому маршруту такого никогда не было, защита срабатывает.
Интервьюер: Вы ему увеличиваете время ответа или маршрута?
Собеседник: Нет, но вот смотри, условно у нас с Google прямой пиринг. И ты вот ходишь на YouTube по самой короткой ветке, потом бах, Google пишут, что у вас с узла А идет нежелательный трафик, мы узел А перенаправляем другим маршрутом через условный анализатор и у тебя уже не прямой пиринг, а через системы фильтрации. У тебя условно добавилось N хопов, но ты как пользователь особо не заметишь задержки, но маршрут у тебя поменяется. Так же будет и если будет летать до наших клиентов. Просто пропустив такой трафик через себя или распределим на несколько маршрутов, кого-то может отбросим.
Интервьюер: А когда DDoS-ят клиента вашего клиента, тогда как действуете? Ждете, что они пожалуются или сами при аномалиях кидаете на анализатор?
Собеседник: Мы сами анти-DDoS, мы не перекупаем услугу, а предоставляем. Сами перенаправляем трафик тому, от кого идет. Если мы можем найти контакты, то отправляем стандартное письмо в стиле "коллеги, от вас идет нежелательный трафик, проверяйте". Вот есть условная наша контора, мы продаем канал партнеру Х, партнер Х перепродает канал ТТК или Ростелекому или Мегафону или Эртелекому или еще кому. А еще у этих партнеров могут быть свои линии.
Интервьюер: Виден ли вам vpn, виден ли tor, можете ли эти трафики различать ?
Собеседник: Конечно, в VPN-е не видим ничего кроме коннекта откуда куда. TOR-траффик тоже различить не можем, если хост проксируется, а вот ноды видим, и они в блеклисты летят.
Возможно, в другой заметке ответим на остальные вопросы.
Собеседник: Мы - крупный оператор связи, который продает КПД (канал передачи данных) и ШПД (широкополосный доступ) всяким Ростелекомам и прочим ЭР-Телекомам. На мониторинге сидит один человек.
Интервьюер: Если есть
Ссылка скрыта от гостей
и критичность, то надо хотябы 3 человека на позицию в сменном графике. Все таки 12 мониторов как-то сомнительно.Собеседник: ... Забиксы, SLA, СДХ, Смотрешки ТВ, Телефония. Плюс когда надо траблшутить центр узлы м9\м10 и у тебя по 10 терминальных сессий ты просто раскидываешь их по мониторам и не путаешься, где и какой узел.
Интервьюер: Смотрешки тв) Это как у режиссёров - монтажеров на ТВ? По 10 экранов и на каждом свой канал ТВ... Тогда конечно)
Собеседник: Нет, мы для клиентов предоставляем услуги автоматического наслоения (я не помню, как это правильно называется, с ТВ плохо шарю), когда они поставляют нам контент, а мы на него накладываем логотипы, также для Smart TV предоставляем плееры в виде некой мидлвары и т.д.
Интервьюер: Добавляете рекламу в трафике?
Собеседник: По желанию клиентов, они предоставляют нам контент и тайминги для его воспроизведения, а у нас уже генерируется поток: аудио, видео, телетекст, логотип и т.д. А что они скидывают - без разницы. Могу сказать только то, что платные каналы присылают много 18+ контента. Из интересного - МВД часто по запросу просят дампы трафика. А еще у них в нашей серверной (одной из нескольких) есть своя комната, ключей от которой ни у кого нет.
Интервьюер: А кто разгребает трафик? Там же тонны гигабайт в секунду.
Собеседник: Мы можем дампить как с центральных узлов, так и с конкретного свитча по конкретному порту
Интервьюер: Долго храните данные?
Собеседник: На самом деле зависит от клиента так как у нас B2C\B2B\B2O\B2G (Прим. редактора. Business to Consumer, Business to Business, Business to Operators, Business to government). Стандартно для B2C - 30 дней, а для кого-то не храним совсем. На самом деле я дампы часто смотрю и еще не разу не видел там что-то интересное, если это не телефония. Обычно все пошифровано. Обязанностей много, но в целом весело. Все жду момент, когда "отлетят" все три подстанции, и я побегу запускать огромный ДГУ, но говорят такого еще не бывало.
Интервьюер: На бензине? На сколько киловатт?
Собеседник: Д - дизельный. Если честно, то не знаю. Я ходил в него один раз при инструктаже, сказали что включать так, вольтаж на аккумуляторах проверять так, топливо мерить так. На основном источнике 90 киловатт.
Интервьюер: Такие в подвалах ставят или на улице? Им же вентиляция нужна и шумит он будь здоров.
Собеседник: Дизельный стоит на улице в большом фургоне потому что это офисная территория, а что не на колесах должно иметь трубу выше здания, а там 16-ти этажка. Поэтому его в огромный фургон установили, поставили подпорки под колеса и цепью привязали. Но когда серверная не горит, не отваливаются от сети города, когда партнер в виде какого-нибудь Ростелекома не проводит плановых работ по улучшению качества, от которых деградация трафика на всю страну, когда строители не рвут магистральную оптику или электрики не обесточивают условный район где-то в Твери, то остается много времени на изучение пентеста.
Интервьюер: Деградация трафика - это ухудшение качества?
Собеседник: Ухудшение качества, когда один из портов начинает плохо работать и у тебя с М9 условно не 60ГБ\с, а 50ГБ\с. Это патери пакетов, это задержки и все такое. Для некоторых например очень критично, что у него пинг стал не 2мс, а 15мс - начинают сервисы отваливаться, причем такая тема заметна только на ICMP от 1550
Интервьюер: А есть 100 гиговые или больше порты?
Собеседник: У нас - нет, максимум 60ГБ\с, но таких линий может быть несколько. Еще у нас постоянно DDoS.
Интервьюер: А как ваше оборудование во внешней сети видно? Это же надо знать, что именно ваше. По идее протоколы провайдеров должны нивелировать левый трафик.
Собеседник: Суть в том, что ты, скорее всего, не знаешь, что это наше оборудование. Мы условно предоставляем 2 канала партнеру, а он может их предоставить еще множеству партнеров, но выход в глобальную сеть осуществляется через наше оборудование. Мы не только предоставляем доступ по российским линиям, у нас также есть зарубежные каналы. Я мало работаю с зарубежными партнерами, последние, с кем общался, это чехи и партнер из Хельсинки. Атаки на инфраструктуру часто исходят из украинских сетей (уже заблокированных) и, почему-то, много из США. Мы им часто отправляем стандартные письма о компрометации их сервисов и просьбе проверить их зону ответственности. Они часто даже не отвечают.
Интервьюер: А у вас WAF обеспечивается отдельным оборудованием или всё на одном условном NGFW?
Собеседник: Я примерно знаю, как работает услуга анти-DDoS нашего клиента: мы просто перенаправляем нагрузку на себя и уже от себя маршрутизируем трафик на клиента, фильтруя запросы. Но как работает WAF я не знаю.
Собеседник: Вот статистика с одного транкового порта. Условно мы видим, что трафф идет выше нормы и этот трафик мы перенаправляем на резервный канал, фильтруем его и, если он считается системой легитимным, отправляем до хоста; если нет, то отбрасываем. Условно, трафик начинает идти другим маршрутом через другие узлы.
Интервьюер: А как вы определяете легитимность, если это трафик до клиента? Клиент вам дает какие-то критерии или вы исходите из общих правил DDoS-атак, типа атак по DNS или много запросов с плечом на большие ответы?
Собеседник: Плечи, частота запросов, просто аномалии. Есть хитрые атаки на тяжелые веб-скрипты серверов, с разными запросами, из разных стран, например, но условно по этому маршруту такого никогда не было, защита срабатывает.
Интервьюер: Вы ему увеличиваете время ответа или маршрута?
Собеседник: Нет, но вот смотри, условно у нас с Google прямой пиринг. И ты вот ходишь на YouTube по самой короткой ветке, потом бах, Google пишут, что у вас с узла А идет нежелательный трафик, мы узел А перенаправляем другим маршрутом через условный анализатор и у тебя уже не прямой пиринг, а через системы фильтрации. У тебя условно добавилось N хопов, но ты как пользователь особо не заметишь задержки, но маршрут у тебя поменяется. Так же будет и если будет летать до наших клиентов. Просто пропустив такой трафик через себя или распределим на несколько маршрутов, кого-то может отбросим.
Интервьюер: А когда DDoS-ят клиента вашего клиента, тогда как действуете? Ждете, что они пожалуются или сами при аномалиях кидаете на анализатор?
Собеседник: Мы сами анти-DDoS, мы не перекупаем услугу, а предоставляем. Сами перенаправляем трафик тому, от кого идет. Если мы можем найти контакты, то отправляем стандартное письмо в стиле "коллеги, от вас идет нежелательный трафик, проверяйте". Вот есть условная наша контора, мы продаем канал партнеру Х, партнер Х перепродает канал ТТК или Ростелекому или Мегафону или Эртелекому или еще кому. А еще у этих партнеров могут быть свои линии.
Интервьюер: Виден ли вам vpn, виден ли tor, можете ли эти трафики различать ?
Собеседник: Конечно, в VPN-е не видим ничего кроме коннекта откуда куда. TOR-траффик тоже различить не можем, если хост проксируется, а вот ноды видим, и они в блеклисты летят.
Возможно, в другой заметке ответим на остальные вопросы.
Последнее редактирование:
