Вулнбокс не выдержал собственную команду: куда уходят ресурсы на A/D

На полуфинале Кубка CTF России 2025 команда VDNh запустила монитор трафика рядом с игровым сервисом. Инструмент должен был помогать разбирать атаки, но вскоре сам стал причиной простоя.

«Монитор очень быстро исчерпал все ресурсы ВМ, и нам пришлось просить организаторов полностью переналить её. Потеряли много — кластер восстанавливался около 15 минут, которые один из наших сервисов был недоступен», — рассказывает Арсений из VDNh.

По его словам, каждому сервису была выделена отдельная виртуальная машина с Kubernetes-кластером. Команда добавила в один из кластеров под с монитором, не рассчитав нагрузку.

«Мы решили запустить отдельный под с монитором трафика и проиграли».

На A/D команда обслуживает сразу несколько частей инфраструктуры: сами сервисы, запись и анализ трафика, запуск эксплойтов, отправку флагов. Часть инструментов работает на вулнбоксе, часть — на отдельных серверах или ноутбуках. Проблема в любом из этих мест может отнять игровое время.

Мы поговорили с тремя игроками с разным опытом: Ильёй krevetqqq из W0LV3S, который сыграл одну A/D, действующим игроком Арсением из VDNh и Степаном defkit из dtl, который уже вышел на CTF-пенсию. Они рассказали, что мешало работе их инфраструктуры и как команды справлялись со сбоями.

Трафик нужно не только записать

Дампы помогают понять, как атакуют сервис и куда уходят флаги. Но их хранение занимает место, а обработка создаёт дополнительную нагрузку.

Степан вспоминает, что dtl переносила сервисы и VPN на собственную машину. Там же размещались прокси и анализатор трафика. Конфигурация его команды — серверы на 96 ядер и 96 ГБ оперативной памяти.

Анализатор Packmate работал рядом с сервисами, к концу игры пользоваться им становилось сложнее:

«Медленно открывал сессии, отставал от свежего трафика, безбожно лагал, ел много ресурсов. Был включён на вулнбоксе».

Дампы команда периодически удаляла через встроенную очистку Packmate.

VDNh тоже использует Packmate:

«Просто обычный Packmate в его дефолтной конфигурации, и всё. Да, он иногда забивается, но в целом работает хорошо. А так — никакой магии», — говорит Арсений.

У W0LV3S для записи трафика был tcpdump, для разбора — pkappa2. Илья рассказывает, что команда искала в трафике передачу флагов и по найденным сессиям разбиралась с эксплуатацией. Дампы хранились на сервере, а очищали их вручную:

«Мы её сами очищали часто очень, потому что боялись, что память забьётся».

До заполнения диска на вулнбоксе у W0LV3S дело, по его словам, не дошло. У двух других собеседников такой опыт был.

Патч готов, места для него нет

На одном из Кубков у dtl диск заполнили дампы трафика. Команда заметила проблему, когда попыталась исправить сервис.

«Мы не можем патч зааплаить, так как нет места на диске», — вспоминает Степан.

По его памяти, весь диск вмещал около 20 ГБ, но спустя четыре года в этой цифре он не уверен. Команда попросила организаторов добавить места. Ответ Степан пересказывает так:

«Мы позвали Романа Никитина, чтобы он выделил больше места, и он послал нас НАФИК, потому что скил ишью, а 20 гигов для тачки больше чем достаточно для настоящих джентльменов».

На восстановление, по оценке Степана, ушло около получаса:

«Восстановление заняло где-то полчасика, но мы были молодыми, шутливыми и тот CTF [проиграли]».

У VDNh диск заполнился на Кубке Урала 2026. Одного источника, который можно было бы отключить и забыть о проблеме, не было.

«Он забился абсолютно всем — и логами, и файлами, которые могли создавать другие команды. Очищали буквально всем, чем могли — удаляли build cache контейнеров, логи, какие-то старые файлы сервисов. После этого всё более-менее заработало», — рассказывает Арсений.

При этом постоянное наблюдение за ресурсами не было привычной частью игры команды:

«Мы вообще почти никогда не мониторили ресурсы на вулнбоксах, делали это только когда правда что-то постоянно забивалось. Самое частое, что обычно забивается на CTF, — диск».

В этих историях место требовалось и для накопленных данных, и для действий во время игры. Удаление файлов становилось срочной работой, на которую приходилось отвлекаться от сервиса.

Эксплойты живут отдельно — и тоже могут мешать

Все три команды запускали эксплойты за пределами вулнбокса, хотя масштаб инфраструктуры отличался.

dtl на крупных открытых A/D, например FAUST и ENOWARS, брала отдельный сервер под эксплойты. По воспоминаниям Степана, он был сопоставим по мощности с машиной для сервисов. На небольших играх обходились ноутбуками участников.

VDNh тоже запускает эксплойты на ноутбуках. Иногда нагрузку приходится перераспределять:

«Бывало такое, что у некоторых участников забивалась оперативка на ноутбуке из-за этого, и приходилось переносить их сплоиты на ноутбук другого участника», — говорит Арсений.

Отдельная машина снимает вычислительную нагрузку запуска эксплойтов с вулнбокса, но собственный сервис всё равно может оказаться целью скрипта.

«Один раз было весело — своим же сплоитом мы положили собственный сервис. Тогда пришлось временно исключить свою команду из списка адресов на ферме».

У W0LV3S возникла другая проблема: добытые флаги оставались в очереди DestructiveFarm. По словам Ильи, интерфейс показывал три-четыре страницы флагов, но отправка не происходила.

Команда стала запускать скрипты с прямой отправкой флагов. После этого, как рассказывает Илья, они начали приниматься. Причину сбоя фермы команда не установила, поэтому объяснять его нехваткой ресурсов нельзя. Но эпизод показывает, что проверять приходится всю цепочку: от запуска эксплойта до приёма флага.

Переезд во время игры тоже стоит времени

Для Ильи krevetqqq первым и пока единственным опытом A/D стал CenterCTF 2025 в рамках чемпионата CyberCraft. На выданном сервере медленно скачивались npm-пакеты. Команда решила арендовать другую машину и перенести туда сервисы.

«Мы просто конфиг WG скопировали на машину, оффнули конфиг на вулнбоксе и на своём запустили».

Сначала переезд выглядел удачным: «Всё заработало, круто, классно». Но, по воспоминаниям Ильи, после следующей проверки доступ через игровую сеть пропал.

«Просто отвалился доступ игроков и чекеров к серваку, мы тоже не могли по локальному IP подключиться, только по внешнему».

W0LV3S обратились к организаторам. Те подключились по SSH и подняли конфигурацию WireGuard, после чего доступ восстановился. Илья оценивает простой примерно в десять раундов. Недоступны были все четыре сервиса.

После сбоя W0LV3S ещё поднимались на третье-четвёртое место, а закончили игру шестыми. Илья считает, что без простоя они могли выступить куда лучше

Что команды проверяют, когда падают проверки

У dtl не было формального порядка диагностики. Степан описывает подход так:

«У нас в команде на этот счёт никаких процессов не было, всё по вайбику».

Среди первых действий он называет запрос к сервису с самого вулнбокса и проверку потребления ресурсов контейнером. Арсений начинает с общей нагрузки на машину:

«Смотрим htop, понимаем, забилось ли что-то. Если да — смотрим в эту сторону, что больше всего нагружает, и так далее. Если нет, то уже смотрим более точечно в сервисы, что в них происходит и почему они могут долго отвечать — например, не забилась ли база».

У Ильи первая версия — ошибка в недавних изменениях. Он рассказывает, что команда прежде всего пробовала откатить патч и выяснить, кто менял сервис.

Эти действия проверяют разные возможные причины. Сам по себе красный статус проверки ещё не объясняет, что произошло: сервису может мешать нагрузка, изменение кода или потеря доступа через игровую сеть.

Когда VDNh видит нехватку ресурсов, сначала ограничивает вспомогательные инструменты.

«Первым делом мы пытаемся выставить лимиты на вспомогательные сервисы — запись трафика или ферму. Если понимаем, что этого не хватает, запись трафика можно остановить, а ферму тоже перенести на ноутбук».

Если проблема остаётся в самом сервисе, команда разбирается с его потреблением и пытается оптимизировать работу. Результат проверяет по дальнейшему поведению:

«Мы понимаем, что может быть проблемой, чиним её и наблюдаем за последствиями. Тут тоже никакого секрета нет», — говорит Арсений.

Сколько ресурсов закладывать на учебную A/D

Для учебной игры Арсений предлагает начинать с самих сервисов:

«В сервисы точно нужно встроить автоочистку по времени, чтобы участники не возились с очисткой диска».

Дальше — проверить их под игровой нагрузкой:

«Посмотреть, сколько сервисы едят при работе чекеров и авторских сплоитов, и дать чуть больше. Не менее двух ядер и двух гигабайт на каждый сервис, конечно».

Степан, рассуждая с позиции организатора, предлагает отталкиваться от размеров и лимитов контейнеров: увеличить лимиты вдвое и добавить около 20 ГБ под инструменты и хранение данных сервисов.

Обе оценки оставляют место для проверки на конкретном наборе тасков. Помимо сервисов, в расчёт нужно включить те инструменты, которые команда собирается разместить рядом: анализатор, запись трафика, прокси или ферму.

Истории игроков дают несколько конкретных вещей, которые стоит проверить до старта: где сохраняются дампы и как они очищаются, чем ограничена нагрузка вспомогательных инструментов, отправляет ли ферма добытые флаги и как команда восстановит доступ после переноса. Тогда во время игры останется меньше поводов обнаружить, что патч уже готов, а сохранить его некуда.