Всё о CTF в России

Ежегодное соревнование по машинному обучению Data Fusion Contest

Вас ждёт уникальное соревнование по атакам и защите моделей машинного обучения в турнирном формате:

В задаче Атака участники будут создавать атаки на нейросеть, обученную на данных транзакций.

В задаче Защита — наоборот, учиться защищать свои модели от заранее оговоренного вида атак.

Призеров определят Турниры — лучшие команды обеих задач столкнутся друг с другом за призовой фонд в 2 000 000 рублей! Если не успели поучаствовать в первом турнире - ждём вас во втором!

Также участников ждет много мерча и подарков, онлайн-митапы с воркшопами и возможность круто прокачаться в новых DS/ML методах.

Легенда

Ключевой особенностью соревнования Data Fusion Contest 2023 – его турнирный формат. В соревновании есть 2 тесно связанные задачи: Атака и Защита. Можно участвовать в любой из них, в том числе в обеих задачах сразу. Обе задачи строятся на общих вводных и материалах:

• В обеих задачах используется один и тот же набор данных транзакций с разметкой;
• В соревновании используется только один механизм атаки через искажение входных данных транзакций;
• Модель для атаки является и мишенью в задаче Атаки, и отправной точкой в задаче Защиты;
• Обе задачи работают с моделями бинарной классификации одной и той же целевой переменной (риск дефолта по кредиту).

Несмотря на схожесть по материалам, обе задачи имеют принципиальные отличия:

• Формат решений: в задаче Атака формат решений – .csv файлы; в задаче Защита – архивы с моделями и кодом;
• Метрики: в задаче Атака считается разница ROC-AUC относительно атакованной модели; в задаче Защита считается среднее гармоническое ROC-AUC на исходных и на атакованных данных.
• Подходы: искать наилучшие правки в различные семейства моделей в противовес повышению устойчивости моделей.

Турниры

Чтобы участники соревновались друг с другом, в соревновании организуются турниры.

Суть турниров в том, что лучшие решения обеих задач запускаются друг против друга:

• Решения задачи Атака теперь атакуют не модель организаторов, а решения из задачи Защита;
• Решения задачи Защита теперь вместо атак организаторов запускаются на решениях из задачи Атака;
• Турниров пройдет 2: промежуточный турнир в середине соревнования и финальный турнир в конце соревнования;
• Весь призовой фонд присуждается по итогам турниров.

Для турниров будут использоваться отдельные новые наборы данных, подобно тому, как решения запускаются на приватных тестовых данных. Данные будут иметь тот же формат и размер, чтобы решения задачи Защиты корректно работали на решениях задачи Атака на новых данных.

Чтобы турниры можно было провести за разумное время, для участия в турнирах происходит отбор 10 команд с лучшими результатами на лидербордах каждой из задач.

Регистрация открыта до 2 апреля!

Более подробная информация о проведении соревнования, FAQ, материалы с митапов и многое другое на официальном сайте DATA FUSIAN CONTEST 2023!

При подготовке материала использована информация, размещённая на сайте https://ods.ai/tracks/data-fusion-2023-competitions