Вас ждёт уникальное соревнование по атакам и защите моделей машинного обучения в турнирном формате:
В задаче Атака участники будут создавать атаки на нейросеть, обученную на данных транзакций.
В задаче Защита — наоборот, учиться защищать свои модели от заранее оговоренного вида атак.
Призеров определят Турниры — лучшие команды обеих задач столкнутся друг с другом за призовой фонд в 2 000 000 рублей! Если не успели поучаствовать в первом турнире - ждём вас во втором!
Также участников ждет много мерча и подарков, онлайн-митапы с воркшопами и возможность круто прокачаться в новых DS/ML методах.
Легенда
Ключевой особенностью соревнования Data Fusion Contest 2023 – его турнирный формат. В соревновании есть 2 тесно связанные задачи: Атака и Защита. Можно участвовать в любой из них, в том числе в обеих задачах сразу. Обе задачи строятся на общих вводных и материалах:
- В обеих задачах используется один и тот же набор данных транзакций с разметкой;
- В соревновании используется только один механизм атаки через искажение входных данных транзакций;
- Модель для атаки является и мишенью в задаче Атаки, и отправной точкой в задаче Защиты;
- Обе задачи работают с моделями бинарной классификации одной и той же целевой переменной (риск дефолта по кредиту).
Несмотря на схожесть по материалам, обе задачи имеют принципиальные отличия:
- Формат решений: в задаче Атака формат решений – .csv файлы; в задаче Защита – архивы с моделями и кодом;
- Метрики: в задаче Атака считается разница ROC-AUC относительно атакованной модели; в задаче Защита считается среднее гармоническое ROC-AUC на исходных и на атакованных данных.
- Подходы: искать наилучшие правки в различные семейства моделей в противовес повышению устойчивости моделей.
Турниры
Чтобы участники соревновались друг с другом, в соревновании организуются турниры.
Суть турниров в том, что лучшие решения обеих задач запускаются друг против друга:
- Решения задачи Атака теперь атакуют не модель организаторов, а решения из задачи Защита;
- Решения задачи Защита теперь вместо атак организаторов запускаются на решениях из задачи Атака;
- Турниров пройдет 2: промежуточный турнир в середине соревнования и финальный турнир в конце соревнования;
- Весь призовой фонд присуждается по итогам турниров.
Для турниров будут использоваться отдельные новые наборы данных, подобно тому, как решения запускаются на приватных тестовых данных. Данные будут иметь тот же формат и размер, чтобы решения задачи Защиты корректно работали на решениях задачи Атака на новых данных.
Чтобы турниры можно было провести за разумное время, для участия в турнирах происходит отбор 10 команд с лучшими результатами на лидербордах каждой из задач.
Регистрация открыта до 2 апреля!
Более подробная информация о проведении соревнования, FAQ, материалы с митапов и многое другое на официальном сайте DATA FUSIAN CONTEST 2023!
При подготовке материала использована информация, размещённая на сайте https://ods.ai/tracks/data-fusion-2023-competitions
