СПОСОБ ГЕНЕРАЦИИ РЕАЛИСТИЧНЫХ ТАБЛИЧНЫХ ДАННЫХ С ВЫБРОСАМИ НА ОСНОВЕ ГЕНЕРАТИВНО-СОСТЯЗАТЕЛЬНОЙ СЕТИ zGAN

Изобретение относится к области искусствен­ного интеллекта, а именно к генеративно­состязательным сетям (GAN), для генерации реали­стичных синтетических табличных данных с выбро­сами. Выбросы в задаваемых признаках табличных данных могут применяться для моделирование ред­ких или сложных событий, таких как экономические кризисы или пандемии.

Известен способ CopulaGAN [1], который ком­бинирует в своей архитектуре возможности класси­ческих копул и принципы игрового обучения харак­терные для GAN в целом [2]. По назначению Copu- laGAN является аналогом zGAN.

CopulaGAN — это генеративно-состязательная сеть, предназначенная для синтеза табличных дан­ных с сохранением зависимостей между переменны­ми. Её ключевая особенность заключается в исполь­зовании классического статистического инструмента, известного как копулы, для моделирования сложных взаимосвязей между признаками. Копулы позволяют разделять совместное распределение данных на неза­висимые маргинальные распределения и функцию зависимости, что способствует восстановлению кор­реляций в сложных многомерных данных.

При обучении CopulaGAN генератор создаёт синтетические данные, а дискриминатор пытается отличить их от реальных. В то же время, копулы ис­пользуются для обеспечения точного воспроизведе­ния статистических зависимостей, которые харак­терны для табличных данных. Гибридный подход позволяет улучшить реализм сгенерированных дан­ных, особенно в случаях, когда данные содержат смешанные типы признаков.

CopulaGAN активно используется для задач синтеза табличных данных в финансовой и медицин­ской сферах, где важно сохранять взаимосвязи меж­ду признаками для анализа и моделирования. Не­смотря на перечисленные достоинства, модель усту­пает другим архитектурам GAN, таким как CTGAN и zGAN, в точности сохранения корреляций, возмож­ности целенаправленной генерации данных с выбро­сами, а также воспроизведении сложных нелинейных зависимостей.

Несмотря на свою эффективность в сохранении зависимостей, CopulaGAN имеет ряд ограничений. Одним из таких ограничений является сложность моделирования высокоразмерных данных или дан­ных с большим числом категориальных признаков, что может приводить к ухудшению качества генери­руемых данных. Кроме того, использование копул накладывает ограничения на типы зависимостей, которые могут быть воспроизведены, что требует выбора подходящей копулы для каждой конкретной задачи, что в свою очередь может быть сопряжено с высокими вычислительными затратами.

Известен способ TVAE [1], который по назна­чению является аналогом zGAN. Данная генератив­ная модель также предназначена для генерации таб­личных данных, однако основана на принципе дей­ствия вариационного автоэнкодера, без использова­ния принципа действия характерного для GAN.

TVAE (Tabular Variational AutoEncoder) — это генеративная модель, предназначенная для создания синтетических табличных данных. Основой модели является вариационный автоэнкодер (VAE), который обучается формировать представление данных в ла­тентном пространстве и восстанавливать их с мини­мальной потерей информации. Такой подход позво­ляет способу TVAE моделировать сложные вероят­ностные зависимости в данных, делая её особенно эффективной для табличных наборов с разными ти­пами признаков.

В отличие от генеративно-состязательных се­тей, TVAE строится на основе принципа максимиза­ции доказательного нижнего порога (ELBO), что де­лает процесс её обучения более стабильным. Модель способна учитывать категориальные и числовые при­знаки, а также справляться с отсутствующими дан­ными путём их вероятностного восстановления. Ла­тентное пространство позволяет упростить структуру данных, делая процесс генерации более эффектив­ным.

Способ TVAE имеет свои ограничения. Из-за вероятностного характера генерации модель может хуже сохранять точные взаимосвязи между призна­ками, особенно в данных с высокой корреляцией между признаками или наличием сложных зависимо­стей. Кроме того, качество генерируемых данных может снижаться при наличии большого числа кате­гориальных признаков или при дисбалансе классов в исходных данных.

TVAE находит применение в задачах, где ва­жен баланс между реализмом и стабильностью гене­рации, таких как анализ конфиденциальных данных в медицинских или финансовых приложениях. Данный способ уступает специализированным архитектурам GAN, таким как CTGAN и zGAN, в точности вос­произведения корреляций и способности генерации данных с выбросами.

Наиболее близким к заявленному техническо­му решению по технической сущности и достигае­мому техническому результату является CTGAN [3], который является прототипом zGAN. Концептуально архитектура CTGAN приближена к части архитекту­ры zGAN отвечающей за обучение и генерацию син­тетических табличных данных.

CTGAN (Conditional Tabular Generative Adversarial Network) — это       генеративно­

состязательная сеть, разработанная специально для генерации синтетических табличных данных, вклю­чающих как числовые, так и категориальные призна­ки. Основной особенностью прототипа является ис­пользование механизма условной генерации, кото­рый позволяет модели учитывать распределения ка­тегориальных переменных при синтезе новых дан­ных. Это делает прототип особенно эффективным в задачах, где данные имеют смешанные типы призна­ков со сложными зависимости между ними.

Способ CTGAN включает специализированные компоненты для обработки табличных данных, такие как Gumbel-Softmax для категориальных признаков и методы перестройки дискретных данных для точного моделирования их распределений. Инициализируе­мый случайным шумом генератор прототипа создаёт синтетические данные, а дискриминатор обучается отличать их от реальных. Условная генерация позво-

ляет модели фокусироваться на специфических под­множествах данных, сохраняя редкие категории и сложные зависимости между признаками.

При этом CTGAN не лишен ограничений. Мо­дель может испытывать трудности при работе с большими наборами данных или с наборами данных с большим числом уникальных категорий. Кроме того, для достижения оптимального качества синте­тических данных требуется тщательная настройка гиперпараметров, а стабильность обучения может зависеть от характеристик исходного набора данных.

CTGAN широко используется в финансовых, медицинских и других индустриях, где важно сохра­нять корреляции между признаками данных. Не­смотря на свою эффективность, прототип уступает специализированной модели zGAN, в задачах гене­рации данных с выбросами, но остаётся эталоном для большинства сценариев синтеза табличных данных.

zGAN существенно отличается как от прототи­па, так и от аналогов наличием возможности целена­правленной генерации синтетических выбросов в соответствии с теорией экстремальных значений [4]. Такая возможность позволяет моделировать редкие экономические события, обнаруживать и обрабаты­вать выбросы, что способствует повышению показа­телей качества моделей машинного обучения в раз­личных прикладных областях [5, 6, 7].

Целенаправленная генерация синтетических выбросов в zGAN осуществляется с применением синтетических или вычисляемых по реальным дан­ным ковариационных матриц. При этом существует возможность генерации как синтетических выбросов, так целевых переменных, соответствующих уже сге­нерированным выбросам. Другим отличием zGAN от прототипа и аналога является наличие фильтра прав­доподобия, который позволяет zGAN получать по­вышенную приватность генерируемых данных без сохранения клиентских реальных данных.

Технической задачей способа является генера­ция реалистичных табличных данных, с сохранением в сгенерированных данных корреляций между при­знаками присущих реальным обучающим данным, а также обеспечение возможности целенаправленной генерации синтетических выбросов для повышения предсказуемости редких событий и стабильности моделей машинного обучения.

Поставленная задача решена следующим обра­зом: применяется архитектура zGAN, которая обла­дает существенными отличиями от указанного про­тотипа и аналогов, а именно наличием модуля вы­числения ковариаций (covGEN) на основе реальных данных, хешированного фильтра правдоподобия, условного вариационного автоэнкодера (cVAE) и модулей, использующихся для генерации синтетиче­ской целевой переменной для строк данных со сгене­рированными синтетическими выбросами.

Модуль covGEN позволяет генерировать син­тетические выбросы в выбранных признаках с ис­пользованием задаваемых законов распределений. Фильтр правдоподобия, работающий с применением алгоритмов хеширования, позволяет сохранять при­ватность генерируемых данных благодаря отсут-

ствию необходимости сохранения клиентских дан­ных.

Оценка качества синтетических данных осу­ществляется по показателю AUC на примере реше­ния задачи бинарной классификации.

Краткое описание чертежей

Фиг. 1 иллюстрирует структуру zGAN

Фиг. 2 иллюстрирует структуру описывающую последовательность действий в поставленных экспе­риментах

Фиг. 3 иллюстрирует разность коэффициентов корреляций между синтетическими и реальными данными набора данных Титаник

Краткое описание таблиц

Таблица 1 содержит показатели приватных наборов данных

Таблица 2 содержит медианные значения AUC полученные в эксперименте «out-of-sample»

Таблица 3 содержит медианные значения AUC при «out-of-time» эксперименте с zGAN на 50% наборе данных

Таблица 4 содержит медианные значения AUC при «out-of-time» эксперименте с CTGAN на 50% наборе данных

Таблица 5 содержит медианные значения AUC для различных процентов выбросов в макроданных для набора данных A9 в «out-of-time» эксперименте

Генератор генеративно-состязательной сети zGAN инициализируется случайным шумом, форми­руя синтетические данные на выходе. Дискримина­тор получает на вход как сгенерированные синтети­ческие, так и реальные данные и выдает двоичный код, соответствующий классам «реальные» или «син­тетические» данные.

Процесс обучения дискриминатора заключает­ся в улучшении его способности различать синтети­ческие данные от реальных, в то время как генератор, наоборот, обучается создавать данные неотличимые от реальных.

Приватность синтетических данных обеспечи­вается с помощью фильтра правдоподобия, который использует хеши реальных данных для фильтрации сгенерированных синтетических данных, похожих на реальные клиентские данные. Подход с использова­нием хеширования гарантирует, что реальные кли­ентские данные не сохраняются после обучения мо­дели.

zGAN, обученная на реальных табличных дан­ных, генерирует синтетические данные, неотличимые от реальных, в которые интегрируются макровыбро­сы. Модуль, который интегрирует макровыбросы в синтетические данные, обозначается символом «+».

Макровыбросы синтезируются генератором условной ковариации (covGEN) путем выборки из многомерного распределения, выбираемого вручную, для чего требуется либо ковариация, полученная из реальных данных, либо синтетические ковариацион­ные матрицы, сгенерированные условным вариаци­онным автоэнкодером (cVAE) [8]. Для генерации вы­бросов в соответствии с теорией экстремальных зна­чений (ТЭЗ) в настоящее время доступны нормаль­ное, Лапласовское, Вейбулловское, Гумбелевское и Леви распределения.

cVAE генерирует синтетические ковариацион­ные матрицы, соответствующие структуре реальных данных. Соответствие сгенерированных ковариаци­онных матриц определенной структуре достигается путем минимизации ошибки восстановления и ди­вергенции Кульбака-Лейблера между распределени­ем в латентном пространстве и априорным распреде­лением реальных данных. Задача оптимизации реша­ется с помощью декодирующей сети для восстанов­ления реальных данных из латентного пространства, в то время как вариационный автоэнкодер обучается представлениям данных в этом латентном простран­стве.

Синтетические табличные данные могут быть необходимы для задач, связанных с дальнейшим ана­лизом отдельных признаков набора данных, в част­ности целевых переменных [9, 10, 11]. Для формиро­вания синтетических целевых переменных, интегри­рованных в синтетические данные с выбросами, ис­пользуется модуль Целевая Модель, основанный на модели классификации, например, такой как Catboost. Модель классификации обучается на вы­борке реальных данных для получения слабой объяс­нительной информации из столбцов набора данных, содержащих макро- и микроданные.

Способность zGAN генерировать реалистич­ные синтетические данные может быть проверена экспериментально и сравнена с метриками качества других GAN.

Предложенные эксперименты по сравнению zGAN с аналогами и прототипом демонстрируют устойчивость модели, а также способность zGAN генерировать реалистичные синтетические данные. Эксперименты основаны на задаче классификации, где имеющаяся целевая переменная в табличных данных используется для вычисления метрики AUC. Данная метрика характеризует качество решения классификационной задачи при сравнении реальных и синтетических данных.

Решение классификационной задачи с целевой переменной, сгенерированной вместе с другими при­знаками, позволяет оценить способность zGAN гене­рировать синтетические данные, сохраняя связан­ность признаков обучающего набора данных. Для этого в эксперименты включена базовая модель, обу­чение и вычисление показателей качества которой проводится исключительно на реальных данных.

Задача классификации выполнялась в двух ва­риантах: с разделением данных на обучающую и те­стовую выборки по отдельным наблюдениям, то есть в режиме «out-of-sample» (OOS), и с разделением данных по времени, то есть в режиме «out-of-time» (OOT). Способность zGAN генерировать синтетиче­ские данные позволяющие сохранять центральную тенденцию и дисперсию AUC при решении класси­фикационной задачи с разными пропорциями синте­тических и реальных данных характеризуют устой­чивость модели. Устойчивость модели демонстриру­ется, в том числе воспроизведением классификаци­онных экспериментов на разных наборах данных, как в режиме OOS, так и в режиме OOT.

Для демонстрации способности GAN сохра­нять и воспроизводить корреляции признаков был проведен корреляционный анализ на исходных и синтетических наборах данных.

Классификационная задача Методика прове­денных экспериментов предполагает равные условия и одинаковую последовательность операций для каждого набора данных. Основные этапы проведен­ных экспериментов описываются следующим обра­зом:

-    Парсинг данных;

-    Предобработка данных;

-    Отбор признаков;

-    Разделение данных на обучающую и тесто­вую выборки;

-    Вычисление AUC базовой модели;

-    Семплирование обучающих данных (опцио­нально);

-    Обучение GAN на реальных обучающих дан­ных;

-    Генерация синтетических данных;

-    Выборка 80% обучающих и тестовых данных (опционально);

-    Обучение классификатора на синтетических данных;

-    Расчёт AUC на тестовых данных.

Предобработке данных предшествовал их пар­синг. Предобработка включала преобразование типов данных, преобразование дат и времени, если в наборе данных присутствовали временные ряды. Для моде­лей, обучение которых было невозможно при нали­чии пропусков, применялись методы заполнения недостающих значений.

Отбор признаков основывался на результатах анализа, направленном на предотвращение влияния избыточности данных, утечки данных и информаци­онного шума. Признаки, содержащие макроданные, не использовались в эксперименте. Основной целью отбора признаков было повышение качества класси­фикационной модели. При обучении генеративных моделей и GAN, как и пои генерации данных исполь­зовались все признаки, представленные в наборах данных. При этом для решения задачи классифика­ции в наборах данных оставались только отобранные признаки.

Эксперименты «Out-of-Sample» В экспери­ментах OOS, разделение на обучающую и тестовую выборки осуществлялось с учётом необходимости получения одинаковых законов распределения в обе­их выборках.

В качестве базовой модели использовался CatBoost с использованием квази-оптимального по­иска гиперпараметров для уменьшения переобуче­ния. Настройка гиперпараметров выполнялась мето­дом поиска по сетке, при этом границы поиска по сетке были определены методом случайного поиска. Во всех экспериментах решалась задача бинарной классификации.

Базовая классификационная модель обучалась на обучающей выборке, а AUC вычислялся на тесто­вой. Для получения разброса метрики применялся подход Монте-Карло, имплементируемый следую­щим образом: случайным образом формировалась

выборка, составляющая 80% от общего объема дан­ных, отдельно для обучающих и тестовых данных. На каждой из полученных выборок обучалась клас­сификационная модель, и вычислялась соответству­ющая метрика. Итоговая метрика, представленная в исследовании, — это медианное значение AUC, по­лученное за 51 эксперимент для каждой модели и набора данных отдельно. 51-е значение в результатах экспериментов — это значение AUC, полученное без 80% выборки, то есть оно было вычислено с исполь­зованием всех записей из обучающих и тестовых наборов данных.

Перед обучением генераторов синтетических данных для моделей, чувствительных к объему обу­чающих данных, набор данных дополнялся семпли- рованием методом случайной выборкой. Для моде­лей, где реализм синтетических данных был значи­тельно хуже по сравнению с другими моделями, применялась ручная настройка гиперпараметров. При ручной настройке предпочтение отдавалось конфигурациям, которые достигали максимального значения AUC. Во всех случаях обученные генера­тивные модели и GAN генерировали по 4000 запи­сей.

Для окончательного вычисления AUC модель классификации обучалась на синтетических обуча­ющих данных, а качество классификации оценива­лось на реальных тестовых данных. Разброс AUC в этом случае рассчитывался по процедуре, полностью аналогичной описанной для базовой модели. Един­ственным отличием было то, что выборки брались из синтетических обучающих данных, а не из реальных.

Эксперименты «Out-of-Time» В эксперимен­тах OOT набор данных был разделен на обучающие и тестовые выборки в порядке возрастания дат. Дан­ные делились на обучающую и тестовую выборки отдельно в двух пропорциях: 50% и 80%.

В классификационном OOT эксперименте ис­пользовались для генерации синтетических данных zGAN и его прототип CTGAN, классификационная модель обучалась на реальном обучающем наборе данных, при этом метрика AUC вычислялась только на реальном тестовом наборе данных, аналогично процедуре производимой в OOS экспериментах.

Для дальнейшего анализа стабильности обуча­ющий набор случайным образом смешивался с син­тетическими данными в различных пропорциях. При каждом смешивании проводился классификацион­ный эксперимент, и вычислялось AUC.

В «Out-of-Time» экспериментах была также ис­следована стабильность и повышение AUC в зависи­мости от количества выбросов, сгенерированных из нормального распределения на уровне 3ст в макропе­ременных наборов данных.

Такие эксперименты проводились только для zGAN, поскольку ни аналоги, ни прототип не обла­дают возможностью целенаправленной генерации выбросов. В этих экспериментах каждый набор дан­ных разделялся на обучающую и тестовую выборки на основе временных меток. Часть набора данных до 2022 года использовалась как обучающая выборка, в то время как данные с 2022 года включительно со­ставляли тестовую выборку. Модель zGAN обуча­лась на тренировочном наборе, после чего для каж­дого процента выбросов в макропеременных, вклю­чая вариант без выбросов, генерировалось по 80 син­тетических наборов данных.

В задаче бинарной классификации модель классификации обучалась для каждого набора синте­тических данных. AUC оценивался с применением метода Монте-Карло, на случайной выборке из те­стового набора, которая составляла 80% от всего те­стового набора данных. Последний шаг, включал 81­ю итерацию вычисления AUC. Для обучения класси­фикационной модели на последней итерации, ис­пользовался объединённый набор данных, состоя­щий из всех 80 сгенерированных наборов для каждо­го процента выбросов в отдельности, при этом AUC вычислялся на всем тестовом наборе.

Для оценки влияния выбросов на AUC в каче­стве метрик оценки использовались медианное зна­чение AUC, размах и межквартильный размах (IQR).

Корреляционный анализ. Для оценки спо­собности GAN сохранять и воспроизводить корреля­ции признаков использовался коэффициент корреля­ции Пирсона. Как исходный набор данных, так и синтетические данные были предварительно обрабо­таны следующим образом: пропущенные значения в числовых столбцах заполнялись консистентными значениями, которые значительно отличались от среднего значения столбца и не встречались в других местах данных. В категориальных столбцах пропу­щенные значения были сгруппированы в отдельную категорию, а все записи в категориальных столбцах были                             закодированы        с              использованием

OrdinalEncoder. Столбцы с датами и временем были преобразованы в формат Unix-time. После этих пре­образований набор данных был нормализован с ис­пользованием StandardScaler.

Для визуального наблюдения различий в спо­собности различных GAN воспроизводить корреля­ции использовались тепловые карты (heatmaps) раз­личий между корреляционными матрицами исходно­го и каждого синтетического набора данных. Для всех тепловых карт была установлена единая цвето­вая шкала.

Описание данных В экспериментах использо­вались как приватные наборы данных с доступом, разрешенным компанией zypl.ai, так и открытый набор данных Титаник. В интересах владельцев ис­ходных данных характеристики приватных наборов, включая их названия, скрыты и обозначены прону­мерованными латинскими буквами: A1, ..., A9. Все наборы данных демонстрируют дисбаланс классов в целевой переменной. Коэффициент kim, использую­щийся для описания дисбаланса классов, представля­ет собой отношение количества образцов в минори­тарном классе к количеству образцов в мажоритар­ном классе.

На качество генерации синтетических данных влияют в том числе общее количество столбцов и записей, а также количество категориальных столб­цов в каждом из наборов данных.

Отношение миноритарных классов к мажори-                 менного ряда в приватных наборах данных приведе-

тарным kim, общее количество столбцов и записей,                    ны в таблице 1.

количество категориальных столбцов и наличие вре-

Таблица 1

Эксперименты были проведены, в том числе, на открытом наборе данных - Титаник. Обучающая выборка оригинального набора данных Титаник была разделена на обучающую и тестовую выборки в со­отношении 0.33. Обучающие данные включали 596 записей, а тестовые данные — 295 записей.

Целевая переменная — «Survived», признаки, отобранные для дальнейших экспериментов: «Pclass», «Sex», «Age», «SibSp», «Parch», «Fare», «Cabin», «Embarked». Отношение миноритарного класса к мажоритарному kim составляет 0.62. Набор данных содержит всего 9 признаков, из которых 7 являются категориальными. В общей сложности в этих столбцах присутствуют 173 категории.

Для обучения всех моделей GAN обучающий набор данных, после разделения, был дополнен слу­чайной выборкой до общего количества 10728 запи­сей. Для моделей других типов дополнение данных не применялось, так как качество генерации синте­тических данных у этих моделей не зависит от коли­чества обучающих данных.

Описание моделей Эксперименты включали две GAN модели, а именно CTGAN (прототип) и CopulaGAN (аналог); одну альтернативную модель - TVAE (аналог). CTGAN использует условную веро­ятность для моделирования сложных зависимостей в табличных данных, что делает его эталоном для за­дач, включающих как числовые, так и категориаль­ные переменные. TVAE предлагает вероятностный подход, основанный на автоэнкодерах, что позволяет моделировать сложные распределения.

CopulaGAN, использует копулы для моделиро­вания зависимостей между переменными и объеди­няет статистическое моделирование на основе копул с нейросетевыми подходами. Разнообразие в выборе моделей для сравнения позволяет всесторонне оце­нить, как zGAN справляется с моделированием зави­симостей и генерацией синтетических данных по сравнению с существующими способами.

Результаты экспериментов
Классификационная задача

Out-of-Sample эксперименты В таблице 2 по­казаны медианные значения AUC полученные в ре­зультате экспериментов.

Таблица 2

Результаты показывают, что в восьми из десяти экспериментов модель zGAN превосходит все анало­ги и прототип, за исключением базовой модели, обу­ченной на реальных данных. В среднем AUC модели zGAN на 0,03 пункта выше, чем у CTGAN, и на 0,05 пункта выше, чем у TVAE или CopulaGAN.

Out-of-Time эксперименты Результаты OOT экспериментов с моделью zGAN, в которых исполь­зовалась пропорциональная смесь реальных и синте­тических данных, представлены ниже в таблице 3.

В OOT-эксперименте по смешиванию реаль­ных и синтетических данных с использованием CTGAN было продемонстрировано влияние смеши­вания на медианное значение AUC. В случае набора данных A2 AUC, рассчитанное на реальных данных, на 0,001 пункта превышает наивысшее значение AUC, полученное при смешивании данных, тогда как в случае A3 улучшения AUC при смешивании не бы­ло. В случаях A1, A7, A8 и A9 наблюдалось увеличе­ние AUC при смешивании, при этом наибольшее увеличение составило 0,0977 пункта для датасета A1.

OOT-эксперименты по смешиванию реальных обучающих и синтетических данных показывают в большинстве случаев увеличение AUC, что также указывает на улучшение стабильности в задаче клас­сификации. Увеличение медианного AUC на синте­

тических данных или при смешивании синтетиче­ских данных с реальными данными наблюдается как в экспериментах с CTGAN, так и с zGAN, что указы­вает на то, что улучшение стабильности в задаче классификации происходит независимо от GAN, ис­пользуемой для генерации синтетических данных.

Результаты OOT-экспериментов с синтетиче­скими выбросами в макроданных синтетических наборов данных, сгенерированных zGAN, показаны в таблице 5, на примере набора данных A9, характери­зующего растущую экономику.

Таблица 5

Эксперименты с синтетическими выбросами показывают увеличение медианного AUC в боль­шинстве случаев, без явной линейной зависимости от процента выбросов в макроданных. Когда количе­ство синтетических выбросов превышает 10% от об­щего числа записей в макроданных, медианный AUC снижается. Наибольшее увеличение медианного AUC наблюдается при 3%, 5% и 7% выбросов в столбцах макроданных. Значительное снижение AUC наблюдается, когда количество выбросов в синтети­ческих макроданных достигает 50 и более процентов. Максимальное и статистически значимое увеличение AUC наблюдается при 5% выбросов в синтетических макроданных.

Результаты эксперимента со сгенерированны­ми синтетическими выбросами демонстрируют по­лезность выбросов для улучшения качества решения задачи классификации, а также характеризуют ста­бильность zGAN в задаче целенаправленной генера­ции синтетических данных с синтетическими выбро­сами.

Корреляционный анализ На Фиг. 3 представ­лены тепловые карты, иллюстрирующие различия между матрицами корреляции синтетических набо­ров данных, сгенерированных zGAN, прототипом и аналогами, по сравнению с оригинальным набором данных. Способ TVAE показывает умеренные разли­чия, что указывает на адекватное сохранение ориги­нальных корреляций. Способ CopulaGAN демон­стрирует более значительные изменения, что свиде­тельствует о менее надежном сохранении ориги­нальной структуры. Прототип - CTGAN и zGAN по­казывают наименьшие различия, при этом zGAN превосходит прототип, что указывает на наивысшую степень точности в поддержании оригинальной структуры корреляций. Таким образом, CTGAN и zGAN являются наиболее эффективными в генера­ции синтетических данных, которые близки к ориги­нальному набору данных, за которыми следует TVAE, который предлагает адекватный баланс меж­ду точностью и качеством сохранения корреляций, а CopulaGAN является наименее эффективным.

Заключение Эксперименты при out-of-sample разделении данных, демонстрируют сравнение каче­ства классификации на синтетических данных, сге­нерированных современными открытыми GAN и генеративными моделями, основанными на класси­ческих принципах, в том числе прототипом и анало­гами, демонстрируют преимущества zGAN по срав­нению с исследованными моделями. В среднем, AUC zGAN превышает таковой у прототипа на 0.03 пунк­та, а также на 0.05 пункта у аналогов.

Применение zGAN для генерации синтетиче­ских табличных данных позволяет модели классифи­кации изучать основные закономерности в данных без взаимодействия с реальными данными клиентов. Эксперименты при out-of-time разделении данных показывают, что обучение классификационной моде­ли на синтетических наборах данных улучшает ее способность к обобщению, положительно влияя на качество классификационной задачи при работе с будущими, ранее не виденными данными. В экспе­рименте по обогащению и смешиванию реальных данных с синтетическими данными для набора дан­ных A1 было достигнуто увеличение медианного AUC на 0.0638 пункта при использовании только синтетических данных для обучения, и увеличение AUC на 0.0584 пункта было получено при смешива­нии реальных данных для обучения с синтетически­ми данными в соотношении 1:1.

Генерация синтетических выбросов в случае OOT экспериментов, где тренировочные данные бы­ли собраны до 2022 года, а тестовые данные — с 2022 по 2023 год, приводит к значительному улуч­шению качества решения задачи классификации, как показано на наборе данных A9, представляющем рас-