Алгоритм против справедливости: как уменьшить предвзятость ИИ в скоринге

Представьте, что вам отказывают в кредите не из-за реальной финансовой несостоятельности, а потому, что так решил алгоритм. В 2019 году с этим столкнулись клиенты Apple Card: супруги технического предпринимателя Дэвида Хансона обнаружили, что алгоритм выдал мужу кредитный лимит в 20 раз выше, чем жене, несмотря на общие финансы (источник habr.com) (источник vc.ru). Сооснователь Apple Стив Возняк тоже пожаловался: лимит его жены оказался в 10 раз меньше, хотя у пары не было раздельных счетов.

Эти случаи подняли волну негодования: регуляторы штата Нью-Йорк заподозрили гендерную дискриминацию со стороны алгоритма и инициировали расследование. Банк-эмитент (Goldman Sachs) отрицал, что учёт пола вообще заложен в модели скоринга, но факт остаётся фактом – женщины получили заведомо менее выгодные условия. Так проявилась алгоритмическая предвзятость в кредитном скоринге.

Что же такое алгоритмическая (или алгоритмически обусловленная) предвзятость? Проще говоря, это ситуация, когда система искусственного интеллекта или машинного обучения принимает систематически несправедливые решения в отношении определённых групп людей (источник brookings.edu). Предвзятый алгоритм может, сам того «не желая», дискриминировать по признаку пола, расы, возраста, места жительства и другим характеристикам, даже если эти признаки явно не указаны в данных. В случае Apple Card модель скоринга, вероятно, не оперировала полом заёмщика напрямую – однако косвенно могла унаследовать гендерные перекосы из исторических данных.

Например, если в исходной обучающей выборке женщины реже получали крупные кредиты, то алгоритм усвоил этот паттерн и начал занижать лимиты женщинам-держателям карты. Подобные эффекты выявляются и для других признаков: даже без прямого указания расы или национальности модель может проявлять bias через прокси-переменные – скажем, учитывать район проживания или вуз, что коррелирует с этнической принадлежностью. Всё это происходит не из злого умысла разработчиков, а как следствие ущербности обучающих данных и методики: нейросеть просто воспроизводит предубеждения, уже содержащиеся в данных, и иногда даже усиливает их (источник rdc.grfc.ru).

Алгоритмическая предвзятость – не абстрактная теория, а реальность, затрагивающая разные сферы. В кредитном скоринге, помимо гендерного дисбаланса, зафиксирована и расовая несправедливость. Исследование The Markup (2021) показало, что чернокожим заемщикам в США отказывали в ипотеке на 80% чаще, чем белым с аналогичным финансовым профилем. Такое неравенство – почти наверняка отголосок старых социальных перекосов: алгоритмы учились на данных эпохи, когда кредиторы системно недооценивали платежеспособность чернокожих семей. Алгоритмы проецируют историческую несправедливость на настоящее – и тем самым препятствуют устранению социального неравенства, загоняя уязвимые группы в порочный круг.

Конечно, проблема не ограничивается банковским сектором. Вспомним систему COMPAS, применявшуюся судами в США для оценки риска рецидива: расследование ProPublica обнаружило, что этот алгоритм чаще ошибочно записывал в “высокорисковые” чернокожих подсудимых, чем белых (источник hightech.fm). Или возьмём кейс Amazon: компания пыталась автоматизировать найм и обучила ИИ на резюме своих сотрудников за 10 лет – в основном мужчин. Новая модель начала занижать рейтинг кандидатам-женщинам, находя маркеры пола даже там, где их не было (например, фразы вроде «women’s chess club» в резюме) (источник reuters.com).

Инженеры пытались отфильтровать явные признаки, но понимали: машина может изобрести другие пути “отсеять” нежелательный пол. В итоге Amazon свернула проект, осознав, что не может гарантировать беспристрастность подбора персонала. Эти примеры убедительно показывают: без специальных мер алгоритмы рискуют перенять и узаконить предвзятость, будь то в кредитовании, правосудии или найме.

Почему алгоритмы становятся предвзятыми

Главная причина кроется в данных и целях, которые мы им задаём. Нейросети – как дети, которые учатся на примерах. Если примеры (исторические данные) содержат скрытую дискриминацию, модель её впитает.

Кредитный скоринг учат на статистике прошлых займов: кому давали, кому нет, кто вернул, кто нет. Но прошлое несправедливо – женщины или меньшинства имели меньше доступа к кредитам не по объективной финансовой причине, а из-за стереотипов. Алгоритм не умеет различать корреляцию и причинность, он лишь усваивает паттерн «группа X реже возвращает долг» и будет воспроизводить его при оценке новых заявок, даже если конкретный клиент из группы X надёжен.

Более того, алгоритм может быть предвзятым, даже не «зная» об уязвимой группе напрямую. В США кредитные модели не используют поле или расу – это запрещено. Но они учитывают сотни других факторов, среди которых найдутся суррогаты запрещённых признаков.

Классический пример – почтовый индекс: он ничего не говорит о кредитной истории, но часто коррелирует с этничностью и уровнем дохода района. Если в бедном районе в прошлом было больше дефолтов по кредитам, модель научится настораживаться к любому заёмщику оттуда, пусть даже лично он добросовестен и платёжеспособен. Так возникают «прокси-дискриминация» и эффект матрешки: мы исключили явный признак, но его тень осталась в данных.

Другой фактор – однородность разработки. Если команда, создающая скоринговую систему, состоит из людей одного пола, возраста, национальности, она может не заметить, что продукт несправедлив к “непохожим” пользователям. Отсутствие разнообразия среди разработчиков и тестировщиков повышает риск незамеченных искажений.

Наконец, усугубляет проблему «чёрный ящик» современных AI. Многие модели – особенно глубокие нейросети – работают настолько сложно, что не могут толком объяснить свои решения даже создателям. Кредитному инспектору неловко сообщить клиенту: “вам отказано, потому что ИИ так решил”. Но порой иного объяснения нет, поскольку алгоритм – закрытая матрица весов, выдающая результат без явной логики.

Такая непрозрачность мешает выявлять несправедливость и затрудняет контроль со стороны регуляторов. В случае с Apple Card даже руководству банка поначалу было нечего ответить пострадавшим, кроме как заверить, что “алгоритм не учитывает пол” – в то время как доказательства обратного росли. Необъяснимые решения подрывают доверие: клиенты чувствуют себя бесправными, а компании – под ударом репутации и закона.

Последствия для бизнеса действительно серьезны. Пользователи быстро теряют лояльность, ощутив дискриминацию со стороны сервиса. Регуляторы по всему миру проявляют все больший интерес к алгоритмической справедливости: помимо расследования Apple Card, 22 генеральных прокурора штатов США в 2019 году направили коллективное письмо о недопустимости «предвзятых и дискриминационных алгоритмов» в кредитовании и страховании (источник zest.ai). Законодатели обсуждают новые правила – например, сенатор Элизабет Уоррен призывала обновить антидискриминационное законодательство, чтобы оно не отставало от технологических инноваций. Другими словами, оставлять проблему без внимания опасно: можно столкнуться и с исками, и с штрафами, и с ужесточением госрегулирования.

Как снизить риски предвзятости: технологии и практика

Хорошая новость: алгоритмическую предвзятость можно и нужно держать под контролем. Полностью искоренить её – амбициозная задача, и эксперты признают, что в обозримом будущем не появится магического решения, гарантирующего 100% непредвзятость (источник evercare.ru). Однако есть целый арсенал подходов, позволяющих существенно уменьшить bias и сделать скоринговые модели более справедливыми. Причем это в интересах самих компаний: как оказалось, устраняя предубеждения, можно не только соблюсти этику, но и расширить клиентскую базу, повысив прибыль (источник cnews.ru). Рассмотрим основные стратегии.

Данные без дискриминации. Первый рубеж борьбы – качество обучающих данных. “Достоверные данные – основа основ”, отмечают эксперты: обучать модели надо на максимально проверенных наборах, свободных от явной исторической несправедливости (источник zakon.ru). Это требует разнообразия в выборках: убедиться, что в датасете представлены разные группы населения пропорционально их реальной доле.

Если же каких-то групп в исходных данных мало или они искажены предубеждениями прошлого, стоит дополнить выборку – порой даже прибегая к синтетическим данным, чтобы компенсировать дисбаланс. Например, в медицине долгое время датасеты концентрировались на пациентах-мужчинах европеоидной расы, из-за чего диагностические алгоритмы хуже работали для женщин и меньшинств. Решение – собирать новые данные целенаправленно более широкого охвата, чтобы ИИ учился на репрезентативном материале. В финансовом скоринге это может значить привлечение в обучение данных из разных регионов, социально-экономических слоев и т.д., чтобы модель не путала признаки платёжеспособности с признаками пола или этноса.

Кроме того, данные надо очищать от откровенно неправильных корреляций. Иногда прошлые решения отражают не объективный риск, а предвзятые “стоп-правила”. Российские банки традиционно использовали жёсткие фильтры вроде возраста, прописки в “неблагополучном” регионе или наличия старого микрозайма, автоматически отсекая по этим критериям целые сегменты клиентов. COVID-кризис наглядно показал ущербность такого подхода – фиксированные правила отрезали от кредитов массу добросовестных людей, просто попавших в сложные жизненные обстоятельства.

Сегодня появляются инструменты, позволяющие пересмотреть устоявшиеся фильтры. К примеру, платформа oneFactor SmartMachine анализирует решения банка в динамике и выявляет, где старое “стоп-правило” сработало против платежеспособного клиента. В пилотных тестах эта система показала, что около 20% отказов, данных по негибким правилам, были ошибочными. На основе таких инсайтов банки могут модифицировать критерии скоринга, убирая рудименты, которые не связаны напрямую с риском невозврата, а лишь отражают застарелые стереотипы.

Постоянный аудит и мониторинг. Даже идеально собранные данные со временем устаревают, а модели склонны “дрейфовать”. Поэтому эксперты настоятельно рекомендуют ввести практику регулярной проверки алгоритмов на предвзятость. Что это значит на деле? Во-первых, непрерывно отслеживать качество принимаемых решений: собирать статистику, нет ли систематического отличия в одобрениях/отказах между группами (мужчины vs женщины, жители разных регионов и т.п.).

Если обнаруживается, что, скажем, доля одобрений женщинам на 10% ниже, чем сопоставимым по профилю мужчинам, – это сигнал тревоги. Во-вторых, полезно применять специальные статистические тесты: они позволяют сравнить распределение новых заявок с теми, на которых учился алгоритм, и выяснить, не сталкивается ли модель с нетипичными данными. Например, если банковский ИИ обучался до 2022 года, а затем грянул экономический кризис или миграционный приток – характеристики соискателей кредита могли измениться. Модель нужно переобучать под новые реалии, иначе она начнёт ошибаться и, возможно, несправедливо оценивать новых клиентов (источник fingramota.econ.msu.ru). Постоянный мониторинг – это как регулярный техосмотр: позволяет вовремя заметить “сбой настройки” и скорректировать курс.

Лучшие практики также предполагают внешний аудит. Независимые эксперты могут проверять скоринговые системы до и после запуска, выявляя скрытые предубеждения. Такой аудит уже обязателен, например, для систем ИИ в медицине, и активно обсуждается в сфере финансов.

Идея в том, что алгоритмы высокой значимости (кредитный скоринг явно из них) следует сертифицировать подобно лекарствам или самолётам: проверять не только на эффективность, но и на безопасность в социальном смысле – отсутствие дискриминации. В Европе разрабатывается регулирование AI, где одним из требований может стать обязательная объяснимость и отсутствие явного bias в автоматизированных решениях. Банкам стоит готовиться к такому уровню прозрачности уже сейчас, выстраивая внутренние процедуры оценки справедливости своих моделей.

Метрики и “линейка справедливости”. Сложность алгоритмического bias в том, что его не всегда сразу видно. Поэтому нужны формальные метрики, чтобы измерять предвзятость количественно. В арсенале дата-сайентистов уже есть показатели вроде disparate impact (коэффициент неравномерного влияния на группы), statistical parity (статистическое равенство в исходах) и др. Если метрика выходит за пределы допустимого (например, вероятность одобрения кредита у одной группы оказалась вдвое ниже, чем у другой) – пора вмешиваться.

Крупные технологические компании создали удобные инструменты для тестирования bias. Так, IBM открыла фреймворк AI Fairness 360, где собрано множество метрик и даже готовых алгоритмов для смягчения предубеждений. В 2021 году разработчики IBM применили этот инструментарий в реальном проекте – помогли системе распределения медпомощи для женщин с послеродовой депрессией учесть и снизить заложенные перекосы. С помощью подобных библиотек банк или финтех-компания могут прогнать свой скоринг через “рентген” и увидеть, нет ли проблем на этапе данных или на уровне модели.

Алгоритмы против bias. Если анализ показал наличие смещений, в ход идут технические методы их устранения. Здесь существуют подходы на разных стадиях ML-процесса: pre-processing, in-processing, post-processing. Pre-processing – это подготовка данных: отфильтровать или пере-взвесить обучающие примеры, чтобы нейросеть не переучилась на исторической дискриминации. Например, метод Reweighing позволяет скорректировать вес записей в датасете, добиваясь равных условий для всех групп (источник mathworks.com). In-processing – вмешательство в сам процесс обучения модели: можно добавить в функцию потерь штраф за несправедливость, требуя от алгоритма не только минимизировать ошибку прогнозов, но и обеспечивать паритет для разных групп. Интересный современный метод – adversarial debiasing, или состязательное обучение без предвзятости.

В таком подходе создаются две нейросети: одна занимается скорингом (предсказывает, вернёт ли клиент долг), а вторая пытается по выходным сигналам первой угадать защищённый признак – например, пол или расу заемщика. Первая сеть «хочет» точно предсказывать кредитоспособность, вторая – «разоблачить» скрытый пол/расу. Если в данных есть bias, вторая сеть будет успешно определять принадлежность клиента к группе по работе первой сети. Обучение строится как соревнование: первая модель стремится дать богатый сигнал для скоринга, но такой, чтобы вторая не смогла ничего понять о поле/расе. В идеале достигается ситуация, когда скоринговая модель точно прогнозирует риск дефолта, игнорируя групповые различия – то есть показывает одинаковый результат для условно равных мужчин и женщин, черных и белых и т.д.. В Zest AI, одной из финтех-компаний, внедривших adversarial debiasing, заявляют, что этот метод позволил существенно сократить гендерные и расовые разрывы в выдаче кредитов без потери точности моделей.

Наконец, post-processing: это корректировка уже полученных результатов. Например, можно откалибровать скоринговые баллы или пороги одобрения так, чтобы доли принятых заявок выровнялись между группами. Такой подход применяли некоторые банки под надзором регуляторов: если модель дала слишком мало одобрений одной категории клиентов при прочих равных, часть пограничных случаев пересматривали в пользу выравнивания.

Однако post-processing – паллиативная мера. Гораздо эффективнее устранить причину bias внутри алгоритма, чем править решения на выходе. Поэтому сегодня упор делается на проектировании более “этичного” ИИ с нуля.

Прозрачность и ответственность вместо “чёрного ящика”

Помимо технической стороны, крайне важна организационная и этическая культура вокруг AI. Алгоритмы не должны работать в вакууме, без контроля и пояснений. Один из принципов ответственного ИИ – объяснимость: скоринговая модель должна предоставлять человеку понятные причины своих решений. Например, если кредит не выдан, система должна выдавать набор факторов, сыгравших ключевую роль (низкий доход, короткая занятость, высокий текущий долг и т.п.).

Сейчас разрабатываются методы eXplainable AI (XAI), позволяющие подсветить, какие признаки влияли на прогноз. Даже если сама нейросеть сложна, поверх неё можно построить интерпретирующий модуль, который будет генерировать для клиента и менеджера внятное объяснение в духе: “Отказ, потому что ваша долговая нагрузка превышает порог и нет залога”. Прозрачность решений – мощное противоядие против скрытой дискриминации, ведь тогда и клиенты, и аудиторы могут заметить нелогичность или перекос. Не случайно новые правила AI, обсуждаемые в ЕС, требуют раскрывать логики высокорисковых алгоритмов финансовым надзорным органам.

Роль человека и регуляторов. Полностью убирать людей из контура принятия решений в чувствительных областях рано. Многие банки уже вводят гибридные схемы, где итоговое решение по сложному случаю принимает не машина, а офицер по рискам, пересмотрев рекомендацию ИИ.

Такая “перекрёстная проверка” помогает компенсировать слепые зоны алгоритма. Кроме того, важно обеспечивать для клиентов механизм апелляции: если вы считаете, что алгоритм совершил ошибку, должна быть процедура пересмотра решения с участием человека. Эти меры повышают доверие и дают обратную связь разработчикам модели.

Государство же постепенно формирует нормативный каркас вокруг алгоритмического скоринга. В ряде стран (включая Россию) обсуждаются требования обязательной сертификации скоринговых систем на предмет отсутствия дискриминации (источник lawjournal.digital). В США под действие законов о равных кредитных возможностях (ECOA) подпадают и алгоритмические модели – банк обязан доказать надзорным органам, что его скоринг не имеет “дискриминационного эффекта” на защищённые группы. Если же эффект выявлен, фирме грозит юридическая ответственность, даже если дискриминация не была заложена умышленно.

То есть принцип “неважно, намеренно или случайно – отвечаешь по результату” теперь распространяется и на ИИ. В итоге финансовые организации вынуждены интегрировать контроль bias в свои процессы комплаенса. Те, кто игнорирует справедливость, рискуют не только репутацией, но и отстают от конкурентов, уже внедряющих этичные модели (источник ey.com).

Конкурентное преимущество справедливого скоринга

Интересно, что устранение алгоритмической предвзятоности – это не только про этику и закон, но и про выгоду и рост бизнеса. Предвзятый скоринг, по сути, рубит сук, на котором сидят банки: он отвергает потенциально хороших клиентов. Если модель начнёт более объективно оценивать всех претендентов, финансовая организация сможет выдать больше займов надёжным заемщикам из недоучтённых групп – а значит, заработать на процентах. Генеральный директор финтех-компании OneFactor Роман Постников отмечает, что компании, которые сумели исключить из своих алгоритмов элементы bias, получают конкурентное преимущество и дополнительную прибыль – остальные игроки рынка вынуждены подтягиваться, и в итоге вся система приходит к балансу без внешнего нажима. Похожего мнения придерживаются в Zest AI: там подчёркивают, что “справедливые алгоритмы – это и этично, и выгодно”, позволяя финансовым институтам делать добро и при этом преуспевать. Например, чересчур консервативное использование кредитного рейтинга (скоринга) – составляло часть проблемы, приведшей к кризису 2008 года.

Люди с нестандартной кредитной историей, но реальной платежеспособностью, были отрезаны от доступа к кредитам, либо переплачивали за риск. Более “умные” и справедливые модели учитывают больше данных о человеке и потому оценивают риск точнее и тоньше. Это помогает ранее недооцененным заемщикам получить деньги на разумных условиях, а банкирам – расширить клиентуру без увеличения уровня дефолтов. Исследования подтверждают: сами клиенты тоже хотят более справедливых систем – 82% американцев заявили, что не против, если банки будут использовать больше данных в анализе, лишь бы это привело к более справедливым решениям (но при условии ответственного использования этих данных). То есть запрос на равные алгоритмы исходит и от общества.

Алгоритмическая предвзятость – вызов нашего времени, но не приговор. Финансовые организации могут существенно снизить риски bias в скоринге, сочетая качественные данные, технические решения и институциональные меры. Необходимо учить ИИ на разнообразных и чистых данных, постоянно проверять модели на справедливость, внедрять методы устранения обнаруженных смещений и обеспечивать прозрачность работы алгоритмов. Важно понимать, что абсолютно “стерильного” ИИ, совсем без склонности к ошибкам, пока не существует. Но это не повод опускать руки – напротив, нужно относиться к модели, принимающей решения, как к сложному организму, требующему регулярной диагностики и коррекции. В конечном счёте, человек формирует правила игры для искусственного интеллекта.

Алгоритмы могут либо увековечить старые предрассудки, либо помочь их преодолеть – и в наших силах направить их в верное русло. Устраняя предвзятость в скоринге, мы делаем финансовую систему честнее и эффективнее для всех. А справедливость, как оказывается, выгодна не только обществу, но и бизнесу. Ведь когда технологии работают без偏гига и предубеждений, выигрывают все стороны – клиенты получают заслуженные возможности, компании находят новых надёжных клиентов, а регуляторы достигают целей равноправия без драконовских мер. Настало время приручить алгоритмы – и превратить их из потенциально несправедливых судей в объективных и прозрачных помощников.

Источники: Финансовый скоринг и медицина – обзор этических рисков ИИ; Новостные случаи (Apple Card, The Markup) на vc.ru; Хабр о скандале с Apple Card; CNews о борьбе с bias в российских банках; Evercare о подходах к устранению предвзятости ИИ; Блог Zest AI о методах снижения дискриминации в кредитовании; Reuters о неудачном рекрутинговом ИИ Amazon; Hightech про алгоритм COMPAS и др.