Заряжаете смартфон, когда батарея почти на нуле? И думать забудьте о кредите

Скорость, с которой вы прокручиваете вниз страницу на дисплее компьютера, или ваша склонность заряжать телефон, только когда батарея почти разряжена, может решить, получите ли вы кредит в банке. Вот как бывает, когда алгоритм анализирует каждое ваше действие и сам принимает решения. Искусственный интеллект меняет лицо финансового мира, и новый отчет министерства юстиции пытается адаптировать регулирование к новой эре.

Сколько времени вам нужно, чтобы прокрутить вниз страницу, подтверждающую условия пользования определенным интернет-сайтом, поставить галочку в пустом квадрате и двигаться дальше? Ответ на этот вопрос может предсказать решение по вашему обращению за ссудой.

По крайней мере одна американская финтех-компания, занимающаяся выдачей кредитов, недавно признала, что ее алгоритм рассматривает скорость прокрутки как один из критериев при выдаче ссуд. Те, кто прокручивает страницу слишком быстро и подтверждает, что прочитал условия, хотя понятно, что он их не читал, считаются лжецами, а потому давать им деньги опасно.

Вопрос о скорости прокрутки обострился после твита известного американского предпринимателя, который рассказал, как они с женой подали заявку на совместную кредитную карту Apple и Goldman Sachs. Предприниматель получил в 20 раз более высокий кредитный лимит, чем его жена, хотя ее кредитный рейтинг выше, чем у него. Предприниматель назвал карту Apple «сексистской» и «дискриминирующей женщин», его твит наделал много шума, а один из основателей Apple Стив Возняк написал в «Твиттере», что аналогичный случай произошел и с его женой.

Этот твит даже стал предметом расследования американских властей, потому что кредитные рамки определила система искусственного интеллекта, которая взвешивает кредитный риск заемщика на основе объективных данных и не должна задавать вопросов, связанных с полом из-за запрета дискриминации по половому признаку. Однако оказалось, что ИИ именно этим и занимался – дискриминировал женщин – видимо, потому что сканировал весь интернет, чтобы определить кредитный риск обратившегося за картой.

Такое сканирование легко приведет искусственный интеллект к выводу, что претендент – женщина (например, покупает тампоны раз в месяц), а потом алгоритм обнаружит, что женщины всегда получали более низкие кредитные лимиты, чем мужчины. Отсюда короткий путь до решения, согласно которому существа, раз в месяц покупающие тампоны, являются более опасными заемщиками, которым следует выделять меньшие кредитные рамки.

Искусственный интеллект завоевывает финансовый мир: автоматическая торговля ценными бумагами и финансовый консалтинг, адаптированный к персональным запросам клиентов, прогнозирование рынка и чат-боты, выделение кредитов и определение уровня риска страхующегося. Эти сложные решения, которые до сих пор принимали люди, теперь принимают системы искусственного интеллекта, основанные на нейронных сетях, способных сканировать огромные объемы информации и в мгновение ока принимать взвешенные решения.

Многочисленные исследования показали, что искусственный интеллект оценивает кредитный и страховой риски точнее человека. Например, малые бизнесы, которым банки отказали в кредите, теперь получают ссуды от финтех-компаний. Алгоритмы просматривают Facebook и «читают» отзывы клиентов о бизнесе, чтобы оценить, насколько он успешен и надежен.

В США еще в 2017 году треть кредитов малым бизнесам выдали финтех-компании, использующие алгоритмы, которые способны точнее оценить риск. Многим из этих бизнесов банки отказались предоставить кредит, но алгоритмы в состоянии распознать положительные модели поведения и платежей «отказников» и решить, что они заслуживают получение кредита.

Это реальный вклад искусственного интеллекта в снижение финансового неравенства. Страховые компании тоже переходят на персонализированные полисы, предусматривающие стимулы для застрахованных – например, скидки для осторожных водителей или людей, которые поддерживают себя в хорошей физической форме.

Однако алгоритмы пишут люди, в основном белые мужчины, и бессознательно они встраивают в алгоритм свои предубеждения. Например, тот, кто занимает руководящую должность, получит более высокую кредитную оценку.

Бесспорно, искусственный интеллект расширяет круг получателей кредитов и страховок, тем самым уменьшая неравенство и сокращая социальные разрывы. Нет никаких сомнений и в том, что благодаря точным статистическим моделям одновременно снижается уровень риска для кредиторов. Бесспорно, это обостряет конкуренцию и совершенствует рынок. Например, сегодня невозможно себе представить торговлю на фондовых биржах без роботизированной торговли, управляемой компьютерами, уменьшающими ценовые искажения (например, арбитраж).

Но без рисков все равно не обходится. Заместитель юридического советника правительства Меир Левин пригласил группу экспертов, в числе которых профессор Асаф Хамдани из Тель-Авивского университета, профессор Дан Амирам, доктор Коби Кастиэль и доктор Ари Ахиаз. Цель – изучить риски использования искусственного интеллекта в финансовой системе и меры, которые необходимо принять, чтобы успешно противостоять этим рискам.

Группа экспертов представила выводы своего отчета под названием «Искусственный интеллект в финансовой системе: использование, проблемы и регулятивные решения». Он был отправлен для комментариев в финансовые надзорные органы и в министерства инноваций, которое разрабатывает Национальный план использования искусственного интеллекта.

Риски использования искусственного интеллекта в финансовой сфере очевидны. Это самообучающиеся системы, которые сканируют обширную информацию в интернете и на основании нее делают свои выводы. Алгоритм пишут люди, но потом они выпускают их на просторы интернета, чтобы он развивался сам по себе. Результаты могут быть непредсказуемыми.

Это демонстрирует и случай с кредитной картой Apple: программисты вовсе не собирались создавать алгоритм, дискриминирующий женщин. Наоборот, они даже запретили ему задавать гендерные вопросы, чтобы избежать такой дискриминации. Но как только алгоритм начинает делать выводы самостоятельно, его выводы уже нельзя контролировать. Проблема здесь тройная.

Алгоритмы, как мы уже отмечали, пишут в основном белые мужчины (ашкеназы в израильской версии). Не осознавая этого, они встраивают в алгоритм свои предубеждения и таким образом усиливают дискриминацию женщин и чернокожих (в израильском варианте – арабов), распространяя ее на сферу кредитования.

Базы данных, на которых учатся алгоритмы, – это исторические данные, содержащие бесчисленное множество предубеждений. Так и получается, что исторически женщины получали жесткие кредитные рамки из-за предвзятого отношения к ним мужчин. Но этот мужской сексизм теперь распознается алгоритмом и копируется им в систему, которая, как предполагается, свободна от предубеждений.

Поскольку алгоритм – самообучающийся, то понять, на каком основании он сделал тот или иной вывод, часто невозможно. Искусственный интеллект – это черный ящик, который невозможно взломать. Так, кстати, было и в Apple: разработчики алгоритма долго не могли объяснить, почему искусственный интеллект стал сексистским по отношению к женщинам.

Таким образом, даже самые лучшие намерения могут привести к плачевным результатам. Например, алгоритм торговли ценными бумагами, от которого требуется выработка наиболее прибыльных торговых стратегий, может легко совершать правонарушения без всякого преступного умысла. Есть даже возможность создания картеля: алгоритм одной компании изучит поведение алгоритма другой компании, и они начнут согласовывать торговые операции, так как это лучшее средство контроля рынка и получения прибыли.

Алгоритм, конечно, снова и снова сам себя корректирует, но это тоже поднимает тройную проблему. Во-первых, некоторые коррекции неточны. Например, можно сделать вывод, что человек, который быстро прокручивает страницу с условиями контракта до конца, является лжецом, а тот, кто заряжает аккумулятор своего телефона, только когда он почти разряжен, слишком любит рисковать. Или что тот, кто покупает в дисконтных сетях, беден и потому опасный заемщик.

Во-вторых, даже если коррекции точны, нет уверенности в том, что их можно использовать. В Израиле, например, даже если мы запретим алгоритму спрашивать о религии соискателя кредита, ему будет легко понять, что тот, кто живет в Умм-эль-Фахме, скорее всего, араб, а затем встроить в свои оценки дискриминацию, которая существует в предоставлении кредитов арабам.

В-третьих, алгоритм может легко получить информацию, использование которой законодательно запрещено. Например, закон запрещает страховым компаниям пытаться получить данные о генетических заболеваниях тех, кто обращается за медицинской страховкой, но алгоритм, который «видит» все визиты к врачу и все лекарства, которые покупает обратившийся за страховкой, может без труда добраться до этой информации.

Что же делать? Составители израильского отчета поясняют, что простых решений нет. Регулирующие органы многих стран пытаются изучать эту область, но они не располагают достаточными знаниями и информацией. Более того, иногда сами разработчики алгоритмов не могут объяснить, каким образом программа пришла к тому или иному решению.

Именно поэтому в некоторых странах уже принимают законы, запрещающие «черный ящик»: алгоритм должен быть прозрачным. Проблема в том, что это не всегда возможно, более того, алгоритм часто является коммерческой тайной компании. Поэтому альтернативный подход – обязать авторов алгоритма время от времени опрашивать его: «скармливать» ему профили заемщиков и проверять, не вызывают ли принимаемые им решения подозрения в предвзятости.

Мерав Арлозоров, TheMarker. Фото: Pixabay √