На протяжении нескольких лет в 1980-х годах абитуриентов Медицинской школы больницы Святого Георгия в Лондоне отбирали, используя высокотехнологичный метод. Компьютерная программа, одна из первых в своем роде, просматривала резюме, выбирая из всех заявок порядка 2000 кандидатов в год. Программа анализировала записи о поступлениях, изучая характеристики успешных заявителей, и корректировалась до тех пор, пока ее решения не совпадали с мнением приемной комиссии.
Однако программа научилась находить больше, чем хорошие оценки и признаки академических достижений. Через четыре года после реализации программы два врача в больнице обнаружили, что программа, как правило, отвергает женщин-претендентов и лиц с неевропейскими именами, независимо от их академических достоинств. Врачи обнаружили, что порядка 60 претендентам каждый год просто отказывали в собеседовании из-за их пола или расы. Программа включала гендерные и расовые предубеждения в данные, используемые для ее обучения — по сути, научилась тому, что врачи и иностранцы не лучшие кандидаты в доктора.
Тридцать лет спустя мы столкнулись с аналогичной проблемой, но программы с внутренними предубеждениями теперь шире распространены и принимают решения с еще более высокими ставками. Алгоритмы искусственного интеллекта, основанные на машинном обучении, используются повсюду, начиная с правительственных учреждений и заканчивая сферой здравоохранения, принимая решения и делая прогнозы, основанные на исторических данных. Изучая закономерности в данных, они также поглощают и предубеждения в них. Google, например, показывает больше рекламы низкооплачиваемой работы женщинам, чем мужчинам; однодневная доставка Amazon минует негритянские кварталы, а цифровые камеры с трудом распознают лица не белого цвета.
Трудно понять, является ли алгоритм предвзятым или справедливым, и так считают даже компьютерные эксперты. Одна из причин заключается в том, что детали создания алгоритма часто считаются запатентованной информацией, поэтому их тщательно охраняют владельцы. В более сложных случаях алгоритмы настолько сложны, что даже создатели не знают точно, как они работают. Это проблема так называемого «черного ящика» ИИ — нашей неспособности увидеть внутреннюю часть алгоритма и понять, как он приходит к решению. Если оставить его запертым, наше общество может серьезно пострадать: в цифровой среде реализуются исторические дискриминации, с которыми мы боролись много лет, от рабства и крепостничества до дискриминации женщин.
Эти беспокойства, озвученные в небольших сообществах информатиков ранее, теперь набирают серьезный оборот. За последние два года в этой области появилось довольно много публикаций о прозрачности искусственного интеллекта. Вместе с этой осведомленностью растет и чувство ответственности. «Могут ли быть какие-нибудь вещи, которые нам не стоит строить?», задается вопросом Кейт Кроуфорд, исследователь в Microsoft и соучредитель AI Now Insitute в Нью-Йорке.
«Машинное обучение наконец-то вышло на передний план. Теперь мы пытаемся использовать его для сотен различных задач в реальном мире», говорит Рич Каруана, старший научный сотрудник Microsoft. «Вполне возможно, что люди смогут развернуть вредоносные алгоритмы, которые значительно повлияют на общество в долгосрочной перспективе. Теперь, похоже, внезапно все поняли, что это важная глава в нашей области».
Самовольный алгоритм
Мы давно используем алгоритмы, но проблема черного ящика не имеет прецедентов. Первые алгоритмы были простыми и прозрачными. Многие из них мы до сих пор используем — например, для оценки кредитоспособности. При каждом новом использовании в дело вступает регулирование.
«Люди использовали алгоритмы для оценки кредитоспособности на протяжении десятилетий, но в этих областях были довольно сильные урегулирования, которые росли параллельно с использованием предиктивных алгоритмов», говорит Каруана. Правила регулирования гарантируют, что алгоритмы прогнозирования дают объяснение каждому баллу: вам было отказано, потому что у вас большой кредит либо слишком низкий доход.
В других областях, таких как правовая система и реклама, отсутствуют правила, запрещающие использование заведомо непросчитываемых алгоритмов. Вы можете не знать, почему вам отказали в займе или не взяли на работу, потому что никто не заставляет владельца алгоритма объяснять, как это работает. «Но мы знаем, что поскольку алгоритмы обучаются на данных реального мира, они должны быть предвзятыми — потому что реальный мир предвзят», говорит Каруана.
Рассмотрим, к примеру, язык — один из самых очевидных источников предвзятости. Когда алгоритмы обучаются на написанном тексте, они формуют некоторые ассоциации между словами, которые появляются вместе чаще. Например, они учатся тому, что «для мужчины быть компьютерным программистом — это то же, что для женщины быть домохозяйкой». Когда этому алгоритму поручат найти подходящее резюме для работы программистом, вероятнее всего, он выберет среди мужчин-кандидатов.
Подобные проблемы довольно легко исправить, но многие компании на это просто не пойдут. Вместо этого они будут скрывать подобные несоответствия за щитом защищенной информации. Без доступа к деталям работы алгоритма, эксперты во многих случаях не смогут определить, есть предубеждение или нет.
Поскольку эти алгоритмы являются секретными и остаются вне юрисдикции регулирующих органов, гражданам практически невозможно засудить создателей алгоритмов. В 2016 году высший суд Висконсина отклонил просьбу человека рассмотреть внутреннюю работу COMPAS. Мужчина, Эрик Лумис, был приговорен к шести годам тюремного заключения отчасти потому, что COMPAS посчитал его «высокорисковым». Лумис говорит, что его право на надлежащую процедуру было нарушено зависимостью судьи от непрозрачного алгоритма. Окончательная заявка на рассмотрение дела в Верховном суде США потерпела неудачу в июне 2017 года.
Но скрытные компании не будут пользоваться своей свободой в течение неограниченного времени. К марту Евросоюз примет законы, которые потребуют от компаний возможности объяснить заинтересованным клиентам, как работают их алгоритмы и как принимают решения. У США нет такого законодательства в разработке.
Криминалистика черного ящика
Независимо от того, будут ли регулирующие органы вовлечены во все это, культурный сдвиг в том, как разрабатываются и развертываются алгоритмы, может уменьшить распространенность необъективных алгоритмов. Поскольку все больше компаний и программистов обязуются делать свои алгоритмы прозрачными и объяснимыми, некоторые надеются, что компании, которые этого не сделают, потеряют хорошую репутацию в глазах общественности.
Рост вычислительной мощности позволил создать алгоритмы, которые являются и точными, и объяснимыми — эту техническую задачу разработчики не могли преодолеть исторически. Последние исследования показывают, что можно создавать объяснимые модели, которые предсказывают рецидив криминальных субъектов так же точно, как черный ящик криминалистов вроде COMPAS.
«Все готово — мы знаем, как создавать модели без черных ящиков», говорит Синтия Рудин, доцент информатики и электротехники в Университете Дьюка. «Но не так-то просто привлечь внимание людей к этой работе. Если правительственные агентства перестанут платить за модели черного ящика, это бы помогло. Если судьи откажутся использовать модели черного ящика для вынесения приговора, это тоже поможет».
Другие работают над тем, чтобы придумать способы проверки справедливости алгоритмов, создав систему проверок и балансировок до того, как алгоритм будет выпущен в мир, подобно тому как проходит испытание каждый новый препарат.
«Сейчас модели делаются и развертываются слишком быстро. Не проводится надлежащих проверок до выпуска алгоритма в свет», говорит Сара Тан из Корнеллского университета.
В идеале разработчики должны отметать известные предвзятости — например, по полу, возрасту и расе — и запускать внутренние симуляции для проверки своих алгоритмов на наличие других проблем.
Тем временем, прежде чем дойти до точки, когда все алгоритмы будут тщательно тестироваться до выпуска, уже есть возможность определять, какие из них будут страдать от предвзятости.
В своей последней работе Тан, Каруана и их коллеги описали новый способ понять, что может происходить под капотом алгоритмов черного ящика. Ученые создали модель, которая имитирует алгоритм черного ящика, обучаясь оценивать риск рецидивизма по данным COMPAS. Также они создали другую модель, которая обучалась по данным реального мира, которые показывают, действительно ли происходил предсказанный рецидивизм. Сравнение двух моделей позволило ученым оценить точность прогнозируемого балла, не анализируя алгоритм. Различия в результатах двух моделей могут показать, какие переменные, такие как раса или возраст, могут быть более важными в той или иной модели. Их результаты показали, что COMPAS предвзято относится к черным людям.
Правильно построенные алгоритмы могут устранить давно устоявшиеся предубеждения в области уголовного правосудия, полицейской деятельности и многих других сферах общества.
