XAI подразумевает разработку систем ИИ, которые могут объяснить свой процесс принятия решений с помощью различных методов. XAI должен позволить внешним наблюдателям лучше понять, как происходит вывод системы ИИ и насколько он надежен. Это важно, потому что ИИ может привести к прямым и косвенным негативным последствиям, которые могут повлиять на отдельных людей и общество.
Как и объяснение того, что такое ИИ, объяснение его результатов и функционирования также может быть сложным, особенно когда в игру вступают системы ИИ с глубоким обучением. Чтобы не инженеры могли представить себе, как ИИ учится и открывает для себя новую информацию, можно предположить, что эти системы используют сложные схемы в своем внутреннем ядре, которые по форме напоминают нейронные сети в человеческом мозге.
Нейронные сети, которые способствуют принятию решений ИИ часто называют системами глубокого обучения. Обсуждается, в какой степени решения, принимаемые системами глубокого обучения, являются непрозрачными или непостижимыми, и в какой степени ИИ и его мышление могут и должны быть объяснимы для обычных людей.
Среди ученых ведутся споры о том, являются ли системы глубокого обучения действительно “черными ящиками” или полностью прозрачными. Однако общее мнение таково, что большинство решений должны быть объяснимы в той или иной степени. Это важно, поскольку внедрение систем ИИ государственными или коммерческими структурами может негативно повлиять на отдельных людей, что делает крайне важным обеспечение подотчетности и прозрачности этих систем.
Например, случай с голландской системой Systeem Risico Indicatie (SyRI) является ярким примером, иллюстрирующим необходимость объяснимого ИИ при принятии государственных решений. SyRI была автоматизированной системой принятия решений с использованием ИИ, разработанной голландскими полуправительственными организациями, которая использовала личные данные и другие инструменты для выявления потенциального мошенничества с помощью непрозрачных процессов, позже классифицированных как “черные ящики”.
Система оказалась под пристальным вниманием из-за отсутствия прозрачности и подотчетности, а национальные суды и международные организации заявили, что она нарушает неприкосновенность частной жизни и различные права человека. Дело SyRi иллюстрирует, как правительственные приложения ИИ могут влиять на людей, воспроизводя и усиливая предубеждения и дискриминацию. SyRi несправедливо нацелилась на уязвимых людей и сообщества, такие как население с низким уровнем дохода и меньшинства.
Цель SyRi – найти потенциальных мошенников в сфере социального обеспечения, пометив определенных людей как людей с повышенным риском. SyRi, как система обнаружения мошенничества, была развернута только для анализа людей в районах с низким уровнем дохода, поскольку такие районы считались проблемными зонами. Поскольку штат развернул анализ рисков SyRI только в тех районах, которые уже считались зонами повышенного риска, неудивительно, что там обнаружилось больше граждан с повышенным риском (по сравнению с другими районами, которые не считаются зонами повышенного риска).
Этот ярлык, в свою очередь, будет способствовать формированию стереотипов и укреплению негативного образа жителей, проживающих в этих районах (даже если они не были упомянуты в отчете о рисках или квалифицированы как непострадавшие), благодаря всеобъемлющим межорганизационным базам данных, в которые такие данные поступают и перерабатываются в различных государственных учреждениях. Этот случай иллюстрирует, что когда системы ИИ приводят к нежелательным негативным результатам, таким как предвзятость, они могут остаться незамеченными, если отсутствует прозрачность и внешний контроль.
Помимо государств, частные компании разрабатывают или внедряют множество систем ИИ, при этом прозрачность и объяснимость перевешиваются другими интересами. Хотя можно утверждать, что современные структуры, обеспечивающие ИИ, не существовали бы в их нынешнем виде, если бы не государственное финансирование, значительная часть прогресса, достигнутого сегодня в области ИИ, финансируется частными компаниями, и этот прогресс неуклонно растет. увеличивается. Фактически, частные инвестиции в ИИ в 2022 году будут в 18 раз больше, чем в 2013 году.
Коммерческие ИИ производители несут ответственность прежде всего перед своими акционерами, поэтому могут быть в значительной степени сосредоточены на получении экономической прибыли, защите патентных прав и предотвращении регулирования. Следовательно, если функционирование коммерческих систем ИИ не является достаточно прозрачным, а огромные объемы данных, предназначенных для обучения и совершенствования ИИ, хранятся в частном порядке, необходимо понимать, как работает такая система.
В конечном счете, важность XAI заключается в его способности предоставлять информацию о процессе принятия решений его моделями, позволяя пользователям, производителям и контролирующим органам понять, как и почему был создан тот или иной результат.
Это, вероятно, помогает укрепить доверие к правительственным и частным системам ИИ. Это повышает подотчетность и гарантирует, что модели ИИ не являются предвзятыми или дискриминационными. Это также помогает предотвратить переработку некачественных или незаконных данных в государственных учреждениях из неблагоприятных или всеобъемлющих межорганизационных баз данных, пересекающихся с алгоритмическими системами обнаружения мошенничества.
