Активно внедряемые сегодня во все сферы деятельности системы искусственного интеллекта демонстрируют предвзятое отношение к тем или иным меньшинствам, утверждают представители многих правозащитных организаций. Это проявляется в сбоях систем распознавания лиц, которые с трудом идентифицируют чернокожих; отказах голосовой идентификации для пользователей с характерным региональным акцентом; или запретах на выдачу кредитов меньшинствам в банках.
Набиль Манджи (Nabil Manji), глава отдела криптовалют и web3 в платёжной службе Worldpay отмечает, что качество работы ИИ-модели определяется двумя составляющими: использованными при обучении материалами и эффективностью алгоритмов — поэтому Reddit и другие крупные платформы взимают плату за доступ к данным для обучения ИИ. Образуется фрагментация данных, и в традиционно консервативной сфере финансовых услуг результативность ИИ оказывается ниже, чем у компаний, способных быстро внедрять передовые решения и производить выборки актуальных данных. Образцом репрезентативно разрозненных данных в этом случае может служить технология блокчейна, уверен эксперт.
Румман Чоудхури (Rumman Chowdhury), бывший глава подразделения Twitter по этике машинного обучения назвал сферу кредитования ярким примером дискриминации со стороны ИИ. Аналогичная схема действовала в Чикаго в тридцатые годы прошлого века, напомнил эксперт: в банках висели большие карты города, на которых красным были отмечены районы с преимущественным проживанием чернокожего населения — жителям этих районов в кредитах отказывали. Аналогичные ошибки, по его словам, совершают и современные ИИ-алгоритмы оценки кредитоспособности граждан, принимая этническую принадлежность клиента в качестве одного из параметров.
Об этом говорит и Энгл Буш (Angle Bush), основательница организации «Чёрные женщины в искусственном интеллекте» — она признаёт, что такая дискриминация носит непреднамеренный характер и призывает кредитные организации как минимум допускать возможность такой ошибки. Разработчик в области ИИ Фрост Ли (Frost Li) обратил внимание, что из-за технологической дискриминации уже появилось множество малых финтех-стартапов специально для иностранцев: традиционный банк легко может отказать выпускнику Токийского университета в выдаче кредитной карты, даже если он работает в Google, но согласиться обслуживать любого выпускника местного колледжа.
Доказать факты такой дискриминации бывает непросто. Apple и Goldman Sachs пытались обвинить в том, что пользующимся Apple Card женщинам они устанавливали более низкие кредитные лимиты, чем мужчинам. Но Департамент финансовых услуг Нью-Йорка не смог найти подтверждений этим обвинениям.
По мнению экспертов, защититься от дискриминации человека со стороны ИИ помогут меры регулирования отрасли, вводимые международным организациями вплоть до ООН. Потенциальными проблемами ИИ являются становящиеся компонентами алгоритмов элементы дезинформации и предубеждений, а также «галлюцинации». В этой связи при внедрении ИИ в работу компаний или органов власти необходимы механизмы обеспечения прозрачности и подотчётности алгоритмов, которые помогут даже не являющимся профессионалами гражданам самостоятельно судить об их эффективности. У граждан должна быть возможность подавать жалобы на подобные решения; ИИ-алгоритмы должны проходить проверки, а на этапе их развёртывания необходима экспертиза на предмет предвзятости.
