Q1 2022

Введение

Спрос на этические услуги ИИ (включая такие термины, как «объяснимый ИИ» или «ответственный ИИ») резко вырос, отчасти из-за некоторых тревожных практик, используемых крупными технологическими компаниями. Ежедневные СМИ полны новостей о нарушениях конфиденциальности, алгоритмических предубеждениях и упущениях ИИ. За последнее десятилетие или около того общественное мнение перешло от состояния всеобщего забвения к растущему признанию того, что технологии ИИ и огромные объемы данных, на которых они основаны, представляют реальную угрозу конфиденциальности, подотчетности и прозрачности, а также справедливому обществу. .

Проект базы данных этического ИИ (EAIDB) стремится произвести еще один фундаментальный сдвиг — от осознания проблем к обучению потенциальных решений — путем освещения зарождающейся и в остальном непрозрачной экосистемы стартапов, направленных на смещение дуги инноваций ИИ в сторону этических норм. лучшие практики, прозрачность и подотчетность. EAIDB, разработанный в партнерстве с Ethical AI Governance Group, представляет собой углубленное исследование рынка растущего стартапа в области этического ИИ, направленного на внедрение ответственной разработки, развертывания и управления ИИ. Мы определяем пять ключевых подкатегорий, а затем обсуждаем ключевые тенденции и динамику.

Мотивация

Этический ИИ быстро завоевывает популярность среди различных заинтересованных сторон в инновационной среде — от руководителей стартапов, разрабатывающих решения, ориентированные на ИИ, и инвесторов, которые их финансируют, до корпоративных клиентов, внедряющих их, и общества в целом. Политика начинает проявляться в глобальном масштабе в отношении безопасного и ответственного ИИ. Этический ИИ становится повсеместной необходимостью для компаний — независимо от постановки проблемы. Огромное количество компаний, идентифицированных как «этичные компании ИИ», подтверждает эту реальность.

Мы определяем «этичную ИИ-компанию» как компанию, которая либо предоставляет инструменты для того, чтобы сделать существующие системы ИИ этичными, или, которая создает продукты, устраняющие элементы предвзятости, несправедливости или «неэтичности» в обществе. Количество таких компаний значительно выросло за последние пять лет.

Мотивация этого исследования рынка многогранна:

  • Инвесторы стремятся оценить риск ИИ в рамках комплексного профилирования компаний, занимающихся ИИ. EAIDB обеспечивает прозрачность действий игроков, работающих над тем, чтобы сделать ИИ более безопасным и ответственным.
  • Команды по внутреннему управлению рисками и соответствию требованиям должны внедрять, количественно оценивать и управлять рисками ИИ. Определение набора инструментов для этого имеет решающее значение. Существует также растущий спрос на этические методы искусственного интеллекта, как указано в Отчете IBM Institute for Business Value.
  • По мере того, как регулирующие органы конкретизируют политику в отношении этических методов ИИ, компании из этого списка будут только расти. Они в основном обеспечивают решение проблем, созданных ИИ.
  • С более философской точки зрения, ИИ должен работать для всех, а не только для одной части населения. Обеспечение справедливости и прозрачности в алгоритмах черного ящика и непрозрачных системах искусственного интеллекта имеет первостепенное значение.

Категория: Данные для ИИ

Описание

Компании в этой категории предоставляют специальные услуги для обеспечения конфиденциальности данных, раннего выявления предвзятости данных или предлагают альтернативные методы сбора/генерации данных, чтобы избежать усиления предвзятости на более поздних этапах жизненного цикла машинного обучения. Большая часть компаний в этой категории специализируются на синтетических данных: по сути, на создании нового искусственного набора данных, который статистически гарантированно ведет себя аналогично старому. Однако, поскольку эти данные больше не относятся к реальным людям или достоверной информации, проблем с конфиденциальностью нет. Эти компании соревнуются в том, насколько их синтетические наборы похожи на исходные наборы данных и насколько гибкими являются их решения (например, может ли продукт обрабатывать как немаркированные, так и размеченные данные?).

Другие подкатегории включают совместное использование данных (разрешения на данные, безопасная передача и т. д.), конфиденциальность данных (анонимизация, дифференциальная конфиденциальность и т. д.) и источники данных (репрезентативные образцы, усиление меньшинства и т. д.). Компании обычно предоставляют свои услуги через API или CLI.

Тенденции и динамика

Некоторые из наиболее интересных игроков в этой области являются экспертами в одном конкретном виде синтетических данных. Datagen, например, фокусируется в первую очередь на данных о лицах, позволяя наборам данных содержать различные цвета кожи, прически, пол, углы наклона и т. д., чтобы свести к минимуму риск необъективных технологий распознавания лиц. Платформы наблюдения и поиска данных, такие как Galileo или Snorkel AI, предлагают продукты, которые обеспечивают качество данных — первая автоматически исправляет систематическую ошибку в неструктурированных данных, а вторая выполняет справедливую автоматическую маркировку с помощью услуг проверки версий и аудита данных.

Учитывая важность данных для качества систем ИИ (мусор на входе, мусор на выходе), значение компаний «Данные для ИИ» будет только расти. Версии и аудит в контексте предвзятости будут по-прежнему играть большую роль в базовых предложениях, предоставляемых компаниями, занимающимися этическим ИИ. Может случиться так, что компании, занимающиеся синтетическими данными, будут вытеснять друг друга, поскольку входные барьеры довольно низки, и лишь немногие из них имеют превосходные продукты или используют нишевые области данных (зрение, текст и т. д.). Компании по обмену данными и конфиденциальности в некоторой степени пересекаются с кибербезопасностью и безопасными вычислениями, которые являются их основными источниками конкуренции. Чего не хватает в этом пространстве, так это «контекстно-зависимого интеллектуального анализа данных» или платформы интеллектуального анализа/поиска, которая понимает контекст набора данных, а затем оценивает возможные проблемы с предвзятостью.

Категория: ModelOps, мониторинг и наблюдаемость

Описание

Члены этой категории предоставляют специальные инструменты для мониторинга и обнаружения предвзятости прогноза (однако это может быть определено в контексте). Эти компании, которые обычно называют «гарантией качества для машинного обучения», специализируются на объяснимости «черного ящика», непрерывном мониторинге распространения и обнаружении множественной систематической ошибки. Для целей данного исследования компании MLOps, предоставляющие общие услуги мониторинга, не входят в сферу его охвата.

Компании в этом пространстве несколько однообразны в своих предложениях. Платформы MLOps, такие как Fiddler или Arthur, имеют такие функции, как обнаружение дрейфа и обнаружение/мониторинг смещения, но также касаются объяснимости (добавить которую относительно несложно). Другие в этой области сосредоточены именно на прозрачности глубокого обучения. Многие компании позиционируют себя как традиционные компании MLOps с дополнительным преимуществом программного обеспечения, связанного с предвзятостью. Одной из все более интересных подтем в мире MLOps является управление версиями моделей, которое очень тесно связано с управлением версиями данных и пересекается со следующей категорией — управлением.

Тенденции и динамика

Дифференциация продуктов между ведущими игроками в этой категории относительно невелика. Действующие лица в области MLOps (Amazon, DataRobot и т. д.) быстро внедрили технологии, связанные с предвзятостью, которые представляют собой некоторую форму конкуренции, но специализированные фирмы, подобные тем, которые относятся к этой категории, несомненно, предлагают лучшую интеграцию и лучшие продукты для мониторинга, потому что это их основной способ. бизнеса. У многих участников этого пространства есть собственные внутренние лаборатории, в которых теория применяется на практике. Это редкость в корпоративном мире, но компании, которые постоянно обращают внимание на новейшие методы обнаружения и устранения предвзятости и применяют их, несомненно, закрепят за собой лидирующие позиции.

Объяснимость в глубоком обучении сама по себе является спорным утверждением. Значения Шепли или LIME оспариваются как надлежащие объяснительные методы. Что касается данных, связанных с людьми, использование глубокого обучения может снизиться, потому что эти модели плохо интерпретируются и, следовательно, являются более рискованными инвестициями. Следовательно, соблюдение нормативных требований значительно сложнее. В этом случае модели глубокого обучения становятся менее желательными, а платформы, ориентированные на объяснимость глубокого обучения, такие как XaiPient, становятся менее желательными. Теория видимости в моделях глубокого обучения покажет, будет ли спрос на это подпространство расти или уменьшаться.

Рубрика: Аудит ИИ и GRC

Описание

Членами этой группы обычно являются специализированные консалтинговые фирмы или платформы, которые устанавливают подотчетность/управление, определяют количественную модель и/или бизнес-риски или упрощают соблюдение требований для внутренних команд в системах ИИ. Консалтинговые фирмы различаются по опыту и специализации (например, НЛП, глубокое обучение и т. д.). Некоторые, такие как BNH.ai, являются юридическими фирмами, специализирующимися на консультировании по предвзятости. Ведущие консалтинговые фирмы (BCG, McKinsey и др.) являются основными конкурентами и, как правило, привлекают самую разнообразную клиентуру, хотя, будучи более крупными и старыми компаниями, они имеют другие методологии и опыт, чем более мелкие, более молодые игроки.

Вместо этого программные платформы, как правило, сосредотачиваются на повышении подотчетности и прозрачности, делая модели ИИ доступными для всех заинтересованных сторон. Некоторые допускают автоматизацию управления, так что риск одинаково виден на протяжении всего жизненного цикла машинного обучения. Документация, отчетность и другие функции обычно включаются вместе с основным продуктом. Некоторые нишевые компании, такие как EthicsGrade, применяют объективные рамки к компаниям и присваивают оценки для повышения прозрачности как среди потребителей, инвесторов, так и регулирующих органов. Автоматизированное соблюдение также является подкатегорией, в которой такие компании, как Relyance AI, обеспечивают соблюдение договорных обязательств на уровне кода.

Тенденции и динамика

Рост компаний, занимающихся аудитом ИИ и GRC, был постоянным в течение последних пяти лет, отчасти из-за более слабой политики и нерешительности международных правительств в отношении того, какими должны быть передовые методы в области ИИ. Эти фирмы, естественно, являются наиболее гибкими компаниями в EAIDB и могут помочь с различными частями жизненного цикла AI / ML контекстно-зависимым образом — то, с чем платформы всегда будут бороться. Однако по мере создания более совершенных показателей и увеличения спроса на автоматическое соответствие ML такие платформы, как Credo AI, могут начать подрывать доли компаний на рынке. Автоматизированный GRC по-прежнему носит очень общий характер — по-прежнему остается много места для специализированных, учитывающих предвзятость решений GRC.

Рубрика: Целевые решения и технологии ИИ

Описание

Целевые ИИ-решения охватывают ИИ-компании, которые пытаются решить конкретную этическую проблему по вертикали. Эти компании, иногда описываемые как «более этичный способ __», обычно включают в себя такие ярлыки, как наемные технологии, страховые технологии, финтех, медицинские технологии и т. д. Целевые технологии ИИ больше относятся к общему ИИ, более горизонтально интегрированному и вертикально применимому. Некоторыми примерами распространенных горизонталей являются обнаружение токсичного контента, обнаружение дипфейков и этичное распознавание лиц.

Из-за бума предвзятости при приеме на работу в середине 2010-х годов большинство компаний в этой категории являются компаниями по аренде технологий. Pave — это стартап по сравнительному анализу, предназначенный для предоставления инструментов для решения проблемы неравенства в оплате труда, в то время как Diversio может дать количественную оценку и помочь улучшить инициативы DEI. Справедливое отношение при кредитовании с такими компаниями, как FairPlay, также является горячей темой (хотя справедливость в финансах всегда была более регламентирована, чем в других областях).

Другие чрезвычайно нишевые компании, такие как Flock Safety и Citibeats, затрагивают очень интересные варианты использования ответственного проектирования ИИ и имеют относительно немного конкурентов.

Тенденции и динамика

Поскольку количество приложений, в которых необходим этический ИИ, продолжает расти, целевые решения ИИ будут становиться все более популярными. Например, с появлением глубоких подделок были созданы специализированные компании, занимающиеся этическими последствиями технологии (такие как Sentinel для кражи личных данных). Недавнее завершение расшифровки генома человека может стимулировать рост числа компаний, занимающихся ИИ, связанных с биоданными и генетической конструкцией. Долгосрочное пространство приложений в сфере здравоохранения может быть связано с этическими проблемами в отношении этих генетических данных (не ограничиваясь конфиденциальностью).

В рамках insuretech может появиться новая волна страховых компаний, использующих альтернативные методы расчета цен. Just Insure, например, использует фактическое вождение автомобиля для расчета суммы, которую он должен заплатить. Это устраняет необходимость проверки биографических данных с использованием других типов данных (например, расы) и, следовательно, может уменьшить предвзятость по доверенности. В этой категории есть много возможностей для роста очень нишевых компаний — есть вертикали (такие как этическое раскрытие преступлений или этическая аналитика социальных сетей), в которых почти нет конкуренции.

Рубрика: Решения с открытым исходным кодом

Описание

Как следует из названия, эта категория содержит решения с полностью открытым исходным кодом, призванные обеспечить легкий доступ к этическим технологиям и ответственному искусственному интеллекту. Компании, стоящие за этими структурами, обычно не являются коммерческими (хотя некоторые, такие как Credo Lens, являются таковыми), но их технология с открытым исходным кодом обычно является хорошим приближением к передовым достижениям прикладных этических исследований ИИ. инструменты с открытым исходным кодом, безусловно, играют свою роль в экосистеме стартапов, поскольку они предоставляют доступ к дешевым инструментам, которые могут использовать другие, неспециализированные фирмы. Большинство инструментов с открытым исходным кодом связаны с конфиденциальностью, обнаружением предвзятости и объяснимостью. Недостатки этой категории согласуются с недостатками открытого исходного кода в целом: уязвимость для злоумышленников, отсутствие удобства для пользователя и отсутствие обширных систем поддержки. Тем не менее, они обеспечивают базовый уровень, который компаниям необходимо постоянно повышать, обеспечивая большую гибкость, лучшую поддержку и более легкий доступ, чтобы гарантировать цены, которые они взимают.

Тенденции и динамика

Обычно компании не успевают за быстрыми темпами теоретического развития в такой динамичной области, как алгоритмическая честность. Платформы с открытым исходным кодом могут, потому что барьер для создания репозитория GitHub и запуска проекта с открытым исходным кодом практически ничтожен. Эта категория всегда будет расти, потому что конкурентов нет. Deepchecks, например, — это фреймворк с открытым исходным кодом для тестирования моделей машинного обучения с возможностью написания тестов на предвзятость в видении и стандартных моделях. Его репозиторий кода может похвастаться высокой активностью — три коммита в день. Тем не менее, сообщество открытого исходного кода, как правило, является хорошим местом для установления исходного уровня и выявления аспектов этического ИИ, которых не хватает в коммерческом мире. Только с помощью фреймворков с открытым исходным кодом можно создать синтетический набор данных (который сохраняет конфиденциальность и соответствует требованиям), обеспечивать справедливость в обучении машинному обучению, объяснять эти модели, а затем проверять их на предвзятость прокси. Продукты в коммерческом мире должны превосходить платформы с открытым исходным кодом по масштабу, скорости и т. д.

Тенденции экосистемы

  1. По мере создания, уточнения и дальнейшего определения политики популярность консалтинговых фирм может снижаться, а платформы MLOps/GRC могут расти из-за возможности программно обеспечивать соответствие заданным конкретным показателям. Это противоречит тенденции последних десяти лет, когда консалтинговые фирмы опережали автоматизированные решения.

2. Действующие лица в этой сфере начнут внедрять менее эффективные версии технологий, связанных с предвзятостью, чтобы сохранить жизнеспособность своих платформ в этом новом мире политики, основанной на предвзятости. Им не хватает специализации, опыта и преимуществ первопроходцев, присущих этим стартапам, но у них есть устоявшаяся клиентская база, на которую можно опираться. Смогут ли эти компании эффективно выйти на новые рынки, еще неизвестно.

3. Современный технологический стек быстро превратится в этический стек, в котором поток данных тщательно отслеживается, документируется и анализируется с помощью продуктов, предоставляемых компаниями из вышеупомянутых категорий. Например, компания может использовать Gretel для конфиденциальности данных и синтетических данных, Akira для управления MLOps и непрерывного обнаружения предвзятости, а затем Saidot для управления версиями моделей и управления ими.

4. Спрос на этический ИИ будет постоянно расти, потому что правильное предоставление услуг ИИ зависит от предметной области, контекста и очень нестабильно (т. е. всегда необходимо отслеживать, проверять качество и т. д.). Не существует универсального подхода к ИИ. «Бум» этического ИИ, по оценкам, придется на середину-конец 2020-х годов и будет следовать кривой, аналогичной «этическим предшественникам», таким как кибербезопасность в конце 2000-х и конфиденциальность в конце 2010-х. Придет время, когда политика, реальные примеры того, что ИИ пошло не так, и новое открытие предвзятого ИИ (и искреннее желание исправить это) подтолкнут компании в правильном направлении (через страх или волю), что приведет к большому спросу и больше включений в EAIDB.

Заключение

Это зарождающаяся экосистема, но она быстро растет, и ожидается, что ее темпы будут увеличиваться по мере улучшения мотивации. Начальные меры по отслеживанию и измерению этой области, безусловно, в свою очередь будут усиливаться. Отчеты EAIDB будут публиковаться ежеквартально, чтобы приподнять завесу и привлечь внимание как к важности, так и к росту этого пространства. Со временем появятся линии тренда, и таксономии изменятся, чтобы адаптироваться к динамичной реальности этой экосистемы. А пока мы надеемся, что этот отчет пролил некоторый свет на то, что, несомненно, является увлекательной и важной областью инноваций.

EAIDB сотрудничает с Benhamou Global Ventures и Группой этического управления ИИ (EAIGG). Высказанные мнения принадлежат только автору.