Доверенный ИИ: от концепции до реализации

Доверенный ИИ — это концепция разработки и эксплуатации систем искусственного интеллекта, гарантированно обладающих свойствами надежности, безопасности, эффективности, продуктивности, прозрачности, конфиденциальности, справедливости и этичности получаемых результатов. Все это предполагает подотчетность соответствующих решений, созданных в доверенной среде разработки и эксплуатации, в рамках концепции доверенного продукта в составе платформы, на основе доверенных алгоритмов, доверенных карт знаний, аксиоматического обучения, доверенной среды кодогенерации и доверенного GraphRAG (Graph-based RAG) — метода анализа и генерации информации, основанного на графовом подходе с дополненным извлечением данных из внешних источников (Retrieval Augmented Generation, RAG).

Создание и использование доверенного ИИ в медицине включают в себя разработку, внедрение, использование и улучшение ИИ в диагностике, лечении, реабилитации, уходе за пациентами, обеспечении лекарствами, контроле качества медпомощи и других областях. Все это образует область цифровизации медицинского центра на основе платформы доверенного ИИ (рис. 1).

Рис. 1. Цифровизация медицинского центра на основе платформы доверенного ИИ

Область цифровизации состоит из двух контуров: контура исследований и разработок («контур R&D») и контура эксплуатации киберфизических систем («контур КФС») [1]. Первый размещается в облаке на основе катастрофоустойчивой конфигурации ЦОД, а второй на производственной площадке на мощностях одного вычислительного кластера или их федерации: в стационаре, амбулатории, автомобильном телемедицинском модуле, полевом хирургическом модуле и т. д. С одним контуром R&D может быть интегрировано несколько контуров КФС.

Ученые, аналитики и разработчики подписываются на продукты в зоне подписок, получают доступ к данным продуктов, ведут разработку производных продуктов в виртуальной лаборатории с помощью специализированных средств инструментальной зоны, а при помощи зоны автоматизации операций размещают вычислительные задания в зоне расчетов и получают отчеты с выявленными рисками и метриками качества своих продуктов из зоны контроля рисков. В контуре R&D (рис. 2) разрабатываются тезаурусы и карты знаний, которые загружаются в контур КФС (рис. 3) посредством интеграции фабрики данных, расположенной в разных контурах.

Рис. 2. Архитектура контура R&D

Рис. 3. Медицинская карта знаний

Менеджеры риска подписываются на соответствующие продукты и получают доступ к их данным, ведут разработку производных продуктов по контролю рисков в виртуальной лаборатории с помощью специализированных средств из инструментальной зоны, а при помощи средств зоны автоматизации операций размещают вычислительные задания в зоне контроля рисков, при этом продукты по контролю рисков получают доступ к данным мониторинга курируемых продуктов. В итоге менеджеры риска получают отчеты с метриками качества курируемых продуктов и выявленных рисков.

Менеджеры данных выполняют операции по импорту, учету и верификации качества дата-продуктов в зоне учета и контроля качества данных [2]. Дата-продукты получаются из подсистемы управления экспортом данных контура КФС (рис. 3). Администраторы безопасности выполняют операции по управлению доступом пользователей к ресурсам платформы при помощи подсистемы управления доступом. Администраторы защищенности выполняют задачи по комплексному анализу рисков платформы и продуктов в ее составе, включая специфические риски ИИ.

После завершения приемо-сдаточных испытаний продукта в составе платформы размещается в соответствующем магазине [3]: данных, знаний и навыков.

Лечащие или дежурные врачи, медицинские сестры и врачи-специалисты используют ассистент для взаимодействия с подсистемой поддержки врачебных решений. Врачи-методисты и контролеры качества используют конструктор для взаимодействия с подсистемами управления семантикой и протоколами. Врачи-диагносты при помощи диагностического или лабораторного оборудования выполняют исследования различных аспектов состояния здоровья пациентов. Дежурные или лечащие врачи при помощи медицинского оборудования выполняют пациентам мероприятия интенсивной терапии. Медсестры при помощи медицинского оборудования выполняют пациентам физиотерапевтические мероприятия. Дежурные или лечащие врачи и медсестры при помощи медицинского оборудования подключают тяжелых или нестабильных пациентов к непрерывному мониторингу показателей состояния здоровья. Менеджеры данных выполняют операции по экспорту, учету и верификации качества дата-продуктов. Данные для дата-продуктов получаются из фабрики данных. Контролеры рисков выполняют задачи по анализу допустимости модельных рисков и выполнения требований со стороны продуктов, связанных с подотчетностью, аудируемостью и прозрачностью продуктов и входящих в их состав моделей машинного обучения. Администраторы безопасности выполняют операции по управлению доступом пользователей к ресурсам контура КФС при помощи подсистемы управления доступом.

Прозрачный и подотчетный ИИ

Подотчетный ИИ (Accountable AI) — это прежде всего объяснимый (Explainable AI) и интерпретируемый ИИ (Interpretable AI). Первый предусматривает разработку методов, позволяющих объяснить результаты работы моделей ИИ (глубинные нейронные сети и пр.) и понять, как было получено то или иное решение. Интерпретируемый ИИ фокусируется на создании изначально понятных и легко интерпретируемых моделей, использующих простые алгоритмы: деревья решений, линейные модели и т. п., что делает прозрачным процесс принятия решений.

Подотчетный ИИ акцентирует внимание на ответственности и полной ясности всех процессов разработки и использования систем ИИ. Это означает, что системы должны быть так спроектированы, чтобы в любой момент времени их работа могла быть проверена, объяснена и подвергнута аудиту на соответствие требованиям контроля уровня качества, предвзятости и рисков ИИ, этическим и юридическим нормам [1]. Подотчетный ИИ охватывает все аспекты ответственности и прозрачности в разработке и использовании ИИ, а интерпретируемый и объяснимый сосредоточены на конкретных аспектах понимания и прозрачности моделей ИИ.

Понимание интерпретируемого ИИ включает: алгоритмическую подотчетность (прозрачность), право на объяснение и модель белого ящика (white-box model). Алгоритмическая подотчетность включает в себя возможность отслеживать ошибки и предвзятости в алгоритмах, а также требования по разработке механизмов для их исправления и предотвращения. Это особенно важно в контексте этических и социальных последствий применения ИИ в таких чувствительных областях, как здравоохранение, финансы, правосудие, управление инженерной инфраструктурой и прочих областях, где принятые с помощью ИИ решения могут повлиять на жизнь людей. Право на объяснение — индивидуальное право пользователя ИИ-системы на получение информации, гарантирующее, что в процессе исполнения задач система протоколирует всю свою работу и по запросу формирует юридически значимое обоснование результатов принятых решений. Например, в случае отказа банка в выдаче кредита должен формироваться отчет и справка с указанием причин. Право на объяснение может регламентироваться законодательно либо в виде профессионального стандарта. Модель белого ящика позволяет разработчикам и пользователям понимать и контролировать все внутренние процессы и механизмы работы моделей ИИ с целью интерпретации процесса преобразования входных данных в результаты работы модели. Модель определяет допустимые классы алгоритмов: линейная регрессия, деревья решений, Generalized Additive Models (GAMs) и уровень доверия к обучающей выборке, обычно достигаемый путем использования аксиоматического обучения на основе графов знаний, валидированных экспертами. Разработчики имеют полный доступ к исходному коду модели и алгоритмам, используемым для обучения и принятия решений, а также к обучающим данным. Модель белого ящика позволяет анализировать работу моделей машинного обучения, выявлять потенциальные проблемы и улучшать их производительность, однако требует от разработчика глубоких знаний. Такая модель обычно используется в медицинских системах поддержки принятия решений и в областях, где требуется высокая степень доверия и прозрачность. Ограничения алгоритмов машинного обучения для модели белого ящика компенсируются автоматизацией процессов разработки ИИ-систем на основе графов знаний с помощью автогенераторов, строящих ансамбли моделей, которые при получении входных данных документируют весь процесс преобразования признаков по всей цепочке. Далее задокументированный процесс может быть представлен в виде пояснительного отчета, в котором однозначно представлен весь процесс преобразования входных данных в результат.

Доверенная среда разработки

Концепция доверенной среды разработки направлена на создание условий, при которых создание и эксплуатация систем ИИ происходит с соблюдением стандартов отбора повторно используемых компонентов, безопасности, надежности, эффективности, продуктивности, прозрачности, подотчетности, конфиденциальности, справедливости, этичности и аудита на соответствие требованиям, включая качество данных, устойчивости к угрозам и соблюдения права на объяснение.

Повторно используемые компоненты могут использоваться без переделки в различных проектах. Отбор компонентов обеспечивается на основе критериев качества, безопасности и соответствия требованиям. При этом выполняется регулярное обновление и проверка компонентов на их актуальность, безопасность и соответствие стандартам.

Безопасность среды разработки обеспечивается за счет шифрования данных; аутентификации и авторизации пользователей для контроля доступа к ресурсам; мониторинга и обнаружения вторжений для предотвращения кибератак.

Надежность среды разработки и результатов обеспечивается путем тестирования и отладки кода для выявления и устранения ошибок; резервного копирования данных; использования отказоустойчивых систем для минимизации простоев; размещения оборудования в ЦОД разных провайдеров; применения аксиоматического обучения для генеративного ИИ, участвующего в кодогенерации.

Эффективность среды разработки обеспечивается за счет оптимизации алгоритмов и структур данных для повышения производительности; автоматизации массовых задач для сокращения времени разработки; использования облаков для масштабирования ресурсов.

Продуктивность среды разработки обеспечивается благодаря кодогенерации на основе специализированных средств и генеративных моделей ИИ для ускорения процесса разработки, автоматического тестирования и сборки с целью минимизации ошибок, интеграции с системами управления проектами для автоматического отслеживания прогресса.

Прозрачность обеспечивается за счет публикации отчетов о результатах тестирования и аудите процессов и сред разработки независимыми экспертами, предоставления доступа к исходному коду и документации заинтересованным сторонам, взаимодействия с сообществом разработчиков для обмена опытом и знаниями.

Подотчетность среды разработки обеспечивается за счет ведения журналов событий для аудита действий пользователей и систем; проведения аудита безопасности и соответствия стандартам; предоставления отчетности о результатах аудита заинтересованным сторонам.

Конфиденциальность среды разработки обеспечивается за счет предоставления доступа к защищаемым данным только авторизованным пользователям; шифрования данных при передаче и хранении; соблюдения законодательства о защите персональных данных.

Справедливость среды разработки обеспечивается за счет создания алгоритмов без предубеждений и дискриминации прав и возможностей пользователей или лиц, которых затрагивают результаты работы ИИ-систем; систематического мониторинга и корректировки алгоритмов для предотвращения каких-либо аспектов проявления несправедливости.

Этичность среды обеспечивается за счет соблюдения принципов уважения к правам человека и его законным возможностям, исключения использования ИИ для ограничения прав и возможностей людей.

Аудит среды разработки на соответствие требованиям обеспечивается путем идентификации и документирования всего установленного и используемого в среде разработки ПО; проверки и оценки лицензий на ПО; оценки способов использования ПО и обеспечения соблюдения требований лицензий; выявления потенциальных рисков безопасности, связанных с программным обеспечением, включая известные уязвимости в компонентах с открытым исходным кодом; документирования результатов аудита, с указанием нарушений и предоставлением рекомендаций по их исправлению.

Аудит качества данных обеспечивается за счет их проверки перед использованием, маркировки и, при необходимости, удаления выбросов и иных аномалий, а также применения методов очистки и нормализации.

Среда разработки должна быть устойчива к угрозам, включая угрозы манипуляции данными, что обеспечивается за счет обучения моделей ИИ на разнообразных, эталонных для различных рисков искажения данных, а также использования методов обнаружения и предотвращения манипуляций, регулярного обновления программного кода и файлов весов моделей машинного обучения для учета новых угроз и изменений в данных.

Соблюдение права на объяснение обеспечивается за счет использования интерпретируемых моделей ИИ; создания визуальных представлений данных и процессов, происходящих внутри модели ИИ; генерации высказываний на естественном языке, объясняющих решения модели на основе логических правил или эвристик, которые используются для принятия решений; идентификации и локализации ошибок в работе модели ИИ для лучшего понимания причин принятия неправильных решений; применения специализированных методов объяснения, таких как LIME (Local Interpretable Model-agnostic Explanations) или SHAP (SHapley Additive exPlanations), позволяющих объяснить результаты вычислений модели на уровне отдельных входных признаков; предоставления пользователям возможности интерактивно взаимодействовать с моделью ИИ, задавать вопросы и получать объяснения на естественном языке; разработки обучающих материалов и документации, объясняющих работу модели; внедрения механизмов аудита и контроля, которые позволяют проверить и подтвердить объяснения, предоставляемые моделью ИИ; сбора обратной связи от пользователей о том, насколько понятны и приемлемы объяснения, предоставляемые моделью ИИ; разработки и внедрения стандартов и регулятивных требований, обязывающих разработчиков ИИ-систем обеспечивать право на объяснение.

Доверенный продукт и доверенный алгоритм

Рост сложности решений на основе ИИ приводит к укрупнению соответствующих систем и их трансформации в платформы, интегрирующие базы данных, API, пользовательские интерфейсы, панели мониторинга и прочие сервисы. Это позволяет продуктам получать доступ к большим объемам разнообразных данных, разделять общие ресурсы, а также взаимодействовать с другими продуктами и сервисами внутри платформы. Доверенный продукт в составе платформы состоит из двух независимых частей: «Функциональный ИИ» и «Контроль риска» — обеспечение функциональных требований и контроль подотчетности, прозрачности, защита от угроз ИИ и управление модельным риском продукта соответственно.

Доверенный алгоритм разрабатывается с учетом строгих стандартов безопасности, надежности и эффективности, предназначенных для использования в доверенных средах, требующих усиленной защиты данных и процессов, а также снабженных механизмами аудита и отслеживания параметров, результатов операций преобразования для мониторинга происхождения данных и процессов их обработки.

Доверенные алгоритмы — это алгоритмы шифрования, аутентификации, цифровой подписи и хеширования. Все они широко используются в криптографии, сетевой безопасности, управлении доступом и других областях, требующих высокого уровня защиты данных и процессов. Перечислим основные отличия доверенных алгоритмов ИИ.

• Прозрачность. Доверенные алгоритмы уделяют особое внимание разработке моделей, которые могут быть легко интерпретированы и объяснены, включая обеспечение прозрачности процесса обучения и работы модели, что позволяет пользователям лучше понять, как модель принимает решения.
• Доказательство корректности. В отличие от общих доверенных алгоритмов, здесь применяются специфические методы, позволяющие доказать корректность работы модели (LIME, SHAP и др.). В состав методов доказательства корректности также входит проверка на наличие ошибок или аномалий во входных данных и в данных обучающего корпуса.
• Подотчетность. Предоставление аудитору возможности самостоятельно убедиться в корректности работы алгоритма за счет доступа к отчетам аудита с доказательствами корректности работы алгоритма.
• Защита данных и моделей. Доверенные алгоритмы создают модели, устойчивые к атакам на данные и модели.
• Строгое тестирование и валидация результатов. Каждый функциональный алгоритм (реализующий требования к ИИ) сопровождается алгоритмом контроля рисков (реализующий валидацию итогов работы функционального алгоритма).
• Контроль рисков искажения информации. Доверенные алгоритмы работают только с поименованными признаками, ассоциированными с терминами единого тезауруса, получают на вход один набор поименованных признаков, выполняют операцию преобразования, а на выходе предоставляют другой набор поименованных признаков. Таблица преобразований признаков из одного набора в другой определяется в соответствующем протоколе преобразования признаков, который является неотъемлемой частью карты знаний. В случае, когда доверенный алгоритм получает на вход аналоговые или неструктурированные данные, параметры качества входного и входных сигналов, а также набор выходных признаков определяются в соответствующем протоколе, который также является неотъемлемой частью карты знаний.

Доверенная карта знаний

Карта знаний — исчерпывающее формальное описание структуры и параметров вычислительной модели конкретного фрагмента реального мира. Карта отличается от графа знаний тем, что все ее признаки ассоциированы с терминами единого тезауруса. Кроме этого, карта знаний в обязательном порядке содержит полное описание структуры и параметров своей вычислительной модели. Карта знаний может иметь статус доверенной — в этом случае она концептуально, логически и терминологически интегрирована в прикладное знание, соответствует нормативной документации и этическим нормам, а также легализована путем получения положительного заключения авторитетной ассоциации, научного или медицинского центра, в которых имеются «Комитет по этике» и «Ученый совет».

Концепция карт знаний была предложена компанией РТЛАБ в открытой экосистеме обмена научными знаниями для разработки доверенного ИИ в реаниматологии. Карты знаний реализованы на платформе доверенного медицинского ИИ HealthOS, позволяющей автоматизировать процессы их создания и совместного использования в областях с высокой социальной значимостью и ответственностью. Примеры карт знаний из реаниматологии: «Санитарно-эпидемиологические и гигиенические мероприятия в ОРИТ (Отделение реанимации и интенсивной терапии)»; «Сестринские манипуляции в ОРИТ»; «Прогноз, купирование и профилактика фибрилляции и трепетания предсердий».

Медицинская карта знаний состоит из нормативной документации, протоколов диагностики и лечения, протоколов выполнения процедур и манипуляций, протоколов определения признаков (рис. 4).

Рис. 4. Архитектура контура КФС

Карты знаний применяются при разработке моделей машинного обучения и общего программного обеспечения — они снижают вероятность ошибок и повышают уровень абстракции при создании ПО. Карты знаний применяются для генерации обучающих высказываний и тестовых примеров при аксиоматическом обучении. При разработке общего ПО карты знаний применяются в качестве входных программ для специализированных кодогенераторов — для различных аспектов кодогенерации разрабатываются специализированные предметно-ориентированные языки верхнего уровня (domain-specific language, DSL), обеспечивающие интеграцию карт знаний с кодогенераторами общего назначения в форме непрерывного конвейера кодогенерации.

Аксиоматическое обучение ИИ

Аксиоматическое обучение основано на предположении, что знания могут быть представлены в виде набора аксиом, из которых с помощью правил вывода можно вывести истинные утверждения. В аксиоматическом обучении ИИ важную роль играют графы знаний, обеспечивая удобный и структурированный способ представления знаний в виде набора узлов и ребер. В процессе обучения аксиомы могут быть представлены в виде логически верных утверждений, созданных генератором обучающего корпуса путем трансляции узлов и связей между узлами графа знаний в логически и семантически согласованные строки текста (истинные утверждения). Использование карт знаний для аксиоматического обучения ИИ позволяет упростить процесс обучения, повысить его эффективность и улучшить качество.

Приведем примеры аксиоматического обучения ИИ.

Обучение с подкреплением на основе аксиом. Аксиомы используются для формулирования правил поведения агента в среде, например, «если действие A приводит к состоянию S, то следующее действие должно быть B», где A и B — конкретные действия, а S — состояние среды.

Аксиоматическое обучение в задачах классификации. Тут аксиомы используются для формулирования правил классификации объектов, например, можно сформулировать аксиому «если объект имеет признаки A и B, то он относится к классу C», где A и B — конкретные признаки, а С — класс объекта.

Аксиоматическое обучение в задачах прогнозирования. В этом случае аксиомы используются для формулировки правил предсказания будущих событий, например, «если событие E произошло после события F, то вероятность события G увеличивается», где E, F и G — конкретные события.

Применение аксиоматического обучения в создании доверенного ИИ достаточно перспективно, поскольку обеспечивает строгую логику и последовательность в процессе обучения. Основные принципы аксиоматического обучения: строгость и последовательность, помогающие избежать случайных ошибок и предвзятости при принятии решений; прозрачность и объяснимость; адаптивность и гибкость; безопасность; интеграция с другими методами обучения, например с GraphRAG, для создания более эффективных и надежных решений.

Доверенная среда кодогенерации

В отличие от обычной среды кодогенерации, доверенная акцентирует внимание на безопасности (защите от несанкционированного доступа к исходным данным, шаблонам и метаданным, используемым для генерации кода); контроле версий; аутентификация и авторизация; тестировании и верификации; интеграции с системами управления версиями для обеспечения централизованного управления изменениями путем, например, интеграции с системами контроля версий, такими как Git; мониторинге и аудите; соответствии стандартам и нормам.

Доверенная среда кодогенерации направлена на обеспечение высокого уровня доверия к процессу генерации кода и его результату, что очень важно при разработке ПО для критически важных приложений.

Доверенный GraphRAG

Технология RAG генерации ответов с дополненным извлечением информации из внешних источников обеспечивает извлечение информации из хранилищ данных и других источников и генерацию текста на ее основе. Основная идея в том, чтобы предоставить языковой модели доступ к дополнительным данным, которые могут помочь ей генерировать более точные и информативные ответы. Процесс RAG начинается с поиска релевантной запросу информации в базах данных, энциклопедиях, новостных лентах и т. д. Затем информация вместе с вопросом подается на вход языковой модели, которая генерирует ответ, учитывающий все доступные данные. RAG позволяет повысить качество ответов языковых моделей, особенно в тех случаях, когда важны точность и актуальность. Этот метод широко используется в областях, где требуется предоставлять пользователям достоверные и полезные сведения, например, в поддержке клиентов, научных исследованиях и образовании.

Метод GraphRAG анализа и генерации текстовой информации основан на графовом подходе к RAG и использует большую языковую модель (LLM) для автоматического создания графа знаний из набора текстовых документов. С помощью GraphRAG формируется структура текста ответа — граф знаний строится еще до того, как пользователи начнут задавать вопросы, что позволяет системе предоставлять более точные и информативные ответы. Метод GraphRAG эффективно работает при уточнении ответов на глобальные, особенно общие вопросы, касающиеся всего набора доступных документов, например, «Какие темы затрагиваются в документах конкретного департамента?». Кроме этого GraphRAG позволяет повысить полноту и расширить разнообразие ответов, группируя документы до размера, соответствующего контекстному окну LLM, применяя вопрос к каждой группе для создания ответов на уровне группы, а затем объединяя все релевантные ответы в итоговую общую выдачу.

В контексте GraphRAG может быть использовано аксиоматическое обучение для уточнения и расширения графа знаний путем добавления новых сущностей, связей и утверждений на основе аксиом и правил вывода, что позволяет обучать разные специализированные модели на основе доверенных знаний и выверенных экспертных источников (карт знаний), вместо огромного набора неструктурированных документов. В итоге система ИИ может лучше понимать контекст запросов и предоставлять более точные ответы.

Доверенная среда эксплуатации

Доверенная среда эксплуатации обеспечивает безопасные, контролируемые условия работы системы ИИ за счет надежности аппаратного обеспечения, систем хранения данных, сетевых соединений и облачных сервисов, устойчивых к киберугрозам и обеспечивающих высокую доступность. Прикладное ПО также должно быть защищено от вредоносных атак. Данные, используемые для обучения и работы ИИ, должны быть защищены от несанкционированного доступа, утечек и манипуляций. Кроме этого должны быть развернуты системы аутентификации и авторизации, обеспечивающие контроль доступа к ресурсам ИИ. Важное значение имеют мониторинг и аудит, выполняемые с помощью инструментов для отслеживания преобразования данных и активности ИИ, анализа его поведения и выявления потенциальных угроз. Наконец, персонал должен иметь соответствующую квалификацию и быть сертифицирован.

Создание и поддержание доверенной среды эксплуатации ИИ требуют комплексного подхода, включающего технические, организационные и правовые меры.

Платформа доверенного медицинского ИИ

Пример реализации доверенного ИИ в медицине — платформа HealthOS [1], в которой реализована представленная концепция доверенного ИИ, предназначенная для работы в закрытом контуре и сочетающая в себе принципы графового подхода к анализу и генерации текста с методами аксиоматического обучения генеративного ИИ на основе карт знаний.

HealthOS обеспечивает сбор данных с медицинского оборудования и медицинских записей, идентификацию рисков здоровью пациентов, генерацию событий второго мнения, генерацию летописи и аватара пациента, использование GraphRAG для взаимодействия с летописью в режиме «вопрос—ответ». События второго мнения — это подсказки, уведомления, алерты и прогнозы. Летопись — это хронологически согласованное текстовое описание изменения состояния здоровья пациента с учетом фактов оказания медицинской помощи и анализа степени воздействия проводимой терапии. Аватар — двух- или трехмерная графическая модель какого-либо аспекта процесса или системы организма пациента, либо целиком процесса или системы организма, адаптированная для AR/VR-гарнитур.

Графовая база данных обеспечивает представление единого тезауруса терминов и карт знаний, а также представление обучающих документов и текстов запросов пользователей в виде сети взаимосвязанных элементов: термины из единого тезауруса, предложения из терминов, абзацы предложений и т. д., что позволяет более эффективно векторизовать и анализировать текстовую информацию, автоматически контролируя риски ее искажения.

В контексте GraphRAG могут использоваться специализированные модели машинного обучения для выполнения векторизации документов и запросов пользователей в виде узлов и связей графа, обогащения запросов на основе графа, систематизации и суммаризации выдачи закрытых источников информации, и пр.

Платформа доверенного медицинского ИИ для автоматизации лечебных процессов в реаниматологии, анестезиологии, кардиологии, хирургии и других областях, а также в научных и клинических исследованиях позволяет на порядок повысить эффективность разработки и внедрения в рутинную медицинскую и научную практику доверенного ИИ.

***

Программная платформа, построенная в соответствии с концепцией доверенного ИИ, должна гарантировать предсказуемость свойств продуктов, созданных на ее основе и исполняемых в ее составе: работа без сбоев или ошибок в условиях неопределенности; защита от кибератак; быстрое и точное выполнение задач с использованием доступных ресурсов; максимально возможная производительность труда разработчиков и пользователей; возможность прозрачного контроля над действиями разработчиков и аудит результатов работы ИИ; обеспечение конфиденциальности и защиты собираемых и генерируемых данных; исключение предвзятости и учет интересов всех заинтересованных лиц; соблюдение этических принципов взаимодействия между людьми и системами, направленными на расширение возможностей людей, а не на их ограничение.

Литература

1. Александр Прозоров, Дмитрий Волков. Недоверие медицинским данным: проблемы и решение // Открытые системы.СУБД. — 2023. — № 4. — С. 26–32. URL: https://www.osp.ru/os/2023/04/13057831 (дата обращения: 21.09.2024).

2. Сергей Гарбук. Функциональность и безопасность систем искусственного интеллекта: качество данных // Открытые системы.СУБД. — 2024. — № 1. — С. 18–22. URL: https://www.osp.ru/os/2024/01/13058259 (дата обращения: 21.09.2024).

3. Александр Прозоров, Дмитрий Волков. Платформа непрерывной трансформации бизнеса // Открытые системы.СУБД. — 2023. — № 1. — С. 13–19. URL: https://www.osp.ru/os/2023/01/13056920 (дата обращения: 21.09.2024).

Александр Прозоров (ap@rtlab.ru) — основатель компании «РТЛАБ» (Москва).

DOI: 10.51793/OS.2024.87.53.002