Я уже более 10 лет связан с рынком искусственного интеллекта. До 2016 года — ИИ в сфере финансов. После 2017 — ИИ в медицине. Я считаю, что у меня накоплен увесистый багаж знаний в этой сфере.
Я заинтересован и искренне хочу, чтобы отрасль развивалась еще быстрее и эффективнее, поэтому сегодня хочу с вами поделиться своим топом трендов, которые активно используются разработчиками ИИ-систем в медицине и радиологии и которых, с моей точки зрения, существовать не должно. Они крайне вредны для развития ИИ, восприятия и понимания его врачами-пользователями и пациентами. Более того, часть из них прямым образом имеет цель — ввести пользователя в заблуждение.
Сделано с помощью ИИ. Медизделие с ИИ на борту. ИИ-решение
Такие записи сегодня почти везде. И, как показывает практика, в большинстве случаев это неправда. Ещё в 2016 году мы смеялись с коллегами, что некоторые кредитные организации, внедрив модели с логистической регрессией, а иногда и простые эвристические правила, с гордостью писали, что тот-то продукт работает с помощью ИИ. Часто это распространяется и на ИИ в рентгенологии. Даже сегодня многие CAD-системы ассоциируют с ИИ, которые такими не являются.
Почему меня это смущает? Разные виды технологий несут разные риски. И неплохо бы было понимать их на старте пользователям до начала использования, чтобы потом не осознавать, что упущено ценное время, а маркетинговый слоган продукта не являлся правдой.
Помимо прочего, ИИ внедряют туда, где он не требуется и из-за этого уделяют внимание не самым важным вещам. Нужно решить проблему пользователя. Не всегда это только внедрение искусственного интеллекта.
Что делать? Доверие и понимание внедряемого искусственного интеллекта — ключевой фактор для его последующего и более быстрого внедрения. Чтобы оно происходило именно так, я бы рекомендовал детально описывать ваш продукт: где именно и как применяется ИИ в его составе. Также значимо отметить его существующие сильные стороны, сценарии использования и текущие ограничения функциональности. Если вы сможете вести в динамике сравнение версий своего продукта, их сравнение между собой и план работ — это будет отдельным преимуществом.
Точность более 95%
Вот эта формулировка, несмотря на свою понятность для обывателя, к сожалению, абсолютная ложь. Такой термин можно употребить только под конкретный известный датасет, результаты работы на котором известны разработчикам и вам. С точки зрения рентгенологического ИИ, вы абсолютно точно не будете работать именно с таким датасетом и метрики всегда будут отличаться от заявленных.
Я прекрасно понимаю, что не всегда легко объяснить врачам, что такое AUC, DICE и так далее, но важно проговаривать, что при разных выборках, разном проценте патологий, на разном оборудовании и разных настройках метрики могут и будут отличаться. По одной цифре понять, как реально работает сложная система, к сожалению, невозможно.
Что делать? Я бы рекомендовал указывать диапазоны и объяснять, из-за чего варьируются метрики и почему это нормально. Пользователи должны знать о возможности настраивания системы и понимать, что есть компромисс между количеством ложноположительных и ложноотрицательных предсказаний ИИ-сервиса.
Также возможно внутри датасета измерять метрики на разных кластерах данных: по полу, возрасту, по месту жительства. Это позволит понимать, в каких случаях система работает лучше и где ее ограничения.
ИИ не исключение
Врачи понимают, что в состоянии усталости могут ошибаться, а когда к ним толпой пойдут люди со сложными противоречивыми патологиями — этих ошибок будет больше. ИИ не исключение. Несмотря на то, что он не устает, он также может и будет допускать ошибки в тех или иных сценариях. И это нормально.
Клинические испытания иногда проводят фиктивно
Это на самом деле самое печальное. Пару дней назад я делал пост с исследованием, опубликованном в Nature. Исследователи Университета Северной Каролины (UNC) проанализировали более 500 систем ИИ и приборов на их базе, одобренных для использования в США Управлением по контролю качества пищевых продуктов и лекарственных средств (FDA), и сделали вывод: около половины этих алгоритмов обучалось не на реальных, а на сгенерированных данных.
Круто? Нет, не круто. Медицина, пожалуй, самая консервативная отрасль. Цена ошибки и врача, и ИИ может стоить жизни и здоровья пациента. Поэтому важны вопросы честности и этичности, особенно на этапах сертификации. И да, я считаю, что такая статистика абсолютно недопустима.
Медицина, пожалуй, самая консервативная отрасль
На самом же деле в разрезе этого вопроса предлагаю вернуться к пункту 2 и опять проговорить, что один и тот же ИИ с разными порогами отсечения будет иметь разную чувствительность и специфичность. И хорошие в одних сценариях ИИ (не ваших) могут быть абсолютно неприменимы для вас.
Что делать? Настраиваемые клинические испытания могут пагубно сказаться на развитии продукта. Крайне не рекомендую внедрять искусственные инструменты для их манипуляцией. При этом важно отразить планируемую будущую функциональность. Внедрение процедур контроля качества и ISO благотворно скажутся на процессе прозрачности разработки внутри компании.
Мы использовали в нашем датасете для обучения 4 триллиона рентгенов органов грудной клетки
Как говорил Иосиф Виссарионович Сталин: “Количество само по себе качество”. Но что хорошо работает на войне, не работает в медицине и при зрелой по метрикам ИИ-системе количество может вредить качеству. С какого-то момента прямое добавление количества данных не будет добавлять качества ИИ-решению. И нужно вложиться в качество этих данных. Например, правильность и согласованность разметки или поиск разнообразных данных.
Количество может вредить качеству
Что делать? Помимо добавления количества исследований для разметки, можно использовать и альтернативные инструменты повышения качества и использовать более точечную разметку.
Не так давно на дата-фесте мы делали доклад, в котором рассказывали, что изменив процесс разметки данных, процесс верификации, постановки задач нам удалось снизить число размечаемых данных в 5 раз, стоимость разметки — в 8 раз год к году, повысив прирост метрик почти в 2,5 раза.
ИИ запускаются при работе в узких сценариях
Разработчик системы искусственного интеллекта сделал сервис для анализа КТ органов грудной клетки для обнаружения узелков в легких. Сервис работает отлично, однако он будет мало полезен врачам.
Что делать? Мы уже находимся в иной стадии развитии рынка и необходима комплексная картина. Помимо узелков, важны и другие находки: перикардиальный жир и его объем, сердечные патологии, коронарный кальций, пневмония (признаки). А ещё лучше, если ИИ смотрит на исследование целиком и будет видеть и патологии вне области интереса, например, образования в надпочечниках. Так называемые случайные находки, которые часто пропускаются врачами.
Заключение
Медицинский ИИ сегодня уже достиг весьма и весьма впечатляющих результатов, пройдя путь от чего-то нового непонятного в использовании, страха замены рабочего места на “машину” до реально полезного инструмента, который позволяет значительно улучшить работы врача.
В прошлом году каждый регион в РФ внедрил не менее одного ИИ-решения в сферу здравоохранения. По окончания текущего таких решений будет уже не менее трёх на регион, а к 2030-му — более 10-ти.
Проникновение ИИ в отечественное здравоохранение растет и будет продолжать расти. Я уверен, что изменение указанных трендов сделает процесс проникновения ИИ и цифровизации более эффективным и безболезненным, и, главное — понятным.
Как навести порядок в деньгах бизнеса и личных сбережениях
- Как свести доходы с расходами: 4 совета из книги консультанта по финграмотности «Девушка с деньгами»
- Как инвестировать время и деньги, чтобы обрести финансовую свободу: 5 принципов из книги «Капитал»
- 9 способов получать пассивный доход
- 10 фильмов про деньги
- 3 проверенных десятилетиями совета по управлению финансами из книги «Самый богатый человек в Вавилоне»
А какие тренды, связанные с искусственным интеллектом вы считаете странными и неуместными?