5 трендов в медицинском ИИ, которые должны исчезнуть

Я уже более 10 лет связан с рынком искусственного интеллекта. До 2016 года — ИИ в сфере финансов. После 2017 — ИИ в медицине. Я считаю, что у меня накоплен увесистый багаж знаний в этой сфере.

Я заинтересован и искренне хочу, чтобы отрасль развивалась еще быстрее и эффективнее, поэтому сегодня хочу с вами поделиться своим топом трендов, которые активно используются разработчиками ИИ-систем в медицине и радиологии и которых, с моей точки зрения, существовать не должно. Они крайне вредны для развития ИИ, восприятия и понимания его врачами-пользователями и пациентами. Более того, часть из них прямым образом имеет цель — ввести пользователя в заблуждение.

Такие записи сегодня почти везде. И, как показывает практика, в большинстве случаев это неправда. Ещё в 2016 году мы смеялись с коллегами, что некоторые кредитные организации, внедрив модели с логистической регрессией, а иногда и простые эвристические правила, с гордостью писали, что тот-то продукт работает с помощью ИИ. Часто это распространяется и на ИИ в рентгенологии. Даже сегодня многие CAD-системы ассоциируют с ИИ, которые такими не являются.

Почему меня это смущает? Разные виды технологий несут разные риски. И неплохо бы было понимать их на старте пользователям до начала использования, чтобы потом не осознавать, что упущено ценное время, а маркетинговый слоган продукта не являлся правдой.

Помимо прочего, ИИ внедряют туда, где он не требуется и из-за этого уделяют внимание не самым важным вещам. Нужно решить проблему пользователя. Не всегда это только внедрение искусственного интеллекта.

Вот эта формулировка, несмотря на свою понятность для обывателя, к сожалению, абсолютная ложь. Такой термин можно употребить только под конкретный известный датасет, результаты работы на котором известны разработчикам и вам. С точки зрения рентгенологического ИИ, вы абсолютно точно не будете работать именно с таким датасетом и метрики всегда будут отличаться от заявленных.

Я прекрасно понимаю, что не всегда легко объяснить врачам, что такое AUC, DICE и так далее, но важно проговаривать, что при разных выборках, разном проценте патологий, на разном оборудовании и разных настройках метрики могут и будут отличаться. По одной цифре понять, как реально работает сложная система, к сожалению, невозможно.

Что делать? Я бы рекомендовал указывать диапазоны и объяснять, из-за чего варьируются метрики и почему это нормально. Пользователи должны знать о возможности настраивания системы и понимать, что есть компромисс между количеством ложноположительных и ложноотрицательных предсказаний ИИ-сервиса.

Также возможно внутри датасета измерять метрики на разных кластерах данных: по полу, возрасту, по месту жительства. Это позволит понимать, в каких случаях система работает лучше и где ее ограничения.

Врачи понимают, что в состоянии усталости могут ошибаться, а когда к ним толпой пойдут люди со сложными противоречивыми патологиями — этих ошибок будет больше. ИИ не исключение. Несмотря на то, что он не устает, он также может и будет допускать ошибки в тех или иных сценариях. И это нормально.

Круто? Нет, не круто. Медицина, пожалуй, самая консервативная отрасль. Цена ошибки и врача, и ИИ может стоить жизни и здоровья пациента. Поэтому важны вопросы честности и этичности, особенно на этапах сертификации. И да, я считаю, что такая статистика абсолютно недопустима.

На самом же деле в разрезе этого вопроса предлагаю вернуться к пункту 2 и опять проговорить, что один и тот же ИИ с разными порогами отсечения будет иметь разную чувствительность и специфичность. И хорошие в одних сценариях ИИ (не ваших) могут быть абсолютно неприменимы для вас.

Что делать? Настраиваемые клинические испытания могут пагубно сказаться на развитии продукта. Крайне не рекомендую внедрять искусственные инструменты для их манипуляцией. При этом важно отразить планируемую будущую функциональность. Внедрение процедур контроля качества и ISO благотворно скажутся на процессе прозрачности разработки внутри компании.

Как говорил Иосиф Виссарионович Сталин: “Количество само по себе качество”. Но что хорошо работает на войне, не работает в медицине и при зрелой по метрикам ИИ-системе количество может вредить качеству. С какого-то момента прямое добавление количества данных не будет добавлять качества ИИ-решению. И нужно вложиться в качество этих данных. Например, правильность и согласованность разметки или поиск разнообразных данных.

Что делать? Помимо добавления количества исследований для разметки, можно использовать и альтернативные инструменты повышения качества и использовать более точечную разметку.

Не так давно на дата-фесте мы делали доклад, в котором рассказывали, что изменив процесс разметки данных, процесс верификации, постановки задач нам удалось снизить число размечаемых данных в 5 раз, стоимость разметки — в 8 раз год к году, повысив прирост метрик почти в 2,5 раза.

Разработчик системы искусственного интеллекта сделал сервис для анализа КТ органов грудной клетки для обнаружения узелков в легких. Сервис работает отлично, однако он будет мало полезен врачам.

Медицинский ИИ сегодня уже достиг весьма и весьма впечатляющих результатов, пройдя путь от чего-то нового непонятного в использовании, страха замены рабочего места на “машину” до реально полезного инструмента, который позволяет значительно улучшить работы врача.

В прошлом году каждый регион в РФ внедрил не менее одного ИИ-решения в сферу здравоохранения. По окончания текущего таких решений будет уже не менее трёх на регион, а к 2030-му — более 10-ти.

Проникновение ИИ в отечественное здравоохранение растет и будет продолжать расти. Я уверен, что изменение указанных трендов сделает процесс проникновения ИИ и цифровизации более эффективным и безболезненным, и, главное — понятным.