После того, как у пациента случился сердечный приступ или инсульт, врачи часто используют модели риска, чтобы помочь пациенту в дальнейшем лечении. Эти модели могут рассчитывать риск смерти пациента на основе таких факторов, как возраст пациента, симптомы и другие характеристики.
Хотя эти модели полезны в большинстве случаев, они не дают точных прогнозов для многих пациентов, что может привести к тому, что врачи будут выбирать неэффективные или излишне рискованные методы лечения для некоторых больных.
«Каждая модель риска оценивается по какому-либо набору данных пациентов, и даже если она имеет высокую точность, она никогда не бывает на 100% точной на практике», — говорит Коллин Стульц, профессор электротехники и компьютерных наук в MIT и кардиолог в Массачусетской больнице. «На практике есть некоторые пациенты, для которых модель может привести к неправильному лечению, что только повысит риски смерти».
Штульц и его коллеги из Массачусетского технологического института, Лаборатории искусственного интеллекта MIT-IBM и Медицинской школы Массачусетского университета в настоящее время разработали метод, который позволяет им определить, можно ли доверять результатам конкретной модели для данного пациента. Это может помочь врачам выбрать лучшее лечение для этих пациентов, говорят исследователи.
Моделирование риска
Компьютерные модели, которые могут предсказать риск возникновения у пациента вредных событий, в том числе смерти, широко используются в медицине. Эти модели часто создаются путем обучения алгоритмов машинного обучения для анализа наборов данных пациентов, которые включают в себя разнообразную информацию о пациентах, в том числе результаты их состояния здоровья.
В то время, как эти модели имеют высокую общую точность, «очень мало внимания уделялось определению вероятности отказа модели», — говорит Стульц. «Мы пытаемся изменить мнение людей об этих моделях. Думать о том, когда применять модель, действительно важно, потому что последствия ошибки могут быть фатальными».
Например, пациент с высоким риском, которого неправильно классифицируют, не получит достаточно агрессивное лечение, в то время как пациент с низким риском, ошибочно определенный как имеющий высокий риск, может получить ненужные, потенциально вредные вмешательства.
Чтобы проиллюстрировать, как работает метод, исследователи решили сосредоточиться на широко используемой модели риска, называемой оценкой риска GRACE, но метод может применяться практически к любому типу модели риска. GRACE, что означает Глобальный реестр острых коронарных событий, представляет собой большой набор данных, который использовался для разработки модели риска, которая оценивает риск смерти пациента в течение шести месяцев после перенесенного острого коронарного синдрома (состояние, вызванное снижением кровотока в сердце). Полученная оценка риска основана на возрасте, кровяном давлении, частоте сердечных сокращений и других легкодоступных клинических признаках.
Новая методика исследователей генерирует «показатель ненадежности», который варьируется от 0 до 1. Для данного прогноза модели риска, чем выше показатель, тем более ненадежен этот прогноз. Оценка ненадежности основана на сравнении прогноза риска, сгенерированного конкретной моделью, такой как оценка риска GRACE, с прогнозом, произведенным другой моделью, обученной на том же наборе данных. По словам Штульца, если модели дают разные результаты, вполне вероятно, что прогноз модели риска для этого пациента не является надежным.
Результаты исследований также показали, что пациенты, у которых модели не очень хорошо работают, как правило, старше и имеют более высокую частоту сердечных факторов риска.
Одним существенным преимуществом этого метода является то, что исследователи вывели формулу, которая сообщает, насколько два прогноза могут не совпадать, без необходимости построения совершенно новой модели на основе исходного набора данных.
«Вам не нужен доступ к самому набору обучающих данных, чтобы вычислить это измерение ненадежности, и это важно, потому что существуют проблемы с конфиденциальностью, которые мешают широкому доступу этих клинических наборов данных для разных людей», — говорит Стульц.
Переподготовка модели
В настоящее время исследователи разрабатывают пользовательский интерфейс, который врачи могут применять для оценки надежности оценки GRACE конкретного пациента. В более долгосрочной перспективе они также надеются повысить надежность моделей риска, упрощая переподготовку моделей на основе данных, которые включают больше пациентов, похожих на больного.
«Если модель достаточно проста, то переподготовка модели может быть быстрой. Вы можете представить целый набор программного обеспечения, интегрированного в электронную медицинскую карту, который бы автоматически сообщал вам, подходит ли конкретный показатель риска для данного пациента, и затем пытался делать вещи на лету, например, переучивать новые модели, которые могут быть более подходящими», — говорит Стульц.