LLM-модели предлагают оценивать как клинический инструмент, а не как "автономного" психиатра
Martin Paulus и John Torous считают, что ключевым требованием к медицинским LLM-моделям, должна быть проверяемость рассуждений. Хорошо сформулированный ответ сам по себе, не должен восприниматься как доказательство клинической достоверности.
В свежем номере JAMA Psychiatry, большие языковые модели рассматриваются как новый класс клинических инструментов. Авторы отмечают целесообразность и эффективность их применение для подготовки коротких клинических заметок, суммирования информации из объемных историй болезни, создания материалов для пациентов, сортировки сообщений из профессиональных почтовых аккаунтов, и анализа научной литературы. Психиатрия (как медицинская специальность) особенно "чувствительна" к ошибкам, поскольку, клинический смысл зачастую зависит от хронологии, наблюдаемого поведения, полученных сведений от третьих лиц, и поиска противоречий между источниками. Модель способна превратить "неоднозначную историю "в гладкое, но ложное изложение информации, или "добавить" (преукрасить) в материал отсутствующую информацию. Поэтому, следует оценивать не только итоговый текст, но и возможность проверить основания для структурированного вывода. Пользователь (врач) должен иметь хорошую клиническую подготовку для обнаружения ошибок, а применение модели-происходить в определенном институциональном процессе. Данный подход сближает LLM с диагностическим инструментом, результат которого требует профессиональной интерпретации. Центральный тезис опубликованнойработы состоит в переходе от оценки "красноречия" модели, к оценке надежности и проверяемости ее клинического рассуждения.
Источник
← Вернуться на главную