Исследователи взяли 97 учебных психиатрических случаев DSM-5 и систематически меняли в них только данные пола, расы и этнической принадлежности пациента — имена, местоимения и демографические описания — оставляя клиническую симптоматику неизменной. В общей сложности рассматривались 39 демографических комбинаций и шесть универсальных и медицинских LLM. GPT-4 оказалась наиболее точной: как минимум один правильный диагноз присутствовал в 82,8% случаев. Одновременно модель добавляла диагнозы, которых не было в эталоне, примерно в 70% случаев, что указывает на тенденцию к гипердиагностике. Точность была выше у случаев с женской идентичностью и ниже у небинарных пациентов. Общая точность существенно не различалась по расе, но возникали специфические паттерны: некоторые диагнозы и негативно окрашенные формулировки непропорционально появлялись у пациентов определенных расовых групп. Авторы считают, что психиатрические LLM необходимо проверять не только на общую точность, но и на справедливость диагностических решений и языка объяснения. текст ссылки