大規模言語モデル（LLMs）が健康情報の不平等や有害性を悪化させる可能性があるため、これらのモデルの偏見を評価する手法を開発することを目的とする。

ケーススタディとしてMed-PaLM 2 LLMを用いて、長文の医療質問への回答の中で見られる偏見を表面化させるための人間評価の枠組みと、偏見評価を深める7つのデータセット『EquityMedQA』を作成した。

従来の狭義の評価アプローチでは見落とされがちな偏見を可視化できた。

我々のアプローチを基に、アクセス可能で公平なヘルスケアを推進するための大規模言語モデルの開発が期待される。