対話型AIの最新モデル ｢GPT-4｣ が､今年を含めた過去6回分の日本の医師国家試験に合格したとする査読前論文が公表された｡ 日本の医療現場では厳禁とされる安楽死を選択するなどの課題も明らかになったという｡

日本語で出入力

米ワシントン大､ 札幌心臓血管クリニック､ 東北大などの研究グループが査読前論文サイトのarXivで公開した｡ 研究では､ GPT-4のほかChat-GPTなどOpen AIが提供する他の対話型AIに､ 医師国試の出題形式が変わった2018年以降､ 今年を含めた6回分の問題を解いてもらった｡

英語での出入力で正確性などが向上するとされるOpen AIの対話型AIだが､ 今回は日本語での出入力とした｡ 画像入力ができないため、画像情報を使用していない｡

医学生を大きく下回る

その結果が上の表だ｡ GPT-4は他のモデルを凌駕し､ 6回分すべて合格ラインを突破した｡ グループは ｢GPT-4がChat-GPTなど他のモデルを上回り､ 英語とは類型的に離れた言語における対話型AIの可能性が強調された｣ としている｡

一方､ 課題も指摘している｡ GPT-4は合格レベルに達してはいるものの､ 医学生多数派の基準値を大きく下回っていた｡ 安楽死を勧めるなど禁忌肢を選択するケースもあった｡

また､ 今後もAIの改良が進むことが予想されるものの､ 日本語を含む英語以外の言語では英語に比べてパフォーマンスが落ちるともしている｡

参考資料

• Evaluating GPT-4 and ChatGPT on Japanese Medical Licensing Examinations. arXiv:2303.18027 [cs.CL]