Ayersらは､ 対話型人工知能 (AI ) 「ChatGPT」が患者の質問に対し､ 質の高い共感的な回答を生成できるかを横断研究で検討｡ その結果､ ChatGPTが高品質で共感的な応答を提供できることが示された｡ 本結果はJAMA Intern Med誌において発表された｡ 

📘原著論文

Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum. JAMA Intern Med. 2023 Jun 1;183(6):589-596. PMID: 37115527

👨‍⚕️監修医師のコメント

科学論文の根本は再現性と客観性です｡ ChatGPTでは､ その再現性が難しいのでアカデミアで評価を得られるには少し時間がかかるのではと思われていましたが､ そうではなかったようです｡

背景

バーチャルヘルスケアの急速な拡大により､ 患者からのメッセージが増加し､ 医療従事者の仕事量の増加とバーンアウトが問題化している｡ AIチャットボットは､ この問題の一部を解決する可能性がある｡

研究デザイン

解析方法

• ソーシャルメディアフォーラム (Redditのr/AskDocs ) に投稿された195件の質問を用いて､ 医師とChatGPTによる回答を比較。
• 回答は医療専門家のチームによって評価され､ 「どちらの回答が良かったか」､ 「情報の質」「共感的な内容かどうか」などについて判断した｡

研究結果

回答に対する評価

評価者は全585の評価のうち､ 78.6%においてChatGPTの回答を好んだ｡

回答の長さの平均値

医師の回答の平均値 (IQR ) は､ ChatGPTの回答よりも有意に短かった｡

• 医師：52語 (IQR 17-62 )
• ChatGPT：211語 (IQR 168-245 )

t=25.4､ P<0.001

回答の質についての評価

ChatGPTの回答は､ 医師の回答よりも有意に高品質と評価された (t = 13.3､ P < .001 )｡ 例えば､ 「良い」または「非常に良い」と評価された回答 (≧4 ) の割合は､ 医師よりもChatGPTの方が高かった｡

• ChatGPT：78.5%､ 95%CI 72.3-84.1%
• 医師：22.1%､ 95%CI 16.4-28.2%

回答の共感性

ChatGPTの回答は､ 医師の回答よりも有意に共感的と評価された (t=18.9､ P<0.001 )｡ 共感的または非常に共感的 (≧4 ) と評価された回答の割合は､ 医師よりもチャットボットの方が高かった

• ChatGPT：45.1%､ 95%CI 38.5-51.8%
• 医師：4.6%､ 95%CI 2.1-7.7%

結論

ChatGPTは､ オンラインフォーラムで提起された患者の質問に対して､ 質の高い共感的な回答を生成しました｡ ChatGPTを使って回答を作成し､ 医師がそれを編集するなど､ この技術について臨床の場でさらに検討することが必要である｡ AIアシスタントを使用することで回答が改善され､ 臨床医のバーンアウトが低下し､ 患者の転帰が改善されるかどうかについては、今後ランダム化比較試験でさらに評価できるだろう｡