話題のチャットボットAI ｢ChatGPT｣ に前回､ 医師国家試験の問題を解いてもらいてもらったところ､ 残念ながら不合格でした｡ 今回､ 問題を英訳して再チャレンジすると､ 正答率は大幅に上がり､ 何と正答率75％！合格ラインあと一歩まで迫りました｡ (前回記事は【ChatGPT】最新AIが医師国家試験を解いてみた！をご参照下さい)

普通に解答 正答率51％

前回は2022年の医師国家試験のB (必修) 50問について､ HOKUTO編集部独自の簡単なルールを設定した上で､ 普通に日本語で解いてもらいました｡ しかし､ 正答率51％と合格ラインの80％には遠く及びませんでした｡

ChatGPTは昨年11月に公開したばかり｡ 大量のデータをAIが読み込むことで正解っぽい答えが返ってきますが､ とんでもない間違いが含まれていることも多く､ インターネット上で話題にもなっています｡

会員医師のコメントを基に再挑戦

より詳細な前提条件を付けるなどの手法で､ そういった致命的な間違いを少なくすることができるそうです｡ HOKUTO会員の医師から ｢ChatGPTは日本語に対する精度はまだ低い｣ とコメントをいただいたことから､ 問題文を翻訳サイトで英語にして､ ChatGPTに再チャレンジしてもらいました｡

翻訳サイトは､ 筆者がPubMedの和訳などで利用しているDeepL翻訳です｡ 前回同様､ 簡単なルールを以下のように設けました｡

1. 設問ごとに｢正解を1つ選べ｣など解答数を指定
2. 答えが返ってきたら次の設問を入力
3. 画像がある問題は画像なしのまま解答
4. 問題文に2つの設問がある場合､ 設問を分けて解答
5. 制度や法律の問題には ｢日本の｣ と追記

3はChatGPTの質問入力欄に画像を挿入できないため､ 4は複数の設問を入れても1つしか解答しないケースがあったためのルールです｡

テンションMAX､ 必修Eも追加実施

まず前回と同じB (必修) 50問を解いてもらいました｡ 解答時間はほとんどの設問で10秒以内と､ 前回と変わらず驚異的なスピードでした。一方､ 解答の根拠などの説明文がかなり増えました｡ やはりChatGPTは英語の方が得意なのでしょうか｡

気になるB50問の正答率は……何と合格ラインに手が届きそうほど劇的に改善しましたで｡ この結果にテンションが上がった筆者は､ もう一つの必修であるE50問も追加で解いてもらうことにしました｡ ｢もしかすると合計で80％を超えるかも｣ と思ったのです｡

Eの問題を解き終え､ 答え合わせを進めると､ かなりいい線をいっています！合格くるのか!？と思ったのですが､ 冒頭の通りあと一歩｡ Bは ｢割れ問｣ となった1問を除き49問中37問､ Eは画像がないと判別不可能な1問を除き49問36問の正解でした｡

もはや受験生の親気分？

筆者自身が勉強して挑戦しているわけでも何でもないのですが､ 答え合わせに一喜一憂し､ ｢何とか合格してほしい｣ という受験生の親のような気持ちでした｡ ｢この1問､ 正解にしちゃおうかな｣ という不正が頭をかすめるほどでした (※実際に不正はしていません)｡

｢詳細な前提条件を設定し､ 再々チャレンジをすれば合格できるのではないか｣｡ 今はこんな考えが頭の中を駆け巡っています｡

ChatGPTのホームページはこちらです｡

関連コンテンツ

【ChatGPT】最新AIが医師国家試験を解いてみた！