MEDICT では、医療情報学・医療 DX 領域の一次文献を読み、要点と限界を整理してご紹介しています。
AI 製品の資料には、たいてい精度の数字が載っています。「95%」「98%」といった値をどう受け取るべきか。今回はその読み方を、系統的レビューから考えます。
取り上げる論文
| 題名 | Performance of large language models for extracting clinical data from breast cancer pathology reports: a systematic review |
| 著者 | Shankar R, Sundar V, Goh Z, Sin PY, Tan EY |
| 掲載 | npj Digital Medicine（2026年5月22日） |
| DOI | 10.1038/s41746-026-02789-x |
全文は PubMed Central（PMC13473680） で公開されています。
どんな研究か
系統的レビューです。個別の実験ではなく、既に発表された研究を集めて整理するタイプの論文にあたります。
| 検索 | 7つの情報源から 1,053 件（重複除去後 847 件） |
| 精査 | 85 件 |
| 採択 | 9 件（2023〜2025年に発表） |
| 対象 | 30 以上の LLM、約 14,161 件の乳がん病理レポート |
扱っているのは、病理レポートという自由記述の文章から、腫瘍径・グレード・受容体の状態といった項目を構造化データとして取り出すタスクです。
日本でも、がん登録・臨床研究・DPC といった場面で、文章から項目を拾う作業は日常的に発生します。そこに直結する主題です。
結果 — 数字だけ見れば高い
最高性能のモデルの成績です。
| 全体精度 | 87.7% 〜 97.4% |
| F1 スコア | 0.86 〜 0.97 |
個別の例では次のような値が報告されています。
| モデル | 成績 |
|---|---|
| PubMedBERT | 97.4%（完全一致） |
| GPT-4o | 96.1% |
| Llama 3.1 8B（ファインチューニング） | 91.5% |
ここだけを読めば、実用水準に見えます。
著者が指摘した、最も実務的な点
しかし著者は、次のように述べています。
統制された環境から臨床環境へ移行する際に、11〜32 ポイントの精度低下が発生する
97% が、実際の現場では 65〜86% になり得るということです。
なぜ下がるのか
論文が挙げているのは、外部検証がほとんど行われていないという事実です。
9 研究のうち、外部検証を行ったのは 1 件のみ。残りはすべて、同じ機関のデータで学習し、同じ機関のデータで評価しています。
病理レポートの書き方は、施設ごと・医師ごとに癖があります。自施設のデータで測った精度は、その施設の書き方に最適化された値です。別の施設に持っていけば下がります。
数字が直接比較できない
もう一点、著者はタスク形式が研究ごとに違うため、性能数値を研究間で直接比較できないと述べています。
同じ「精度 95%」でも、
- 何項目を抽出したのか
- 完全一致で評価したのか、部分一致を認めたのか
- 難しい症例を除外していないか
によって、意味が変わります。
報告の質にも偏りがある
この論文は、採択した研究の報告の質も評価しています（PROBAST+AI / TRIPOD+AI という枠組みを使用）。
| 項目 | 結果 |
|---|---|
| 全領域でバイアスリスクが低い | 9件中 5件（55.6%） |
| 公平性の報告 | 6件が未報告 |
| 患者の関与 | 8件が未報告 |
| オープンサイエンス実践の報告 | 4件のみ |
公平性の報告が9件中6件で無いという点は、実務でも意味を持ちます。特定の書き方・特定の患者層で精度が落ちていないかは、平均の精度からは分かりません。
著者が挙げた限界
- 内部検証が支配的で、外部検証は1件のみ
- 統制環境と臨床環境で 11〜32ポイントの精度差
- タスク形式が異なり、研究間で数値を直接比較できない
- 英語の研究が大多数で、高所得国のデータに偏る
- LLM の進化が速く、最新モデルは評価対象に入っていない
- 否定的な結果は発表されにくい（公表バイアス）
4点目は日本にとって重要です。日本語の病理レポートを対象にした評価は、このレビューにほとんど含まれていません。 日本語での精度は、別途確かめる必要があります。
日本の医療機関にとっての読みどころ
① 精度の数字は「どこで測ったか」とセットで見る
自施設のデータで測った 97% と、他施設のデータで測った 97% は、意味がまったく違います。ベンダー資料を読むときは、
- どの施設のデータで測ったか
- 学習に使ったデータと、評価に使ったデータは別か
- 何を「正解」としたか
を確認する価値があります。答えられない場合、その数字は自施設での性能を保証しません。
② 自施設データでの試行を前提に置く
11〜32 ポイントという差は、導入判断を覆し得る大きさです。契約前に、自施設の実データで小規模に試す——それができる条件を交渉に含めておくのが安全です。
③ 「平均の精度」ではなく「どこで間違えるか」を見る
公平性の報告が少ないという指摘は、誤りが均等に散らばっていない可能性を示します。特定の記載様式、特定の項目で集中的に外している場合、平均値は実態を隠します。
構造化データとして下流で使うなら、どの項目が信頼でき、どの項目は人が確認すべきかを分けておくことが現実的です。
MEDICT について
MEDICT は、大学病院の医療情報部・県立病院の電子カルテ統括などに携わってきたメンバーで構成し、医療機関のデータ活用と業務改善をご支援しています。
製品選定のセカンドオピニオン、要件定義・RFP 作成の支援も承っています。
ℹ️ 本記事は原著論文を読んだうえで、要点と限界を当社の言葉で整理したものです。 本文・図表の転載は行っていません。正確な内容は原著（DOI: 10.1038/s41746-026-02789-x）をご参照ください。 特定の製品を推奨・非推奨するものではありません。