ChatGPTが作った引用、半分はウソだった ― 私が検証して気づいたこと

ChatGPTに「参考文献を10本探して」と聞いた結果

試しにChatGPT（GPT-4）に、強化学習に関する参考文献を10本リストアップしてもらったことがあります。返ってきたリストは、フォーマットも著者名も完璧。一見すると何の問題もなさそうでした。

ところが、1本ずつDOIをブラウザに入れて確認したところ、10本中3本のDOIが404エラー。Google Scholarでタイトルを検索しても該当なし。著者名は実在する研究者なのに、その人の業績リストにそんな論文はない。

これがいわゆる「ハルシネーション」です。AIが実在する著者名、もっともらしいジャーナル名、正しいフォーマットを組み合わせて、存在しない論文をでっち上げる現象。2024年のNature誌の調査でも、ChatGPTが生成した参考文献の約28%が架空だったと報告されています（Walters & Wilder, 2023, Nature）。

怖いのは、ぱっと見では本物と区別がつかないこと。

なぜAIは「嘘の引用」を作れるのか

大規模言語モデルは、学術論文のフォーマットや引用の書き方を大量に学習しています。「Smithが2021年にJournal of Xに書いた論文」というパターンを無数に見ているので、それっぽい組み合わせを生成するのは得意です。

ただし、特定の論文が実際に存在するかどうかを検索する機能はゼロ。データベースにアクセスしているわけではないので、パターンの延長線上で「ありそうな」引用を作っているだけです。

つまり、AIに引用を頼むのは、記憶力はいいが事実確認をしない同僚に頼むようなものです。

実際に検証する手順

ここからは、AIが出してきた引用を検証する具体的な方法を説明します。私が普段やっている順番です。

まずDOIを叩く（30秒で判定できる）

DOIがあるなら、最初にやることはこれ。https://doi.org/10.xxxx/yyyy をブラウザのアドレスバーに貼る。正しいページにリダイレクトされれば本物、404なら黒。

ただし注意点が2つ。AIがDOI自体を捏造している場合がある（形式は正しいが中身がデタラメ）。あと、すべての論文にDOIがあるわけではない。古い論文や書籍にはDOIがないことも多い。

Google Scholarでタイトル検索

DOIがない場合、タイトルをダブルクォーテーションで囲んでGoogle Scholarで検索します。完全一致で出てこなければ、キーワードをいくつか抜き出して再検索。

ここで気をつけたいのが、AIは実在する論文のタイトルを微妙に変えて出してくることがある点。「A Survey of Deep Learning」を「A Comprehensive Survey of Deep Learning Methods」に変えたり。部分一致で見つかった場合は、著者名と年も合っているか必ず確認してください。

著者の業績リストを見る

特に怪しいと思った引用は、著者のGoogle ScholarプロフィールやORCIDページを確認します。研究者は自分の業績リストを公開していることが多いので、そこにない論文は限りなく黒に近い。

Crossref APIを直接使う

少し技術的ですが、Crossrefの検索ページ（search.crossref.org）にタイトルを入れて検索するのも有効です。1億5000万件以上の学術文献が登録されているので、ここで見つからないジャーナル論文は怪しいと判断して問題ありません。

手作業が面倒なときの代替手段

正直なところ、参考文献が50本ある論文を1本ずつ手動で検証するのは非現実的です。私もやってみましたが、2時間かかりました。

そこでCite Checkerを使う方法があります。PDFをアップロードすると、参考文献を自動で抽出してCrossrefとOpenAlexに照合してくれます。処理はブラウザ内で完結するので、未発表の論文でも問題なし。

ただし万能ではありません。書籍やWebサイトの引用はデータベースに登録されていないことが多いので「見つかりません」と出ます。あと、PDFのレイアウトが特殊だと抽出精度が落ちることもある。ツールの結果を鵜呑みにせず、怪しいものは手動で再確認が鉄則です。

検証結果の読み方

信頼度80%以上 → ほぼ間違いなく実在

タイトル・著者・年がデータベースと一致。安心してOK。ただし、同名の別論文という可能性もゼロではないので、重要な引用は念のため原文にもアクセスを。

信頼度50-80% → 記述ミスの可能性

部分的に一致するが何かがズレている。年が1年違う、著者名のイニシャルが違う、ジャーナル名の省略形が違う、など。原典に当たって修正すれば解決するケースが多い。

見つからない → 要注意だが即アウトではない

データベースに未登録の文献は実在しても「見つからない」と表示されます。特に以下のケースは正当な「見つからない」です：

- arXivのプレプリント（Crossrefに登録されていないことがある）

• 2024年後半以降の新しい論文（インデックスが追いつかない）
• 書籍、テクニカルレポート、学位論文
• 日本語の論文（英語データベースでは見つからない場合あり）

  AIに再確認してはいけない理由

  「この引用は本当に存在する？」とAIに聞き返す人がいますが、これは無意味です。AIは外部データベースを検索していないので、「はい、実在します」と自信たっぷりに答えます。嘘の上塗りです。

  検証は必ず外部のソース（Crossref、Google Scholar、DOIリゾルバ）で行ってください。

  現実的なワークフロー

  私がたどり着いた手順はこうです：

  1. AIには文献の「生成」でなく「整理」を頼む（自分で見つけた論文のリスト化など）

1. どうしてもAIに候補を出してもらった場合は、全件を仮扱いにする
2. Cite Checkerで一括チェック → 「見つからない」が出たら手動検証
3. 投稿前に全参考文献のDOIリンクを一通りクリックして確認

   完璧ではないですが、架空引用が論文に紛れ込むリスクは大幅に下がります。1回の投稿を守るための30分の投資だと思えば、安いものです。