検証ノート
ChatGPT・Claude・Gemini の正確性（ハルシネーション率）を比較。最新モデルの主張 約 4,700 件を 1 件ずつ確かめた【2026 年 10 月】
結論：OpenAI の GPT-6.1 Sol、Anthropic の Claude Sonnet 5.5、Google の Gemini 4 Argon。料金の単価がそろった各社の最新モデルに、同じ 15 テーマの解説を書かせて主張を 1 件ずつ確かめると、誤り率は GPT-6.1 Sol が約 0.9%、Claude Sonnet 5.5 が約 1.8%、Gemini 4 Argon が約 2.9% でした。GPT-6.1 Sol と Gemini 4 Argon の差ははっきりしていて、GPT-6.1 Sol と Claude の差も今回の区間では 0 を含みませんでしたが、Claude と Gemini 4 Argon の差はこの規模では確認できませんでした。判断に必要な例外・条件を正しく書けた割合は、GPT-6.1 Sol と Claude が約 8 割、Gemini 4 Argon が約 7 割で、この差ははっきりしていました。最近の制度改正・仕様改訂 3 項目は、どの AI も改正後の内容を記載しませんでした。
※ 各社のアプリ（ChatGPT・Claude・Gemini）そのものではなく、各社のモデルを API で、同じ指示文・ウェブ検索なしで呼んだ結果です。誤り率は、解説文 1 本ごとに「誤り ÷（正しい＋誤り）」を出して平均した値です。単価をそろえたため、各社の中での位置づけ（Gemini 4 Argon は最上位、GPT-6.1 Sol は中間、Claude Sonnet 5.5 は標準）は異なります。参考として、より安い Gemini 3.8 Flash と、推論を多く使う GPT-6.1 Sol Pro、後から提供された GPT-6.1 Terra の結果も載せています。
この記事は、前半で比べた理由と結果の要点を、後半の「詳しい結果と検証方法。」で数値の区間・検証の手順・限界を説明します。
目次
- なぜ、3 つの AI の正確さを比べたのか。
- 比べたのは、同じ価格帯の各社の最新モデル。
- なぜ、私たちが測れたのか。
- わかったこと。3 社のハルシネーション率。
- 生成 AI を、どう使い分けるか。
- 詳しい結果と検証方法（後半の目次）
なぜ、3 つの AI の正確さを比べたのか。
ChatGPT・Claude・Gemini のどれを仕事で使うか、どう使い分けるかを決めたい人は多いはずです。ところが、生成 AI の比較記事の多くは、料金・機能・得意な用途の早見表です。「どれが事実を間違えにくいか」を、日本語の制度・技術の解説について、同じお題・同じ基準で測った数字は、私たちが調べた範囲では見当たりませんでした（英語の事実性のベンチマークはいくつか公開されています）。
そこで、次の問いに数字で答えることにしました。
| 知りたいこと | この記事でわかったこと |
|---|---|
| どの AI が、事実を間違えにくいか | GPT-6.1 Sol の誤り率が最も低く（約 0.9%）、Claude Sonnet 5.5（約 1.8%）、Gemini 4 Argon（約 2.9%）が続いた。ただし Claude と Gemini 4 Argon の差は、この規模では確認できなかった |
| どんな誤りをしやすいか | Claude と Gemini 4 Argon は数値・日付の誤りが中心。Gemini 4 Argon の誤りの約 4 割は国勢調査の細かい数値だった |
| 原則だけでなく、例外・条件まで書けるか | GPT-6.1 Sol と Claude は約 8 割、Gemini 4 Argon は約 7 割（この差ははっきりしていた） |
| 存在しないものを、でっち上げるか | 架空の法律・構文・人物を実在として説明した文章は、3 つとも 0 本（各 9 本中） |
| 最近の制度改正を知っているか | 2025 年 6 月以降に変わった 3 項目（インボイス・拘禁刑・TLS 1.3）は、どの AI も改正後の内容を記載しなかった |
| 字数などの指示を守るか | GPT-6.1 Sol は 45 本すべて指定の字数に収めた。Claude は約 2 割、Gemini 4 Argon は 45 本中 1 本 |
料金・画像生成・プログラミングの比較は扱いません。各社の公式ページをご覧ください。
DebateCross は、3 社の AI に同じお題で討論させるサービスで、どの社とも提携・広告の関係はありません。ただし、この比較では、比べられる 3 社の AI 自身が判定役も務めています。そのため、判定役には文章を書いたモデルの名前を伏せ、3 社の AI が全件を同じ条件で判定するようにしました（後半で詳しく説明します）。お題・解説文・主張ごとの判定は、検証データ一式で公開しています。
比べたのは、同じ価格帯の各社の最新モデル。
各社には、価格と性能の違う複数のモデルがあります。この比較では、料金の単価（100 万トークンあたり入力 $2・出力 $10）がそろった、各社の最新の世代のモデルを選びました。DebateCross で選べるモデルの中から、私たちが価格の帯でそろえたもので、各社の公式の区分ではありません。
| 会社 | モデル | 位置づけ | 料金（100 万トークンあたり、入力／出力） | 今回の 1 回の回答の実費 |
|---|---|---|---|---|
| OpenAI | GPT-6.1 Sol | GPT-6.1 の中間（下の注） | $2／$10 | 約 $0.012 |
| Anthropic | Claude Sonnet 5.5 | 標準 | $2／$10 | 約 $0.022 |
| Gemini 4 Argon | Gemini の最上位（2026 年 10 月 13 日提供開始） | $2／$10 | 約 $0.009 | |
| （参考）Google | Gemini 3.8 Flash | 標準（低価格） | $0.75／$3.75 | 約 $0.006 |
| （参考）OpenAI | GPT-6.1 Sol Pro | Sol を pro モードで動かしたもの（Sol と同じモデルのため参考） | $2／$10 | 約 $0.035 |
（料金は検証時点〔2026 年 10 月〕の OpenRouter の表示〔Gemini 4 Argon は 10 月 14 日に確認〕。Gemini 3.8 Flash は 10 月 27 日時点で $0.825／$4.125。実費は今回の Round 1 の平均。単価が同じでも、1 回あたりのトークン数の違いで実費は変わる。Gemini 4 Argon は 1 回あたりの出力トークンが平均約 870 と、GPT-6.1 Sol〔約 1,090〕・Claude〔約 2,000〕より少なかった。Sol Pro は、OpenRouter の説明では Sol と同じモデルを推論を多く使う「pro」モードで動かすもので、1 回あたりのトークンが多い）
- ChatGPT や Gemini のアプリそのものではなく、各社のモデルを API で、同じ指示文・ウェブ検索なしで呼んだ結果です。生成の設定は各モデルの既定値です。
- 3 つのモデルの文章は、それぞれ別の日の討論で書かせています（Claude Sonnet 5.5 は 10 月 3〜4 日、GPT-6.1 Sol は 10 月 8 日、Gemini 4 Argon は 10 月 15 日）。
- OpenAI では、これまで Terra が中ほどの価格帯のモデルでした。検証した時点（2026 年 10 月 8 日）では GPT-6 の世代に Terra が無かったため、GPT-6.1 の中で中間に位置する Sol（Claude Sonnet 5.5 と同じ単価）を比べています（一つ前の世代の GPT-5.6 Terra は、世代をそろえるため使っていません）。その後、2026 年 10 月 27 日に GPT-6.1 Terra（単価は Sol の半額の入力 $1・出力 $5）が提供されました。
- Gemini 4 Argon は Gemini の最上位のモデルですが、単価は他の 2 社と同じです。初版（10 月 14 日）では、Gemini の標準クラスで単価の低い Gemini 3.8 Flash を比べていました。最新で価格帯のそろったモデルどうしを比べるほうが読者の役に立つと考え、10 月 15 日に Gemini 4 Argon を同じ判定役・指示・基準で確かめ、比較の中心を入れ替えました（入れ替えたのは Argon の結果を見たあとです。後半の「検証方法」と「限界」を参照）。
- 参考として、Gemini 3.8 Flash と、記事「AIのハルシネーション対策を測った」で使った GPT-6.1 Sol Pro（Sol を pro モードで動かしたもの）も並べます。「安いモデルだと誤りは増えるのか」「推論を多く使えば正確になるのか」という問いに答えるためです。
なぜ、私たちが測れたのか。
正確さを比べるには、同じお題・同じ指示で何十本も書かせ、文章を 1 件ずつの主張に分けて、すべてを確かめる必要があります。DebateCross は 3 社の AI を同じ条件で動かす仕組みを持っているので、それができました。
以下の規模と図は、Terra 追加前の 5 モデル（主比較 3・参考 2）のものです。11 月 2 日に参考として加えた GPT-6.1 Terra の 45 文章・1,166 主張は別に集計し、後半の表に載せています。
- お題は、記事「AIのハルシネーション対策を測った」と同じ 15 テーマ（制度・技術・統計の解説と、架空の事物を尋ねる 3 テーマ）。各モデルに 3 回ずつ、計 45 本ずつ書かせました。
- 文章を「インボイス制度は 2023 年 10 月 1 日に始まった」のような 1 文 1 事実の主張に分けると、確かめる主張は比べた 3 モデルで 4,690 件、参考の 2 モデルを含めると 7,550 件になりました。
- その全件を、3 社の AI が、どのモデルが書いたかを伏せたまま、一次情報（法令データベース・省庁の資料・規格の原文）をウェブで引いて確かめました。人が同じ確かめ方を 3 社分すると、1 件 1 分としても約 380 時間かかる量です。
| 数字で見る規模 | 件数 |
|---|---|
| 比べたモデル | 3（＋参考 2） |
| 解説文 | 各モデル 45 本（15 テーマ × 3 回）、参考を含め計 225 本 |
| 確かめた主張 | 3 モデルで 4,690 件（Claude Sonnet 5.5 1,748／GPT-6.1 Sol 1,508／Gemini 4 Argon 1,434）。参考の Gemini 3.8 Flash 1,324 件・GPT-6.1 Sol Pro 1,536 件を含め 7,550 件 |
| 3 社の AI による判定 | 22,650 件（主張 × 3 社。参考を含む） |
| 「誤り」の見直し | 173 件 × 3 社（元の文章と並べて確かめ直し、28 件を「正しい」に直した） |
| 人が同じ判定をした場合の目安 | 約 380 時間（主張 1 件を 1 社分確かめるのに 1 分として、3 社分） |
わかったこと。3 社のハルシネーション率。
| モデル | 誤り率（文章ごとの平均） | 誤りを含む文章 | 例外を正しく書けた割合 | 架空のものを実在として説明 | 指定字数に収めた割合 |
|---|---|---|---|---|---|
| GPT-6.1 Sol | 約 0.9% | 9 / 45 本 | 80% | 0 / 9 本 | 100%（45 / 45 本） |
| Claude Sonnet 5.5 | 約 1.8% | 20 / 45 本 | 80% | 0 / 9 本 | 22%（10 / 45 本） |
| Gemini 4 Argon | 約 2.9% | 22 / 45 本 | 67% | 0 / 9 本 | 2%（1 / 45 本） |
| （参考）Gemini 3.8 Flash | 約 3.5% | 24 / 45 本 | 57% | 1 / 9 本 | 18%（8 / 45 本） |
| （参考）GPT-6.1 Sol Pro | 約 0.3% | 5 / 45 本 | 78% | 0 / 9 本 | 96%（43 / 45 本） |
（例外・条件は、例外・条件のある 11 テーマ × 3 本での値。GPT-6.1 Sol と Gemini 4 Argon の「架空のもの」は、Codex と Claude の 2 社の判定〔どちらも一致〕で決めた。下の「検証方法」を参照）
GPT-6.1 Sol は、誤りが最も少なかった。
GPT-6.1 Sol の誤りは、正誤が定まった 1,505 件の主張のうち 13 件で、誤り率は約 0.9% でした（確かめた 1,508 件のうち 3 件は「検証不能」）。誤りを含む解説文は 45 本中 9 本で、Claude（20 本）や Gemini 4 Argon（22 本）の半分以下です。Gemini 4 Argon との差は −2.02 ポイント（95% 区間 −3.83〜−0.43）ではっきりしていました。Claude との差は −0.98 ポイント（区間 −1.87〜−0.10）で、今回の区間は 0 を含みませんでしたが、「検証不能も誤りとする」数え方では差が小さくなります（下の感度分析）。
GPT-6.1 Sol は、45 本すべてを指定の字数（800〜1,200 字）に収めていました。主張の数は 1 本あたり約 36 件で、Gemini 4 Argon（約 34 件）と近く、Claude（約 40 件）より少なめです。
Claude と Gemini 4 Argon の誤りは、どこで出たか。
Gemini 4 Argon の誤り 46 件のうち 19 件は、2020 年の国勢調査のお題で、都道府県別の増減率などの細かい数値の取り違えでした。9 件は成年年齢のお題で、主なものは「大型免許は 20 歳から」（正しくは原則 21 歳）、「特別養子縁組の養親は 20 歳から」（原則 25 歳）のように、成年年齢そのものではなく、お題の周辺の年齢要件まで書いた箇所の誤りでした。Argon は 1 本あたり平均 1,603 字と、比べた 3 つの中で最も長く書いています。誤りの種類で見ると、数値・日付を含む誤りが 36 件と大半を占めます。
Claude Sonnet 5.5 の誤り 36 件も、半分以上（19 件）が数値・日付でした。誤りは特定のテーマに偏らず、架空の法律を尋ねるお題（6 件）、国勢調査（5 件）など、広く散らばっていました。
国勢調査のお題を除くと、誤り率は Gemini 4 Argon 約 2.0%、Claude 約 1.7% と近い値です。国勢調査を含む全体でも、Claude と Gemini 4 Argon の差は −1.04 ポイント（区間 −3.03〜+0.57）で、区間が 0 をまたぐため、この規模では差を確認できませんでした。
例外・条件まで、書けたか。
制度の説明は、原則が正しくても、例外や特例が抜けていると読者は判断を誤ります（インボイス制度の「2 割特例」、残業の上限を超えられる「特別条項」の上限など）。こうした判断に要る例外・条件を正しく書けた割合は、GPT-6.1 Sol 80%（95% 区間 72〜87%）、Claude Sonnet 5.5 80%（73〜87%）、Gemini 4 Argon 67%（58〜76%）でした（例外・条件のある 11 テーマ〔チェックリスト 69 項目〕× 各 3 本で、各モデル 33 本・のべ 207 項目。区間はお題単位のブートストラップ）。同じお題どうしを対にして比べると、GPT-6.1 Sol − Gemini 4 Argon は +12.2 ポイント（95% 区間 +6.6〜+19.0）、Claude − Gemini 4 Argon は +12.5 ポイント（+4.4〜+21.0）で、Gemini 4 Argon は例外・条件を書き漏らしやすい傾向がありました。GPT-6.1 Sol と Claude の差は −0.3 ポイント（−7.0〜+6.4）で、ほぼ同じです。
存在しないものは、でっち上げたか。
架空の法律・SQL の構文・経済学者について尋ねると、比べた 3 つのモデルは 9 本とも「確認できない」「実在しない」と書き、実在するとして説明した文章はありませんでした（参考の Gemini 3.8 Flash は 1 本、架空の法律を、名前の似た実在の法律の別名として説明しました）。参考の GPT-6.1 Terra も、判定済みの 6 文章では 0 / 6 本でした（Codex・Claude の判定が一致）。残る t15 の 3 文章は主張が 0 件で、存在トラップの判定の束に入っていないため未判定です。9 本すべてを判定済みとは数えていません。露骨な作り話より、もっともらしい細部の誤りのほうが、どの AI でも問題になります。
最近の改正は、どの AI も記載しなかった。
2025 年 6 月以降に変わった 3 項目（インボイス制度の経過措置の改正、懲役から拘禁刑への変更、TLS 1.3 の仕様の改訂）は、どのモデルも改正後の内容を記載しませんでした。改正前の内容を書くか、触れないかのどちらかです。もう 1 項目の NISA のつみたて投資枠の 0〜17 歳への拡充（2027 年 1 月から、執筆時点で未施行）には、どのモデルも触れませんでした（「18 歳以上」と書いたものは、2026 年時点では正しい）。たとえばインボイス制度の経過措置は、どのモデルも（10 月 13 日に提供が始まった Gemini 4 Argon も）改正前の予定（2026 年 10 月から 50%）を書いていました（参考の Sol Pro の 1 本だけは触れていません）。最近変わった制度は、どの AI に聞いても、一次情報で確かめる必要があります。
差は、どこまで確かか。
数え方を 3 通り変えても（書き手と同じ社の判定役の票を除く／検証不能も誤りとする／最近の改正に関わる主張を除く）、GPT-6.1 Sol が最も低く、Gemini 4 Argon が最も高いという点推定の順は同じでした（数え方ごとの差の区間は出していません）。GPT-6.1 Sol と Claude の差は、「検証不能も誤りとする」と 1.74% と 1.88% まで縮まります。Claude と Gemini 4 Argon の差は、この規模では確認できませんでした。ただし、異なるお題は 15 テーマだけです。ここでの区間は、お題の選び方による揺れの目安で、AI の判定そのものの誤りは含みません。
参考：安いモデル、推論を多く使うモデルでは。
- Gemini 3.8 Flash（単価は Argon の約 4 割）の誤り率は約 3.5%（区間 1.59〜6.31%）でした。Gemini 4 Argon − 3.8 Flash は −0.59 ポイント（区間 −1.90〜+0.96）で、最上位の Argon に替えても、誤り率がはっきり下がったとは言えません。一方、例外・条件を正しく書けた割合は 57%（47〜68%）で、Gemini 4 Argon − 3.8 Flash は +10.1 ポイント（+3.5〜+17.2）と、例外・条件は Argon のほうがはっきり多く書けていました。誤りの 4 割近く（17 件）は、Argon と同じ国勢調査のお題でした。
- GPT-6.1 Sol Pro（Sol を推論を多く使う pro モードで動かしたもの）の誤り率は 0.30% で、GPT-6.1 Sol（0.85%）より低く出ました（差 −0.55 ポイント、区間 −1.19〜−0.02）。例外・条件（78% と 80%）と字数の守り方（96% と 100%）はほぼ同じで、1 回の回答の実費は約 3 倍でした。
- GPT-6.1 Terra（単価は Sol の半額）を参考に加えると、判定対象 42 文章の誤り率は平均 0.86%（95% 区間 0.27〜1.53%）でした。入力 45 文章のうち 3 文章は抽出主張が 0 件で、平均に含めていません。Sol との差は共通の 42 文章で −0.06 ポイント（95% 区間 −0.65〜+0.48）と 0 をまたぐため、優劣は結論しません。例外を正しく書けた割合は 67.6%（33 文章）でした。
生成 AI を、どう使い分けるか。
今回の結果から、場面ごとの使い分けを考えると次のようになります。どの AI でも誤りはゼロにならないので、最後は人が一次情報で確かめてください。
| 場面 | おすすめ | 理由（今回の結果） |
|---|---|---|
| 数値・日付・固有名詞の多い説明 | GPT-6.1 Sol。どの AI でも数値は確かめる | GPT-6.1 Sol の誤り率が最も低かった。Claude と Gemini は誤りの半分以上が数値・日付だった |
| 例外・特例の多い制度の説明 | GPT-6.1 Sol か Claude Sonnet 5.5 | 例外・条件を正しく書けた割合が約 8 割。Gemini 4 Argon は約 7 割で、差ははっきりしていた |
| 最近変わった制度・価格・仕様 | どれでも、一次情報を資料として渡す。最後は人が確かめる | どの AI も最近の改正 3 項目の改正後の内容を記載しなかった |
| 字数の決まった文章 | GPT-6.1 Sol | 45 本すべてを指定の字数に収めた。Claude は約 2 割、Gemini 4 Argon は 45 本中 1 本 |
1 社の AI だけに頼るより、別の AI に批評させると、1 体だけの思い違いや例外の書き漏れが減ります（AIのハルシネーション対策を測った）。
詳しい結果と検証方法。
ここから先は、数値の区間、検証の手順、限界を詳しく知りたい方向けです。
| 節 | 中身 |
|---|---|
| 結果の要点を、数値と区間で。 | モデル別の誤り率・区間・モデル間の差・感度分析 |
| 検証方法。 | お題と文章、判定役をそろえた全件の確かめ直し、判定の基準、比較の中心を入れ替えたこと |
| モデル別の結果。どんなハルシネーションが、どのお題で起きたか。 | 誤りの種類、テーマ別、例外・条件、捏造、最近の改正、指示の守り方 |
| 判定役をそろえると、数字はどう変わったか。 | 記事 A の採点との比較 |
| この結果の限界。／よくある質問。 | 言えないこと、よくある質問 |
結果の要点を、数値と区間で。
以下の数値はすべて、15 テーマ × 各 3 回の解説文（2026 年 10 月、ウェブ検索なし、深掘りモードの討論の Round 1）のものです。誤り率は、事実の主張と「〜ない」型の主張について、誤り ÷（正しい＋誤り）を文章ごとに出して平均した値です。区間は、お題を単位にしたクラスター・ブートストラップ（10,000 回、seed 1）の 95% 区間です。
| モデル | 文章 | 誤り率 | 95% 区間 | 誤り / 判定数 | 誤りを含む文章 |
|---|---|---|---|---|---|
| GPT-6.1 Sol | 45 | 0.85% | 0.20〜1.63% | 13 / 1,505 | 9 |
| Claude Sonnet 5.5 | 45 | 1.83% | 1.00〜2.71% | 36 / 1,739 | 20 |
| Gemini 4 Argon | 45 | 2.87% | 1.20〜5.08% | 46 / 1,433 | 22 |
| （参考）Gemini 3.8 Flash | 45 | 3.46% | 1.59〜6.31% | 45 / 1,322 | 24 |
| （参考）GPT-6.1 Sol Pro | 45 | 0.30% | 0.06〜0.61% | 5 / 1,536 | 5 |
| （参考）GPT-6.1 Terra | 42 | 0.86% | 0.27〜1.53% | 9 / 1,166 | 8 |
（Terra は入力 45 文章のうち、主張が 0 件だった t15 の 3 文章を平均から除いた。誤り率 0% の文章としては数えていない）
| モデル間の差（同じお題・同じ回の文章どうし） | 差 | 95% 区間 |
|---|---|---|
| GPT-6.1 Sol − Claude Sonnet 5.5 | −0.98 pt | −1.87〜−0.10 |
| GPT-6.1 Sol − Gemini 4 Argon | −2.02 pt | −3.83〜−0.43 |
| Claude Sonnet 5.5 − Gemini 4 Argon | −1.04 pt | −3.03〜+0.57 |
| （参考）Gemini 4 Argon − Gemini 3.8 Flash | −0.59 pt | −1.90〜+0.96 |
| （参考）GPT-6.1 Sol − Gemini 3.8 Flash | −2.61 pt | −4.99〜−0.91 |
| （参考）Claude Sonnet 5.5 − Gemini 3.8 Flash | −1.63 pt | −4.14〜+0.10 |
| （参考）GPT-6.1 Sol Pro − GPT-6.1 Sol | −0.55 pt | −1.19〜−0.02 |
| （参考）GPT-6.1 Terra − GPT-6.1 Sol（共通 42 文章） | −0.06 pt | −0.65〜+0.48 |
Terra と Sol の差の区間は 0 をまたぐため、優劣は結論しません。共通の 42 文章での Sol の平均は 0.91% で、全 45 文章の 0.85% とは対象が異なります。
（比べた 3 モデルの文章は、それぞれ別の討論で書かせたため、同じお題・同じ回〔1〜3 回目〕どうしを形式的に対にした。同じ討論の文章どうしの比較とは性質が違う。参考の Gemini 3.8 Flash と Sol Pro は Claude と同じ討論）
感度分析（誤り率）
| 数え方 | GPT-6.1 Sol | Claude Sonnet 5.5 | Gemini 4 Argon | （参考）3.8 Flash | （参考）Sol Pro | （参考）Terra |
|---|---|---|---|---|---|---|
| 主の集計（3 社の 2 社以上の一致、見直し後） | 0.85% | 1.83% | 2.87% | 3.46% | 0.30% | 0.86% |
| 書き手と同じ社の判定役の票を除く | 0.79% | 1.53% | 2.60% | 2.97% | 0.30% | 0.79% |
| 検証不能も誤りとする | 1.74% | 1.88% | 2.91% | 3.61% | 0.30% | 0.86% |
| 2025 年 6 月以降の改正に関わる主張を除く | 0.72% | 1.43% | 2.49% | 2.92% | 0.17% | 0.60% |
「検証不能も誤りとする」と GPT-6.1 Sol の値が上がるのは、架空の事物を尋ねるお題で、事実の主張が数件しかない文章に検証不能が入り、その文章の率が大きく動くためです（件数では誤り 13 件 → 16 件）。
検証方法。
お題と文章
- お題は記事「AIのハルシネーション対策を測った」と同じ 15 テーマ（法制度・税 9、技術 2、統計 1、存在トラップ 3）。各テーマに、一次情報で確かめたファクトシート（正誤の基準にする出典つきの事実の一覧）を用意しています。
- 文章は、DebateCross の討論の Round 1（3 体が同じ指示文に独立に答えたもの）です。討論の影響を受ける前の、各モデル単体の回答にあたります。
- Claude Sonnet 5.5 と、参考の Gemini 3.8 Flash・GPT-6.1 Sol Pro の文章は、記事 A の 45 討論（2026 年 10 月 3〜4 日）のもの。GPT-6.1 Sol の文章は、参加モデルを Claude Sonnet 5.5・GPT-6.1 Sol・Gemini 3.8 Flash にした 45 討論（10 月 8 日）、Gemini 4 Argon の文章は、参加モデルを Claude Sonnet 5.5・GPT-6.1 Sol・Gemini 4 Argon にした 45 討論（10 月 15 日）のものです。
- 参考の GPT-6.1 Terra は、Claude Sonnet 5.5・GPT-6.1 Terra・Gemini 4 Argon が参加した別の 45 討論の Round 1 です。主張 1,166 件を同じ集計規則で確かめ、誤りとされた 15 件を 3 社で見直して 6 件を「正しい」に直しました。判断が割れたフリーランス法の「発注者の規模」に関する 1 件は、運営が 11 月 2 日に「誤り」のまま確定しました。
- 生成設定は各モデルの既定値（本番と同じ）、ウェブ検索・資料の添付はありません。
判定役をそろえて、全件を確かめた
記事 A の採点では、自社のモデルに甘い判定を避けるため、文章を書いたモデルと同じ社の判定役の票を多数決から外していました。そのため、モデルごとに判定役の組み合わせが違い、例外に厳しい Codex が GPT の文章だけを判定していませんでした。モデルを比べるには、この違いが結果に混ざります。
そこでこの記事では、すべての主張を、全モデル同じ 3 社の AI で確かめ直しました。手順と判定の決まりは、確かめ直しを始める前に文書で固定しています（2026 年 10 月 8 日。Gemini 4 Argon を加える手順は、Argon の討論を回す前の 10 月 14 日に書き足しました）。
| 段階 | 誰が | 何をするか |
|---|---|---|
| 1. 主張の分解 | Codex（GPT-5.6 Sol） | 解説文を 1 文 1 事実の主張に分ける（記事 A と同じ指示文。上限の 40 件に達した文章は残りを追加で分解）。Claude・Gemini 3.8 Flash・Sol Pro の文章は記事 A の分解をそのまま使い、GPT-6.1 Sol と Gemini 4 Argon の文章を新しく分解した |
| 2. 主張の種類の分類 | Codex と Claude（割れたら Gemini 3.8 Flash） | 事実・「〜ない」・推測・解釈などに分け、事実と「〜ない」だけを誤り率の対象にする |
| 3. 一次情報での確かめ直し | Codex（GPT-5.6 Sol、推論の強さ「高」）・Gemini 3.8 Flash・Claude Opus 5.5 | 全主張を、どのモデルの文章かを伏せて、ウェブで一次情報を引いて判定。3 社のうち 2 社以上が同じ判定ならそれを採り、そろわなければ「検証不能」 |
| 4. 「誤り」の見直し | 3 社の AI | 2 社以上が「誤り」とした主張を、元の文章と並べて見直す（分解で生まれた見かけの誤りでないか、判定基準に照らして妥当か）。初版の 123 件のうち 24 件、Gemini 4 Argon の 50 件のうち 4 件を、2 社以上が「直すべき」としたので直した。この 5 モデルでは、3 社の判断が割れて人に回ったものは無かった |
判定の基準は記事 A と同じです（原則を正しく述べていれば、例外に触れていなくても正しい／数値・日付・名称・条文の誤りと、改正済みの内容を改正前のまま書いたものは誤り／実在するものについての「〜ない」は、一次情報で確かめられたときだけ正しい）。例外・条件の判定と、存在トラップでの捏造の判定は、記事 A と同じ手順・同じ基準です。ただし GPT-6.1 Sol と Gemini 4 Argon の存在トラップは、記事 A で使った判定役の 1 つ（Gemini 3.7 Flash）が使えなくなっていたため、Codex と Claude の 2 社の判定で決めました（2 社の判定は、どちらのモデルも 9 本とも一致。Argon では、割れた場合に Gemini 3.8 Flash を 3 社目にする取り決めでしたが、割れなかったので使っていません。Codex は GPT-6.1 Sol と同じ OpenAI の AI です）。
比較の中心を入れ替えたこと
初版（10 月 14 日）の比較の中心は、GPT-6.1 Sol・Claude Sonnet 5.5・Gemini 3.8 Flash でした。10 月 15 日に、単価が他の 2 社と同じ Gemini 4 Argon を加え、その結果を見たあとで、比較の中心を同じ価格帯の最新 3 モデル（GPT-6.1 Sol・Claude Sonnet 5.5・Gemini 4 Argon）に入れ替えました。理由は、単価の違う Gemini 3.8 Flash を中心に置くより、価格帯と世代のそろったモデルどうしの比較のほうが、読者の判断に役立つと考えたためです。指標・判定・区間・感度分析の手順と、既存の主張の判定は変えていません。入れ替えたことと時期は、計画書にも記録しています。
モデル別の結果。どんなハルシネーションが、どのお題で起きたか。
誤りの種類
| モデル | 誤り | 古い知識 | 数値・日付 | 名称・条文・規格 | その他 |
|---|---|---|---|---|---|
| GPT-6.1 Sol | 13 | 2 | 4 | 6 | 1 |
| Claude Sonnet 5.5 | 36 | 8 | 19 | 3 | 6 |
| Gemini 4 Argon | 46 | 5 | 36 | 3 | 2 |
| （参考）Gemini 3.8 Flash | 45 | 7 | 26 | 5 | 7 |
| （参考）GPT-6.1 Sol Pro | 5 | 2 | 1 | 1 | 1 |
| （参考）GPT-6.1 Terra | 9 | 3 | 2 | 2 | 2 |
（規則で分類: 最近の改正に関わるキーワードに当たるものを「古い知識」、それ以外で数字を含むものを「数値・日付」、法令・規格などの名称を含むものを「名称・条文・規格」とした）
テーマ別
誤りが目立って集中したのは、Gemini の国勢調査（4 Argon 19 件、参考の 3.8 Flash 17 件）と、Gemini 4 Argon の成年年齢（9 件）でした。GPT-6.1 Sol の誤り 13 件のうち 5 件はフリーランス法、4 件は国勢調査です。国勢調査のお題を除いた誤り率（文章ごとの平均）は、GPT-6.1 Sol 0.60%、Claude Sonnet 5.5 1.67%、Gemini 4 Argon 2.03%（参考の 3.8 Flash 2.25%）です。
例外・条件
| モデル | 文章 | 正しく触れた割合 | 95% 区間 |
|---|---|---|---|
| GPT-6.1 Sol | 33 | 79.6% | 72.0〜87.3% |
| Claude Sonnet 5.5 | 33 | 79.9% | 72.5〜87.2% |
| Gemini 4 Argon | 33 | 67.3% | 58.1〜75.6% |
| （参考）Gemini 3.8 Flash | 33 | 57.2% | 47.2〜67.7% |
| （参考）GPT-6.1 Sol Pro | 33 | 78.4% | 71.1〜85.6% |
| （参考）GPT-6.1 Terra | 33 | 67.6% | — |
（Terra の例外・条件の区間は未集計）
（例外・条件のある 11 テーマのチェックリスト 69 項目。判定は Codex と Claude が独立に行い、割れたものは Gemini が決めた。区間はお題単位のブートストラップ）
| 例外・条件の差（同じお題どうし） | 差 | 95% 区間 |
|---|---|---|
| GPT-6.1 Sol − Claude Sonnet 5.5 | −0.3 pt | −7.0〜+6.4 |
| GPT-6.1 Sol − Gemini 4 Argon | +12.2 pt | +6.6〜+19.0 |
| Claude Sonnet 5.5 − Gemini 4 Argon | +12.5 pt | +4.4〜+21.0 |
| （参考）Gemini 4 Argon − Gemini 3.8 Flash | +10.1 pt | +3.5〜+17.2 |
（同じお題の文章をまとめて復元抽出し、2 モデルの割合の平均の差をとったクラスター・ブートストラップ〔10,000 回、seed 1〕）
最近の改正への反応
| 改正・改訂 | GPT-6.1 Sol | Claude Sonnet 5.5 | Gemini 4 Argon | （参考）3.8 Flash | （参考）Sol Pro |
|---|---|---|---|---|---|
| インボイスの経過措置（令和 8 年度改正） | 改正前 3 | 改正前 3 | 改正前 3 | 改正前 3 | 改正前 2・触れず 1 |
| 懲役 → 拘禁刑（2025 年 6 月施行） | 触れず 3 | 改正前 3 | 改正前 2・触れず 1 | 改正前 2・触れず 1 | 触れず 3 |
| TLS 1.3 の改訂（RFC 9846、2026 年 7 月） | 改正前 3 | 改正前 3 | 改正前 3 | 改正前 3 | 改正前 3 |
| 新 NISA の未成年への拡充（2027 年 1 月から） | 触れず 3（「18 歳以上」とだけ書いた） | 触れず 3（うち 2 本は「18 歳以上」とだけ） | 触れず 3 | 触れず 3 | 触れず 3（うち 2 本は「18 歳以上」とだけ） |
（Round 1 の本文の文字で判定。「18 歳以上」は 2026 年時点では正しい）
指示の守り方
| モデル | 平均の長さ | 指定字数（800〜1,200 字）に収めた割合 | 主張数／文章 | 推測・解釈など対象外の主張の割合 |
|---|---|---|---|---|
| GPT-6.1 Sol | 1,070 字 | 100%（45 / 45 本） | 35.6 | 5.9% |
| Claude Sonnet 5.5 | 1,296 字 | 22%（10 / 45 本） | 40.5 | 4.1% |
| Gemini 4 Argon | 1,603 字 | 2%（1 / 45 本） | 33.5 | 4.8% |
| （参考）Gemini 3.8 Flash | 1,349 字 | 18%（8 / 45 本） | 32.3 | 8.9% |
| （参考）GPT-6.1 Sol Pro | 1,069 字 | 96%（43 / 45 本） | 36.1 | 5.5% |
長さと主張の数は、必ずしも対応しません（Gemini 4 Argon は最も長く書きましたが、主張の数は Claude より少なめでした）。誤り率は文章の中の主張の数に対する割合なので、長さそのものの影響は受けにくい指標です。
判定役をそろえると、数字はどう変わったか。
記事 A の採点（書き手と同じ社の判定役の票を外した 2 社の採点と、その後の裁定）と、この記事の確かめ直し（3 社がそろって全件を一次情報で確認し、2 社以上の一致で決める）で、同じ主張（記事 A の 3 モデル分、4,608 件）のラベルを比べると、変わったのは次のとおりです。
| 記事 A → 確かめ直し | 件数 |
|---|---|
| 正しい → 誤り | 20 |
| 検証不能 → 正しい | 25 |
| 正しい → 対象外 | 8 |
| 誤り → 正しい | 6 |
| 検証不能 → 誤り | 3 |
| その他（対象外→正しい、検証不能→対象外、正しい→検証不能） | 各 1 |
| 変わらなかった | 4,543 |
その結果、確かめ直しのほうが誤り率は少し高く出ています（Claude Sonnet 5.5 1.50% → 1.83%、Gemini 3.8 Flash 2.79% → 3.46%、GPT-6.1 Sol Pro 0.23% → 0.30%）。理由は 2 つ重なっています。1 つは、記事 A では採点の多数決だけで決まっていた主張も、全件を一次情報で確かめたこと。もう 1 つは、判定役を 3 社にして 2 社以上の一致で決めるようにしたことです（書き手と同じ社の票を除くと、誤り率は少し下がる。感度分析を参照）。どちらにしても、AI に事実確認をさせるときは、判定役の組み合わせと確かめ方で数字が動きます。記事 A で「確かめきれなかった誤り」を推定して足したのも、このためです。
この結果の限界。
- このお題・この条件の結果です。 15 テーマは、公的資料や規格で正誤が決まる日本語の制度・技術の解説に絞っています。会話・要約・コード・画像・最新ニュースの正確さは測っていません。
- テーマの数が少ない。 各モデル 45 本ですが、異なるお題は 15 です。差が数件の判定の違いで動く場合があり、区間が 0 をまたぐ比較（誤り率の Claude と Gemini 4 Argon、参考の Argon と 3.8 Flash、Claude と 3.8 Flash／例外・条件の GPT-6.1 Sol と Claude）は「差があるとは言えない」と書いています。Gemini の誤りの約 4 割は国勢調査のお題に集中しており、お題の選び方で差は変わりえます。
- 比較の中心は、結果を見たあとで入れ替えました。 初版の中心だった Gemini 3.8 Flash を参考に回し、Gemini 4 Argon を中心に置いたのは、Argon の結果を見たあとです（理由は「検証方法」）。判定や集計の手順は変えていません。
- 比べた 3 モデルの文章は、別々の日の討論で書かせています。 Claude Sonnet 5.5 は 10 月 3〜4 日、GPT-6.1 Sol は 10 月 8 日、Gemini 4 Argon は 10 月 15 日です。同じ日に書かせた文章どうしの比較ではありません。事前登録では、同じ日の討論の文章を使って「同じモデルに聞き直したときの揺れ」と実行日の影響を見る予定でしたが、初版では判定に使う AI の利用枠の都合で、今回は運営の判断で、この分析は行っていません。
- 正解のラベルは AI の判定で作っています。 3 社の AI が全件を一次情報で確かめ、2 社以上の一致で決めましたが、人が無作為に抜き出して判定の正しさを確かめる工程は、この記事では行っていません（記事 A では人の確認を含めた。Terra の追加分では、見直しで判断が割れた 1 件を運営が確認したが、無作為な抽出ではない）。3 社に共通する一次情報の読み違いは、残りえます。
- 「誤り」の見直しは一方向です。 見直しは「誤り」とされた主張にだけかけ、「正しい」とされた主張は見直していません。誤りの多いモデルほど見直しで直る機会が多い、という偏りがありえます。
- 判定役は、比べられる側の会社の AI でもあります。 モデル名を伏せ、3 社が全件を同じ条件で判定し、2 社以上の一致で決めました。ただし、文体から書き手が推測される可能性は残ります。感度分析に、書き手と同じ社の票を除いた集計も載せています。判定役の Gemini 3.8 Flash は、Gemini 4 Argon と同じ会社のモデルで、参考の Gemini 3.8 Flash の文章も自分で判定しています。Gemini 4 Argon の判定の束には Argon の主張しか入らないため、「束の中で複数のモデルの主張を混ぜて、どれがどのモデルかを分かりにくくする」伏せ方は、Argon の分ではできていません（モデル名は伏せています）。
- 主要項目の網羅率は載せていません。 記事 A では載せましたが、GPT-6.1 Sol と Gemini 4 Argon の分を同じ方法（3 社の採点）で出せなかったため、この記事では外しました。
- アプリではなく API の結果です。 ChatGPT や Gemini のアプリは、ウェブ検索や独自の指示が加わるため、結果が違う可能性があります。
- モデルの更新で結果は変わります。 2026 年 10 月時点の版の結果です。Gemini 4 Argon は提供開始の 2 日後の結果です。
- DebateCross の運営による検証です。 特定の AI 会社とは提携・広告の関係はありませんが、「複数の AI を組み合わせる」ことを勧める立場の運営が書いた記事です。
よくある質問。
Q. ChatGPT・Claude・Gemini で、いちばん正確なのはどれですか。 A. この検証（2026 年 10 月、同じ価格帯の各社の最新モデルを API で利用、日本語の制度・技術の解説 15 テーマ × 各 3 回）では、誤り率が最も低かったのは GPT-6.1 Sol（約 0.9%）で、Claude Sonnet 5.5（約 1.8%）、Gemini 4 Argon（約 2.9%）が続きました。GPT-6.1 Sol と Gemini の差ははっきりしていましたが、Claude と Gemini の差はこの規模では確認できませんでした。各社のアプリそのものの比較ではなく、お題やモデルの版が変われば結果も変わります。
Q. ChatGPT が間違いを認めないときは、どうすればいいですか。 A. 同じ会話で問い詰めるより、別の AI に回答を批評させるほうが誤りを見つけやすくなります。記事「AIのハルシネーション対策を測った」では、1 体だけの思い違いは、別の AI の批評で直っていました。数値や日付は、最後に一次情報で確かめてください。
Q. Gemini は嘘が多いのですか。 A. この検証では、Gemini 4 Argon の誤り率は 3 つの中で最も高めでしたが、Claude との差は確認できず、誤りの約 4 割は国勢調査のお題の細かい数値に集中していました。国勢調査を除くと、Claude と近い値です。架空のものを実在するとして説明した文章はありませんでした。例外・条件を正しく書けた割合（67%）は、GPT-6.1 Sol・Claude（約 80%）より低く、同じお題どうしの差の区間も 0 を含みませんでした。細かい数値と例外は、別の AI や一次情報で確かめてください。
Q. 最新の Gemini 4 Argon は、低価格の Gemini 3.8 Flash より正確ですか。 A. この検証では、Gemini 4 Argon の誤り率は約 2.9% で、単価が約 4 割の Gemini 3.8 Flash（約 3.5%）との、はっきりした差は確認できませんでした。一方、例外・条件を正しく書けた割合は 67% と 57% で、同じお題どうしの差は +10.1 ポイント（区間 +3.5〜+17.2）と、Argon のほうがはっきり多く書けていました。Argon は比べた中で最も長く書き、成年年齢のお題では、周辺の年齢要件まで書いた箇所で誤りが出ていました。
Q. 有料版や上位モデルなら、正確になりますか。 A. この検証では、Sol を推論を多く使う pro モードで動かした GPT-6.1 Sol Pro の誤り率（0.30%）は、GPT-6.1 Sol（0.85%）より低く出ました。一方で、例外の書き込みや字数の守り方はほぼ同じで、1 回の回答の実費は約 3 倍でした。最近の改正は、Sol Pro でも改正後の内容を記載しませんでした。参考の GPT-6.1 Terra は誤り率 0.86%（判定対象 42 文章）で、Sol との差は −0.06 ポイント（95% 区間 −0.65〜+0.48）。Terra と Sol の優劣は結論しません。
Q. 料金や画像生成も比べてほしいです。 A. この記事は正確さだけを測っています。料金・画像生成・プログラミングの比較は、各社の公式ページをご覧ください。
Q. この比較は更新されますか。 A. 各社のモデルの版が変わったら、同じお題・同じ手順で測り直し、更新日と結果を書き換える予定です。
自分のお題で、確かめる。
同じお題を 3 つの AI に書かせ、互いに批評させると、どこで答えが分かれるかを自分の目で確かめられます。新規登録で 250 円分のボーナス（カード登録不要・有効期限 30 日）。月額料金はかかりません。
更新履歴: 2026 年 11 月 2 日 GPT-6.1 Terra の確定した参考結果（誤り率・Sol との差・感度分析・例外・存在トラップ）と公開データを追加／2026 年 10 月 27 日 GPT-6.1 Terra（10 月 27 日提供開始）の記述と、Gemini 3.8 Flash の現在の単価の注記を追加（比べたモデル・数値は変えていません）／2026 年 10 月 15 日 Gemini 4 Argon（単価が他の 2 社と同じ Gemini の最上位モデル）を同じ判定役・指示・基準で加え、比較の中心を同じ価格帯の最新 3 モデル（GPT-6.1 Sol・Claude Sonnet 5.5・Gemini 4 Argon）に入れ替え。Gemini 3.8 Flash は参考に／2026 年 10 月 14 日 初版（15 テーマ × 各 3 回、GPT-6.1 Sol／Claude Sonnet 5.5／Gemini 3.8 Flash、参考 GPT-6.1 Sol Pro）
ChatGPT・GPT は OpenAI の、Claude は Anthropic の、Gemini は Google の商標または登録商標です。解説文・回答例は AI の出力です。
出典
確認日は 2026-10-15 です。ただし、GPT-6.1 Terra の提供開始・単価と、Gemini 3.8 Flash の現在の単価は 2026-10-27 に確かめました。
- 各モデルの料金: OpenRouter のモデル一覧（2026-10-08 確認。Gemini 4 Argon は 2026-10-14 確認、提供開始は OpenRouter の掲載日 2026-10-13〔UTC〕。GPT-6.1 Terra の単価と Gemini 3.8 Flash の現在の単価は 2026-10-27 確認、GPT-6.1 Terra の掲載日は 2026-10-26〔UTC。日本時間 10 月 27 日〕）
- 各テーマのファクトシートの出典は、検証データ一式のお題ファイルに項目ごとに記載