検証ノート

AIのハルシネーション対策を測った。AI同士の討論で誤り1.3%→0.4%、例外の書き漏れも減った。AIの主張8,567件を3社のAIと人で検証

シーツリー合同会社（DebateCross 運営）・2026年10月8日 公開 ／ 2026年10月16日 更新

結論：AI 同士に互いの回答を批評させてから 1 つにまとめると、まとめ役の AI 自身の最初の回答より誤りが減る傾向が見られ（誤り率 約 1.3% → 約 0.4%）、判断に必要な例外・条件の書き漏れも減りました（正しく書けた割合 72% → 87%）。ただし、減った幅そのものは、この規模では確かには言えません。また、3 社の AI のどれも改正後の内容を書かなかった最近の制度改正は最終回答でも直らず、1 体の AI に「確認できないことは断定しないで」と指示するだけでは誤りは減りませんでした。AI が書いた主張 8,567 件を 1 件ずつ 3 社の AI で判定し、判定が割れたところや「誤り」は人が一次情報で確かめた結果です。

この記事は、前半で検証の狙いと結果の要点を、後半の「詳しい結果と検証方法。」で数値の区間・検証の手順・限界を説明します。要点だけを知りたい方は、前半だけで読み終えられます。

目次

• DebateCross は、AI 同士に討論させるサービス。
• なぜ、この検証をしたのか。
• なぜ、私たちが測れたのか。
• わかったこと。
• ハルシネーション対策として、どう使うか。
• 詳しい結果と検証方法（後半の目次）

DebateCross は、AI 同士に討論させるサービス。

DebateCross は、Claude・GPT・Gemini など複数社の AI に同じお題を渡し、3 ラウンドで討論させるサービスです。1 社の AI に聞いて終わりにせず、他社の AI に答えを批評させてから、1 つの最終回答にまとめます。

この記事では、この仕組みで「AI の誤りがどれだけ減るか」を測りました。

なぜ、この検証をしたのか。

AI に制度や技術の説明を書かせると、もっともらしい文章の中に、古い数値や存在しない特例が紛れ込むことがあります。ハルシネーション（もっともらしい誤り）とは、AI が事実と異なる内容を、確からしい文体で出力することです。仕事で AI を使う人が知りたいのは、「どうすれば減らせるか」と「どこまで AI に任せてよいか」でしょう。

ハルシネーション対策としてよく挙がるのは、次の 4 つです。どれか一つで十分というより、目的・手間・扱う情報の性質に応じて組み合わせるものです。

このうち「複数 AI のクロスチェック」は、手軽に試せる対策としてよく紹介されます。ところが、私たちが調べた範囲（2026 年 10 月、「ハルシネーション 対策」「AI ハルシネーション 対策」の検索上位 11 件）では、クロスチェックに触れていたのは 4 件で、いずれも対策の一項目として数行〜短い節で紹介する程度でした。その手法で誤りがどれだけ減るかを示す数字は、自前の測定・外部研究の引用ともに 1 件も見当たりませんでした。AI 同士に批評させてから統合する方法をはっきり扱ったページもありませんでした。

この記事が測るのは 4 つ目のうち、AI 同士に互いの回答を批評させ、1 体が統合して最終回答を書くやり方です。対照として、2 つ目の「1 体に指示を足す」も同じお題で測りました。RAG と人のレビューは測っていないため、この記事の数値で 4 つの優劣は決められません。

そこで、仕事で AI を使う人が判断の材料にできるよう、次の問いに数字で答えることにしました。

もう一つの理由は、私たち自身が知る必要があったことです。DebateCross は「AI 同士に批評させると答えがよくなる」という考えで作ったサービスです。それが本当か、どこまでなら言えるか、どこでは効かないのかを、運営として確かめておく必要がありました。

自社サービスの効き目を自社で測っているため、この記事には利益相反があります。その分、効かなかった結果も含めてすべて載せ、お題・ファクトシート（正誤の基準にする、出典つきの事実の一覧）・判定の指示文・主張ごとの判定結果を検証データ一式として公開し、読者が同じ手順で確かめられるようにしました。結果は「この 15 テーマ・この実行条件」のもので、一般の質問全体に当てはまるとは主張しません。

なぜ、私たちが測れたのか。

批評の効き目を数字で測るには、3 つのことが必要でした。

1. 同じ条件の討論を、何十回も回すこと。 自社のサービスなので、本番と同じ処理を同じ設定で 45 回回し、Round 1 から最終回答まで、全ラウンドの文章を記録できました。
2. AI の文章を、主張 1 つずつに分けて確かめること。 1 本の解説文には、30〜40 個の主張が書かれています。どこに誤りが紛れ込んだかを数えるには、文章を「インボイス制度は 2023 年 10 月 1 日に始まった」のような 1 文 1 事実の主張に分け、1 つずつ正誤を確かめる必要があります。
3. 人の手では届かない量を、確かめきること。 225 本の解説文は、8,567 件の主張になりました。今回 AI が行った判定（7,753 件を 3 社の AI がそれぞれファクトシートと照合し、2,777 件は 3 社の AI がウェブで一次情報を引いて確かめた）を人が同じようにやると、1 件 1 分としても約 530 時間、平日に 1 日 8 時間働いて 3 か月ほどかかります。

そこで、確かめる作業の大半を 3 社の AI に分担させ、人は AI の判定が割れたところと「誤り」の確定に集中しました。AI の判定も間違えるため、1 社の AI の判定では決めず、3 社の AI の判定を突き合わせています。複数社の AI を組み合わせて使うことは DebateCross の本業で、この検証はその仕組みを「確かめる側」にも使ったものです。

※ GPT-6.1 Sol Pro だけが各社の上位モデルに見えるのは、モデルの選び方によるものです。参加モデルは「検証の実施時点で、AI の利用料が中位の価格帯にあるモデルの最新版」というルールで選びました。DebateCross で既定で選ばれるのも、この構成です。GPT-6.1 Sol Pro は OpenAI の上位モデルですが、実施時点では利用料が中位の価格帯にあったため、このルールで選ばれました。OpenAI の販売施策で、最新の上位モデルの価格が低めに設定されているためと考えられます。

数問を試して比べる記事とは、桁の違う量です。

わかったこと。

討論の効き目は、最終回答をまとめた AI（統合役）自身が討論の前に書いた最初の回答（Round 1）と、その AI が討論を経てまとめた最終回答を比べて測りました。同じ AI・同じお題・同じ回の文章どうしなので、AI の得意不得意やお題の難しさが比較に混ざりません。比較のために、同じ AI に注意の指示を足して書かせた回答も並べると、次のようになりました。

（誤り率は、解説文 1 本ごとに「誤り ÷（正しい＋誤り）」を出して平均した値で、確かめきれなかった誤りの推定を含む。例外・条件は、国勢調査と架空のお題を除く 11 テーマでの探索的な集計）

今回は、1 体だけの思い違いは批評で直った。

統合役の最初の回答で確かめられた誤り 15 件のうち 12 件は、最終回答に残りませんでした。3 体のうちその 1 体だけが書いていた誤り 7 件は、すべて消えています。数値・日付の取り違え 3 件と、名称・規格番号の誤り 2 件も、すべて最終回答では消えていました。

最近の改正でも、1 体が改正後の内容を指摘すれば直ることがありました。労働時間規制のお題では、最初の回答が罰則を「懲役」と書いていました（2025 年 6 月から「拘禁刑」）。別の AI（GPT-6.1 Sol Pro）が批評で改正後の内容を指摘し、最終回答は 3 回とも拘禁刑に直りました。

例外・条件の書き漏れが減った。

制度の説明は、原則が正しくても、例外や特例が抜けていると読者は判断を誤ります（インボイス制度の「2 割特例」、残業の上限を超えられる「特別条項」の上限など）。こうした判断に要る例外・条件を正しく書けた割合は、最初の回答の 72% から、最終回答では 87% に増えました（例外・条件のある 11 テーマでの探索的な集計）。最終回答は最初の回答より 1.5 倍ほど長く、長く書いたことも効いています。

最終回答は、3 体のどれかが書いていた例外を、ほぼすべて拾い集めていました。1 体の回答だけを読むと例外の 3 割近くを見落としますが、3 本を読み比べて例外を拾う手間を、統合が代わりに担った形です。

1 体に指示を足すだけでは、誤りは減らなかった。

同じ AI に「確実なことだけ断定する」「例外を落とさない」など 4 項目の注意を足して書かせると、取りこぼしは少し減りました。それでも、誤り率は約 1.6% で、最初の回答より減りませんでした。AI が古い知識を確かだと思い込んでいるときは、「確実なことだけ」と指示しても働きません。

3 社の AI のどれも書かなかった改正は、直らなかった。

インボイス制度の経過措置は、令和 8 年度の税制改正で控除の割合と期間が変わりました。ところが 3 社の AI はそろって改正前の内容を書き、最終回答も 3 回とも改正前のままでした。お題に含めた最近の改正 4 項目のうち、討論で直ったのは、1 体だけが批評で改正後の内容を指摘した「拘禁刑」の 1 項目だけです。批評は「他の AI が書いたこと」で誤りを直す仕組みなので、どの AI の回答にも批評にも現れなかったことは補えません。

最終回答は、存在しない制度をでっち上げなかった。

架空の法律・SQL の構文・経済学者について尋ねると、最終回答 9 本は、どれも架空のものを実在するとして説明しませんでした。架空のものを実在するとして説明したのは、最初の回答 27 本のうち 1 本だけでした。問題になりやすいのは露骨な作り話よりも、もっともらしい細部の誤り、古い知識、例外の書き漏れのほうです。

AI は、どのくらい間違えるのか。

3 体の最初の回答を主張 1 件あたりで見ると、誤りは 2% 前後です。ところが解説文 1 本ごとに見ると、4 本に 1 本強（27%、135 本中 37 本）が、どこかに確かめられた誤りを含んでいました。これは、公的資料で正誤が決まり、誤りが出やすい制度・技術のお題に絞った 15 テーマでの値で、日常の質問全体の値ではありません。討論の最終回答でも 9 本に 1 本（45 本中 5 本）に誤りが残っています。AI の文章には「どこかに 1 つ紛れ込む」形の誤りがあると考えて使うのが安全です。

減った幅は、まだ確かとは言えない。

誤りが減った傾向は、数え方を変えても一貫していました。ただし今回は 15 テーマの規模で、減った幅には大きな不確かさがあります。数え方によっては「差がない」可能性も残るため、この記事で言えるのは「減る傾向がある」までです。確かに言うには、約 55 テーマの規模が必要と見積もっています（後半の「この結果の限界。」）。

ハルシネーション対策として、どう使うか。

今回の結果から、AI 同士の討論は「誤りをゼロにする道具」ではなく、「1 体だけの思い違いと例外の書き漏れを減らし、人が確かめる箇所を絞る道具」として使うのが合っています。

具体的な手順は、後半の「ハルシネーションを減らすには。対策としての使い方。」にまとめています。

DebateCross を無料で始める

詳しい結果と検証方法。

ここから先は、数値の区間、検証の手順、限界を詳しく知りたい方向けです。

結果の要点を、数値と区間で。

以下の数値はすべて、15 テーマ × 各 3 回の討論（2026 年 10 月、参加は Claude Sonnet 5.5／GPT-6.1 Sol Pro／Gemini 3.8 Flash の 3 体、深掘り）のものです。3 回は統合役を 1 回ごとに替えています（1 回目 Claude Sonnet 5.5、2 回目 GPT-6.1 Sol Pro、3 回目 Gemini 3.8 Flash）。異なるお題は 15 で、最終回答が 45 本あっても、独立した 45 問を解かせたわけではありません（GPT-6.1 Sol Pro だけ上位モデルを使った理由は、相互批評の検証方法。の表の「モデル」の行に書いています）。誤り率は、断りがなければ確かめきれなかった誤りの推定（見落としの推定）を含む値です。

AI が間違える確率は、数え方で変わる

「AI の誤り率は 1% 前後」と聞くと、実感より低いと感じる人が多いはずです。率は、何を単位に数えるかで大きく変わります。今回の Round 1（3 体の独立した回答）では、次のとおりでした。

1 本の解説文には 30〜40 個の主張があり、その多くは「インボイス制度は消費税の仕組みである」のような誤りようのない記述です。主張あたりの率が小さく見えても、4 本に 1 本の解説文にはどこかに誤りがあり、数字や日付に限れば 2% 前後が誤っています。AI の回答を使うときは、この「どこかに 1 つ紛れ込む」形の誤りを想定してください。

AIのハルシネーションとは何か。

ハルシネーション（もっともらしい誤り）とは、AI が事実と異なる内容を、確からしい文体で出力することです。米国立標準技術研究所（NIST）の生成 AI リスク文書は、これに相当する現象を「誤った、または偽の内容を確信的に生成・提示すること」として扱っています（NIST AI 600-1）。

日常では「AI が嘘をつく」と言われる現象ですが、AI に騙す意図があるわけではありません。原因は一つではなく、確率的に文章を生成する仕組み、学習データの時点と内容、指示の書き方、検索や資料参照の有無などが重なって起きると整理されています。この記事では原因には踏み込まず、業務で AI に書かせることの多い「制度や技術の解説文」の中の、数値・日付・名称・条件の誤りと、存在しないものについての作り話を数えました。あわせて、誤りではないものの判断を誤らせうる「例外・条件の書き漏れ」も数えています。

なぜ一問一答ではなく解説文で測るのか。「インボイス制度の開始日は？」のような単発の問いは、学習データにその事実があったかどうかだけで決まりやすく、業務で起きるハルシネーション（説明の中に 1 つだけ紛れ込む古い数値、存在しない経過措置、もっともらしい条文番号）を捉えにくいからです。解説文なら、1 本の中に主張が 30〜40 個あり、どれが誤りで、どの重要事項や例外が抜けたかまで数えられます。

仮説は、批評が誤りを拾うこと。

検証した仮説は次の 2 つです。

1. 3 体の AI が独立に解説を書き、互いの文章を批評してから 1 体が統合すると、統合役自身の最初の文章より最終回答の主張誤り率が下がる。
2. 下がる幅はお題の型で違う。3 体が同じ思い込みを共有しているお題（モデルの学習時期より後に変わった事実を含む）では下がりにくい。

実行前に文書で固定し、日付つきで記録したのは、仮説 1 の判定に使う比較（主比較）の組み合わせ、誤り率などの指標の定義、区間の出し方、テーマ差し替えの基準です（2026 年 10 月 3 日。記録の所在は方法の表に記載）。主張の最終的な判定の手順（「誤り」の見直し、見落としの推定、主張の種類による除外、判定基準の文書化）はデータを取ったあとに定め、すべての条件に同じ手順で当てはめました。主比較以外の比較、テーマ別・統合役別の集計、誤りの種類の分類、例外・条件の分析は、副次的・探索的な結果として扱います。

相互批評の検証方法。

検証ノートでは、どの記事も方法を同じ表で示します。再実行のたびにこの表の列を足します。

討論は、本番と同じ処理経路を画面を介さずに動かす内部の実行環境で回し、結果を JSON で取得しました。1 回目（統合役 Claude Sonnet 5.5 の 15 討論）を関門とし、完走率・実費・お題の不具合を確認してから 2 回目・3 回目に進みました（後述）。

15 テーマの内訳と存在トラップ

お題は 4 区分・15 テーマです。各テーマに、正誤の基準になるファクトシート（主要事実 9〜10 項目、存在トラップは 1〜4 項目、全 118 項目。うち制度や技術の理解を左右する「主要」項目が 57、細部の「細目」が 61。各項目に一次情報の出典を付す）を用意しました。

ファクトシートの草案は AI（Anthropic の Claude）が書いたため、そのまま正解の基準にはしていません。草案とは別の社の AI 2 体（OpenAI の GPT-5.6 Sol と Google の Gemini 3.7 Flash）に全項目を独立にレビューさせ、主要項目の全件と存在トラップ、不同意が出た項目を一次情報（国税庁・厚生労働省・デジタル庁・金融庁・公正取引委員会・e-Gov 法令検索・総務省統計局・RFC Editor など）と照合しました。最初の 15 テーマで 13 項目、関門のあとに差し替えた 5 テーマ（後述）で 8 項目を修正し、運営が確認して確定しました（2026 年 10 月 3 日・4 日）。

存在トラップでは、「存在が確認できない」と述べた文章を正しいとし、その制度や構文の存在を前提に中身を説明した文章を捏造（誤り）とします。お題には法制度・税のテーマがありますが、この記事は AI の回答の正誤を扱うもので、法令・税務の助言ではありません。

ウェブ検索なし、最近の改正を含むお題

DebateCross はウェブ検索を行いません。今回は資料の添付もしていないため、3 体はそれぞれが学習した知識だけで書き、批評し、統合しています。

ファクトシートは 2026 年 10 月時点の一次情報に合わせてあり、その中には 2025 年 6 月以降に変わった事実が 4 項目含まれます（3 項目は最初の実行前、新しい NISA の 1 項目は差し替えたテーマの実行前に決めたもの）。

• インボイス制度：免税事業者からの仕入れに関する経過措置は、令和 8 年度の税制改正で 2026 年 10 月以降の控除割合と期間が変わった
• 労働時間規制：上限規制に違反したときの罰則は、2022 年に成立した改正刑法が 2025 年 6 月 1 日に施行され、「懲役」から「拘禁刑」になった
• TLS 1.3：仕様が 2026 年 7 月に RFC 9846 として改訂された
• 新しい NISA：令和 8 年度の税制改正で、2027 年 1 月からつみたて投資枠に限り 0〜17 歳も使えるようになった（2026 年時点の口座開設は 18 歳以上）

これらはモデルの学習時期より後の可能性があり、その場合は 3 体とも改正前の内容で書くことになります。批評は「他の AI が知っていること」で誤りを指摘する仕組みなので、誰も知らない事実は補えません。結果では、このような誤りを「古い知識」として別に数えます。

何と何を比べるか

比べ方によって、同じデータから違う結論が出えます。そこで比較を 3 段に分け、役割を先に決めました。

• 主比較: 同じ討論の中で、統合役の Round 1 の解説文と最終回答を比べます（45 組）。統合役は回ごとに替わるので、3 社のモデルがそれぞれ 15 組ずつ「自分の最初の文章」と「自分が統合した最終回答」を出しています。同じお題・同じ回の対応したデータなので、お題の難しさや実行日の違いが比較に混ざりません。ただし、この差には「批評」と「統合」の両方の働きが含まれます。
• 副比較: 同じ回の 3 体の Round 1 を、ファクトシートの主要項目ごとに多数決（2 体以上が正しく触れていれば「触れた」）した網羅率と、最終回答の網羅率を比べます。3 本の多数意見に、統合が上乗せしたかを見ます（1 体でも触れていれば拾う「和集合」との比較は、例外・条件の分析で行います）。あわせて、3 体の Round 1 の誤り率の平均と最終回答も比べます。
• 参考比較: 討論を経ずに、統合役と同じモデルへ 4 項目の指示（確実なことだけ断定する、存在が確認できないものは前提にしない、推測と事実を分ける、例外・経過措置を落とさない。全文は後述）を足して書かせた単体回答と最終回答を比べます。指示だけで主比較と同じ幅が出るなら、効き目は「討論」ではなく「注意喚起」で説明できることになります。

主張の判定のしかた

解説文を、1 つずつ真偽を確かめられる主張（「インボイス制度は 2023 年 10 月 1 日に始まった」のような 1 文）に分解し、主張ごとに「正しい」「誤り」「検証不能」「対象外」の 4 つに判定します。判定は次の 5 段階です。

分解の上限（40 件）に達した文章は、残りの部分を追加で分解し、その主張は 1. を通さず、全件を 2. の一次情報での裁定と 3. の見直しで判定しました。

判定の基準は次のとおりです。3 社の AI にも人の確認にも同じものを使いました。

主張の種類は、Codex と Claude が独立に分類し（一致率 93.5%）、割れたものは Gemini が決めました。討論の経過についての記述は、最終回答の主張を Codex と Claude が独立に判定し、2 社の AI がともに「経過の記述」としたものを外しました（判定は 79 件すべてで一致）。

人が「確認できない」とした主張は、理由で扱いを分けました。一次情報を探しても裏付けが見つからないものは「検証不能」（誤りに含めた参考値も出す）、確認者が確かめる方法を持たないものは 3 社の AI の判定が一致し一次情報で裏付けられた場合にその判定を採る、正誤がはっきり決まらないものは「解釈」として誤り率から外す、としています。

指標と区間

差の 95% 区間は、お題（テーマ）を単位にしたクラスター・ブートストラップで出しました。15 テーマから重複を許して 15 テーマを選び直し、選ばれたテーマの 3 回分をまとめて使って差を計算する操作を 10,000 回繰り返します（seed 1）。推定の誤り率の区間には、見落とし率の不確かさ（抽出件数が有限であること）も含めています（見落とし率はジェフリーズ事前分布による事後分布から毎回引き直す）。同じお題の 3 回は似た文章になりやすく、45 本を独立に扱う方法では区間が狭く出すぎるおそれがあるからです。この区間は「この 15 テーマと同程度のお題を、この条件で書かせたときの揺れ」の目安で、日本語の解説一般への区間ではありません。

検証の規模の内訳

この検証では、解説文を書かせるところから、主張を 1 つずつ確かめるところまで、ほとんどを AI に行わせています。人が見たのは、AI の判定が割れたところと、「誤り」の確定です。

• 採点・裁定・分類は、1 回の呼び出しで数十〜160 件ほどの主張をまとめて処理しています。
• LLM の呼び出しは計約 1,410 回です。Claude と Gemini の採点・裁定は、トークン数を記録しない道具（各社のコマンドライン版）で実行したため、実数を出せません。記録の取れた分だけで約 2,160 万トークンで、2 社の AI の分を含めると、その 2 倍前後になると見込まれます。
• 人が同じ判定をすると仮定した目安：1 つの主張を一次情報で確かめるのに 1 分かかるとして、7,753 件 × 3 社の AI 分の採点は約 390 時間、ウェブでの裁定まで含めると約 530 時間です。

AI が間違える確率は、条件しだい。測った結果。

表の条件はすべて「15 テーマ × 各 3 回、2026 年 10 月、参加 Claude Sonnet 5.5／GPT-6.1 Sol Pro／Gemini 3.8 Flash、統合役は回ごとに入れ替え」です。誤り率は文章ごとの率の平均で、断りがなければ見落としの推定を含む値です。

主比較：統合役の最初の解説文と最終回答

同じ討論の中で比べると、統合役の主張誤り率は Round 1 の 1.26% から最終回答の 0.40% になりました（差 −0.86 ポイント、95% 区間 −1.81〜−0.10）。

（例外・条件の書き込み率は、例外・条件のある 11 テーマ・33 組での値）

最終回答は Round 1 より 1.5 倍ほど長く（平均 1,906 字と 1,255 字）、主張の数も増えましたが、1,000 字あたりの誤り数でも減っています。重大な誤りと主要項目の網羅率は、差の区間が 0 をまたぎました。

感度分析（数え方を変えた場合の主比較）

どの数え方でも誤り率は下がる向きですが、区間が 0 をまたぐ数え方もあります。最終回答で誤りが減った傾向は一貫しているものの、その大きさを確かに言えるほどの精度はありません。

副比較と参考比較

主要項目の網羅率では、最終回答と項目別多数決の差は −0.3 ポイントで、統合が「3 本を読み比べる」以上のものを足したとは言えません。一方、誤り率と、例外・条件の書き込みでは、最終回答が 3 体の Round 1 や指示つき単体回答を上回りました。

Round 1 の確かめた誤り率をモデル別に見ると、Claude Sonnet 5.5 1.67%／GPT-6.1 Sol Pro 0.20%／Gemini 3.8 Flash 2.81% でした（主張を合算、各 45 本）。モデル別の詳しい結果は、別の検証ノートで扱う予定です。

統合役を替えても、効果は出たか

主比較の 45 組を統合役ごとに分けると、次のとおりです（確かめた誤り率）。各行は 15 討論しかなく、区間は全体より広くなります。

3 通りの統合役で、差はそろって減る向きでした。GPT-6.1 Sol Pro は Round 1 の時点で誤りがほとんどなく、減る余地がありませんでした（GPT-6.1 Sol Pro だけ上位モデルを使った理由は、相互批評の検証方法。の表の「モデル」の行に書いています）。この表は「特定のモデルを統合役にしたときだけ出た効果ではないか」を確かめるためのもので、どの統合役が優れているかを決めるものではありません。統合役ごとに実行した日も一部違うため、統合役の違いと実行時期の違いは切り分けられていません。統合役の違いは、同じ 45 討論を使った別の検証ノートで扱う予定です。

直した誤り、残った誤り、入った誤り

主張単位の判定を討論ごとに突き合わせると、最終回答がどこで直し、どこで崩したかが見えます（確かめた誤り。突き合わせは主張の内容で行った探索的な集計です）。

直った誤りの例です。

最終回答に残った 3 件と、他のモデルから入った 1 件は、すべてインボイス制度の経過措置を改正前の予定（2026 年 10 月から 3 年間は 50%、2029 年 10 月以降は控除なし）で書いたものでした。最終回答で新たに現れた 2 件は、統合役が書き足した愛知県の人口増加率（「0.03%」と書いた。誤り: 総務省統計局の公表値では約 0.8% の増加）と、産後パパ育休中の就業を「一時的・臨時的なもの」に限るとした記述（誤り: 労使協定と本人の同意があれば、上限の範囲で事前に決めた就業ができる）です。

（テーマ別の誤り率は、確かめた誤りを主張で合算した率。網羅率は「主要項目に正しく触れたか」で、改正後の内容まで書けたかは評価しない）

討論で減らせた誤り、減らせなかった誤り

統合役の Round 1 にあった誤り 15 件を種類で分け、最終回答で消えたかを数えました。批評は他の AI の知識で誤りを指摘する仕組みなので、1 体だけの誤りは直りうる一方、3 体に共通の誤りは指摘する材料がありません。

その 1 体だけが書いていた誤り 7 件はすべて消えました。2 体に共通の 5 件は 4 件が消え、3 体に共通の 3 件で消えたのは 1 件（言い回しが変わって誤りとは数えられなくなったもの）だけでした。

2025 年 6 月以降に変わった 4 項目で、改正後の内容を書けたかは次のとおりです（本文の文字で判定）。

3 体の Round 1 にも Round 2 の批評にも改正後の内容が現れなかった 3 項目は、最終回答でも直りませんでした。今回は、1 体だけが改正後の内容を知っていた 1 項目が批評で直り、どの 1 体も書かなかった 3 項目は直りませんでした（直った例は 1 項目だけなので、一般化はできません）。最近変わった制度や仕様を扱うときは、一次情報を資料として渡してから討論させてください（今回は添付なしで測っており、添付した場合の効果は測っていません）。

判断に要る例外・条件を、どこまで書けたか

原則として正しい回答でも、例外・特例・適用条件が抜けていれば、読者は「自分の場合も当てはまる」と判断を誤ります。そこで、例外・条件のある 11 テーマ（国勢調査と存在トラップを除く）について、「判断に要る例外・条件」のチェックリスト 69 項目を作り、各文章がどこまで書けたかを判定しました（探索的な分析）。

• チェックリストは、ファクトシートと、一次情報での裁定で争点になった例外から作り、Codex と Gemini が一次情報で検証して直したうえで、判定の前に固定しました。例：インボイス制度の 2 割特例、軽減税率の「店内飲食かは提供時点の意思確認で決まる」、36 協定の特別条項の上限、JSON の名前の重複は実装しだい、フリーランス法の「従業員を使用」の定義など
• 判定は、条件を伏せて Codex と Claude が独立に行い（一致率 93.2%）、割れた 70 組は Gemini が決めました。「正しく触れた」「一部だけ・古い内容」「誤り」「触れていない」の 4 つで判定します

• 統合役の Round 1 → 最終回答: 正しく触れた割合は +15.6 ポイント（区間 +12.1〜+19.4）
• 指示つき単体回答 → 最終回答: +11.4 ポイント（区間 +4.6〜+17.9）
• 3 体の多数決 → 最終回答: +14.7 ポイント（区間 +7.6〜+21.9）
• 3 体の和集合 → 最終回答: −1.6 ポイント（区間 −5.7〜+2.2）

最終回答は、3 体のどれかが書いていた例外・条件を、ほぼすべて拾い集めていました。統合が新しい例外を見つけたというより、3 本を全部読み比べて、どれかに書いてある例外を拾う作業を代わりにした形です。1 体の回答だけを読むと、例外の 3 割近くを見落とすことになります。「例外を落とさない」と指示した単体回答も、Round 1 よりは書き込みが増えましたが、最終回答には届きませんでした。なお、最終回答は Round 1 より 1.5 倍ほど長く、書き込みが増えたことには、長く書いたことも効いています（長さの影響は切り分けていません）。

最終回答でも書かれにくかった例外は、フリーランス法の「従業員を使用」の定義（週 20 時間以上・31 日以上の雇用見込み。0 本）、住所・氏名の変更で署名用電子証明書が失効すること、管理監督者の例外（深夜割増は適用される）、インボイスの交付義務が免除される取引などでした。こうした細部の例外は、討論を経ても AI に任せきりにはできません。

存在トラップでの捏造

架空の法律・構文・学者を問う 3 テーマ（各 3 回）で、架空の事物の存在を前提に説明した割合は、統合役の Round 1 で 11%（1／9 本）、3 体の Round 1 全体で 4%（1／27 本）、最終回答で 0%（0／9 本）、指示つき単体回答で 0%（0／9 本）でした。捏造した 1 本は Gemini 3.8 Flash の Round 1 で、架空の法律を、名前の似た実在の法律の別名として説明したものです。同じ討論の最終回答（統合役は Gemini 自身）では、「その名称の法律は実在しません」と明記したうえで、名前の似た実在の法律を説明していました。3 テーマ・9 討論の結果なので、傾向の参考にとどめてください。

同じ条件でも、文章は揺れる

各テーマで、同じモデルの Round 1 を 3 回ずつ取っています。指示文は 3 回とも同じなので、その 3 本の違いが「同じ質問を繰り返したときの揺れ」です。同じモデル・同じお題の 3 本の間で、確かめた誤り率は平均 1.6 ポイント、網羅率は平均 3.4 ポイント違いました（15 テーマ × 3 モデルの 45 組で、2 本ずつの差の絶対値を平均）。45 組のうち 24 組は 3 本とも誤りゼロで、一部のお題で大きく揺れています。同じ AI に同じことを聞き直しただけでも、誤り率が 1〜2 ポイント変わることがある、という目安です。この絶対差は主比較の差（符号つきの平均の差）とは尺度が違うため、効果の判断には使いません。

区分別の結果（探索的）

（確かめた誤りを主張で合算した率）法制度・税以外の区分は 1〜3 テーマしかありません。区分を後から見比べて「一番効いた区分」を選ぶと偶然を拾いやすいため、この表は傾向の参考にとどめてください。

お題は、事前に決めた基準でだけ入れ替えた

予備実験は別に回さず、1 回目（統合役 Claude Sonnet 5.5 の 15 討論）を関門にしました。関門で確認したのは、完走率と実費、お題の不具合（3 体の Round 1 がすべて誤りゼロで易しすぎる、検証不能が多すぎてファクトシートが足りない、判定者の一致が低い）です。基準は実行前に決めてあり、指示文や判定基準は変えていません。

関門では、3 体の Round 1 がすべて誤りゼロのテーマが 7 つありました。そのうち存在トラップの 2 テーマは「捏造しなかった」という結果そのものなので残し、残りの 5 テーマ（HTTP/2 と HTTP/3、UTF-8 と Unicode、日本の地理の「日本一」、閏年の規則と判定、複利の計算）を、日付や数値の多い制度のテーマ 5 つ（マイナンバー制度、JSON の仕様、成年年齢の引下げ、新しい NISA、フリーランス法）に差し替えました。差し替えたテーマも、ファクトシートは同じ手順（別の社の AI 2 体のレビューと一次情報の照合）で確定してから実行しています。差し替え前の 5 テーマの討論（1・2 回目の計 10 討論）は集計から外し、結果は公開データに残しています。

この差し替えは「誤りが出やすいお題を選んだ」ことを意味します。今回の誤り率は、AI が誤りやすい種類のお題での値で、日常の質問全体の誤り率ではありません。

「ハルシネーションしないで」と指示すれば減るのか。対策プロンプトを1体に足して測った。

「ハルシネーションしないでください」と AI に頼む指示文や、ChatGPT の誤りを減らすカスタム指示を探す人は少なくありません。1 体への指示で誤りが減るなら、手軽さでは討論より有利です。一方で、AI は自分の答えが誤っていることに気づかないまま断定することがあり、指示を強めるほど「確認が必要」と書く箇所が増えて説明が薄くなる可能性もあります。そこで、誤り率と網羅率・例外の書き込みを並べて測りました。足したのは「ハルシネーションしないで」という一言ではなく、何を断定せず、何を「確認が必要」と書くかを具体的に指定した指示文です（下に全文）。

指示文の全文

Round 1 と同じ指示文の前に、次の文言を system メッセージとして付けました。

回答にあたっては次を守ってください。

• 制度名・条文番号・日付・数値・名称は、確実に知っているものだけを断定し、不確かなものは「確認が必要」と明示する。
• 存在が確認できない制度・法律・技術については、存在を前提に説明せず「確認できない」と述べる。
• 推測と事実を分け、根拠（一次情報の種類）を示せる範囲で示す。
• 読者が誤って理解しうる重要事項（適用対象・経過措置・例外）を落とさない。

この指示で誤りがなくなるわけではありません。下の結果を見てから使ってください。

指示あり単体と討論の差

指示なしの条件には、統合役の Round 1 を使います。討論の Round 1 は、討論を介さない単体回答と同じ指示文への回答なので、「指示なしの単体回答」に当たります。3 行とも統合役と同じモデル・同じ回の文章です。

指示を足すと、主要項目の網羅率は 95.9% から 98.1% に、例外・条件の書き込みは 71.7% から 75.9% に上がり、捏造は 1 本から 0 本になりました。一方、誤り率は下がりませんでした（1.26% と 1.63%。この差は事前に決めた比較ではないため、区間は出していません）。とくに国勢調査のお題では、指示つき単体回答が都道府県別の細かい数値を書き込んで外していました（確かめた誤り率 8.7%）。

「指示つき単体回答 → 最終回答」の差は −1.22 ポイント（区間 −2.53〜−0.19）で、この条件では、指示を足した単体回答は討論の最終回答より誤りが多いままでした。

指示つき単体回答も、2025 年 6 月以降に変わった 4 項目では、改正後の内容を書けたものがありませんでした（0／12 本）。「確実に知っているものだけを断定する」指示は、モデルが古い知識を確実だと思っている場合には働きません。

ハルシネーションの実例。討論でも直らなかったお題、悪化したお題。

最終回答で 3 回とも重大な誤りが残ったテーマは 1 つ、インボイス制度でした。最終回答は 3 本とも「2026 年 10 月から 2029 年 9 月までは、免税事業者などからの仕入れについて仕入税額の 50% を控除できる」と書いています（誤り: 令和 8 年度の税制改正で、2026 年 10 月〜2028 年 9 月は 70%、2028 年 10 月〜2030 年 9 月は 50%、2030 年 10 月〜2031 年 9 月は 30% に変わりました）。改正前の予定としては正しく、3 体とも同じ内容を書いていたため、批評で指摘されることはありませんでした。

Round 1 で正しく書けていた主張が、最終回答で誤りに変わった例はありませんでした。最終回答で新たに現れた誤りは、統合役が Round 1 になかった細部を書き足したときに入っています（国勢調査の愛知県の増加率）。統合役は、批評を受けて誤りを消すだけでなく、自分で細部を補うこともあり、そこに新しい誤りが入りえます。

主要項目のうち、最終回答が正しく書けなかったのは主にインボイス制度の経過措置でした（3 回とも改正前の内容で書き、網羅率 80%）。これは「落とした」というより、改正後の内容を書いたモデルがなかったことによるものです。

実験で見えた、ChatGPT・Claude・Gemini のハルシネーションのくせ。

誤り率とは別に、同じ条件で 225 本の解説文を書かせ、8,567 件の主張を確かめていると、AI ごとの「くせ」が見えてきました。ここに書くのは、今回の版のモデルを、ウェブ検索なし・日本語の解説文・このお題という条件で使ったときの傾向です。モデルの一般的な優劣ではありません。

書き手としてのくせ

（誤り率は主張を合算した率で各 45 本。例外・条件は 11 テーマの各 33 本。GPT-6.1 Sol Pro だけ上位モデルを使った理由は、相互批評の検証方法。の表の「モデル」の行に書いています）

• GPT は、指定の字数に収め、誤りが少ない。 45 本中 43 本が指定の字数に収まり、確かめた誤りは 45 本で 3 件でした。短い文章にも主張を 36 個ほど、例外・条件も Claude と同程度に詰めていて、情報が少ないから誤りが少ない、というわけではありません。
• Claude は、例外・条件を書き込み、統合役になると長くまとめる。 例外・条件を正しく書いた割合は 3 体で最も高く（79.9%）、統合役のときの最終回答では 96% の例外・条件に触れていました。その分、最終回答の平均は 2,247 字と、指定の字数の 2 倍近くになりました。
• Gemini は、原則を書き、例外と細かい数値で外しやすい。 例外・条件を正しく書いた割合は 57.2% と、他の 2 体より 20 ポイントほど低めでした。Round 1 の誤り 37 件のうち 16 件は国勢調査のお題で、都道府県別の増加率など細かい数値の取り違えでした。誤り率の対象から外れた主張（推測・解釈・不存在への言及など）の割合も 8.9% と、3 体で最も高めでした（Claude 4.1%、GPT 5.6%）。
• 架空の事物には、ほとんど乗らなかった。 架空の法律・構文・理論を問うお題で、存在を前提に説明した文章は、全条件の 45 本（3 体の Round 1 27 本、最終回答 9 本、指示つき単体回答 9 本）のうち 1 本（Gemini の Round 1）でした。露骨な捏造より、「もっともらしい細部」「古い知識」「例外の書き漏れ」のほうが問題になります。

古い知識は、誤りより「抜け」として出る

2025 年 6 月以降に変わった事実への反応は、3 社の AI でほぼ同じでした。

• TLS 1.3 の改訂（2026 年 7 月の RFC 9846）に触れた文章は、1 本もありませんでした。 どのモデルも RFC 8446 を TLS 1.3 の規格として説明しました。2018 年に RFC 8446 が出たこと自体は正しいため、多くは「誤り」には数えられず、誤り率には表れません。古い知識の多くは、こうした「最新情報の抜け」として出ます。新 NISA の 2027 年からの拡充も同じで、触れた文章はありませんでした。
• インボイス制度の経過措置は、3 社の AI とも改正前の予定（2026 年 10 月から 50%）を書きました。 全員が同じ古い知識を持っているため、相互批評でも直りませんでした。
• 2025 年 6 月 1 日施行の「懲役」から「拘禁刑」への変更は、討論で直りました。 労働時間規制のお題の 3 討論すべてで、Claude か Gemini の Round 1 に旧表記の「懲役」がありました。3 回とも、Round 2 で GPT-6.1 Sol Pro が「懲役は 2025 年 6 月以降の法令用語としては古く、労働基準法 119 条は『6 か月以下の拘禁刑又は 30 万円以下の罰金』」と指摘し、最終回答は 3 本とも拘禁刑の表記になりました。一方、指示を足した単体回答（Claude）は「懲役」のままでした。今回の 1 項目では、1 体が指摘したことで最終回答が 3 本とも直りました（1 例だけです）。

判定役としてのくせ

採点と裁定にも 3 社の AI を使ったため、判定役としてのくせも見えました。

Codex は、例外や特例に触れていない主張を「誤り」とする傾向がはっきりしていました。「どこからを誤りとするか」を先に伝えないと、同じ文章でも判定が変わります。Claude は、一次情報を見つけても解釈に幅があると確信度を下げていました。自社モデルへの甘さは件数が少ない探索的な結果ですが、同じ社の票を多数決から外す設計の理由になります。分解による見かけの誤りについては、今回はすべての「誤り」を元の文章と見比べて確かめましたが、AI に事実確認をさせるときは、判定された文が元の文章の意味を保っているかも確かめる必要があります。

AI に事実確認をさせるときは、1 社の AI の判定だけで結論を出さず、判定が割れた箇所と「誤り」とされた箇所を、人が元の文章と一次情報で確かめる、という分担が現実的です。

この結果の限界。

• このお題・この実行条件内の結果です。 15 テーマは無作為に選んだものではなく、公的資料や規格で正誤が決まる日本語の制度・技術解説に絞っています。関門では、誤りが出なかったテーマを誤りの出やすい制度のテーマに差し替えました。数値や区間を、他のお題・他の言語・長文の要約・資料の読み取り・コード・複数回のやり取りに当てはめないでください。
• 誤り率の差を確かに言うには、規模が足りません。 最終回答の確かめた誤りは 45 本で 6 件、統合役の Round 1 は 15 件で、数件の判定の違いで率が動きます。数え方によっては主比較の区間が 0 をまたぎます。今回のテーマ平均の差のばらつき（標準偏差 1.3 ポイント）から、両側 5%・検出力 80% で 0.5 ポイントの差を検出するのに要るテーマ数を見積もると約 55（各 3 回で 165 討論）です。見落としの推定による不確かさを避けるには、抽出ではなく全主張をウェブで確かめるのが望ましいと考えます。同じお題の繰り返しを増やしても区間はほとんど狭まらず、効くのはテーマの数です。
• 見落としは推定です。 「正しい」とされた主張の多くはウェブで確かめておらず、無作為抽出（1,349 件）から推定した見落とし率を足しています。抽出は、実験前に決めていた 10% の抜き取り（満場一致で「正しい」の主張から）に、条件ごとに 150 件ずつの追加抽出を合わせたものです。抽出で見つかった誤りは 3 件と少なく、推定には幅があります（区間に含めています）。条件ごとの抽出 150 件だけで推定すると、主比較の区間は 0 をまたぎます（感度分析）。
• お題の選別が、主比較に影響しうる。 関門では 1 回目の採点結果でテーマを選びました（2 回目は判断の前に実行済みでしたが、判断には使っていません）。Round 1 に誤りがあったテーマを残したため、その Round 1 は誤りが多めに出ている可能性があります。1 回目を除いた集計も載せていますが、選別の影響を完全には除けません。
• 判定方法の一部は、データを取ったあとに加えました。 実験前に固定したのは主比較・指標・区間の出し方・テーマ差し替えの基準です。「誤り」の見直し、見落としの推定、分解の上限に達した文章の追加分解、主張の種類による除外、判定の基準（原則と例外）の文書化、例外・条件の分析は、データを取ったあとに加え、すべての条件に同じ手順で当てはめました。採点と裁定だけの集計値も感度分析に載せています。また、採点・見直し・見落としの抽出裁定・追加分解の裁定・例外の判定では条件を伏せましたが、主張の種類の分類と、採点が割れた主張などの裁定（1,363 件）では、分類・裁定する AI から文章の条件とモデル名が見える状態でした。
• 主比較は「批評」だけの効果ではありません。 最終回答は批評と統合を経ているため、どちらが差を生んだかは切り分けていません。
• ウェブ検索も添付もない条件です。 3 体とも知らない事実（今回のお題では 2025 年以降の改正・改訂）は、討論では補えない前提で測っています。資料を添付した場合や、検索できる AI と比べた場合の結果は、この記事からは言えません。
• 条件は 1 通りです。 参加モデルは 2026 年 10 月時点の DebateCross の既定構成 1 組、モードは深掘り、生成設定は既定値です。統合役は 3 通りに入れ替えましたが、統合役ごとに実行した日が一部違い、統合役の違いと実行時期の違いは分けられていません。
• ファクトシートとチェックリストの草案は AI が書いています。 別の社の AI のレビューと一次情報との照合で直しましたが、照合しなかった細目に誤りが残る可能性があります。草案を書いたのが参加モデルと同じ社（Anthropic）の AI である点も、偏りの可能性として記しておきます。
• 最終回答の主張は粗めに切り出されています。 最終回答は長く、40 件の上限に達した部分は追加分解で補いましたが、主張 1 件あたりの字数は Round 1 より長めです（最終回答 約 42 字、Round 1 約 34 字）。
• 分解と判定は LLM が行っています。 採点の判定者間の κ は 0.48 と低めですが、これは主張の 98% が「正しい」に偏っているためで、観測一致率は 97.8%、偏りに強い Gwet の AC1 は 0.98 でした。全主張を人が見たわけではありません。
• 「どこからを誤りとするか」で数値は動きます。 本文は「原則を正しく述べていれば正しい」という基準で数えました。例外に触れていない主張も誤りに数える厳しい基準では、誤り率は 0.2〜0.6 ポイント上がり、主比較の区間は 0 をまたぎます。
• 実際に応答した提供元は記録していません。 OpenRouter は同じモデル ID でも複数の提供元に振り分けることがあります。各呼び出しの generation id は保存しており、必要なら事後に照会できますが、記事の数値は提供元を区別していません。
• モデル更新で結果は変わります。 数値は 2026 年 10 月時点の版のものです。また、お題とファクトシートを公開したため、将来のモデルがこれらを学習している可能性があります。

ハルシネーションを減らすには。対策としての使い方。

以下は、今回の結果と、実験で直接は確かめていない一般的な注意を分けて書いています。

討論に回すお題、回さないお題

今回の結果から言えるのは、討論の最終回答は、1 体だけの回答や 1 体に指示を足した回答より、例外・条件の書き漏れが少なく、確かめられた誤りも少なかったことです（誤り率の差の大きさは確かではありません）。1 体だけが取り違えた数値や、1 体だけが知っている改正（今回は拘禁刑）は、批評で直りました。制度の解説のように「原則と例外」がある話題は、討論に回す価値があります。

次のお題は、討論で直ることは期待しにくいと考えています。

• 最近変わった制度・価格・仕様。今回のお題でも、2025 年以降の改正・改訂 4 項目のうち 3 項目は、3 体とも改正後の内容を書かず、最終回答でも直りませんでした。DebateCross はウェブ検索を行わないため、公式サイトなどで確認した内容を資料として先に渡してから討論させてください。
• 3 体が同じ誤解を共有しやすいお題（古い知識のほかは、今回は直接測っていません）。
• 正解が手元の文書にあるお題。資料の添付や RAG が有力な選択肢ですが、資料の古さや引用の取り違えは別途確認が必要です。

人のファクトチェックとの分担

相互批評は、人のファクトチェックを置き換えるものではありません。確かめる箇所を絞る助けになりえます。

1. 討論で、意見が割れた論点と決め手を確認する（DebateCross ではラウンドサマリー＝議論の地図に出ます）
2. 割れた論点と、数値・日付・固有名詞・経過措置を、人が一次情報（法令データベース・統計の公表資料・規格の原文）で確かめる。3 体の意見が揃っている箇所でも、最近改正された可能性がある制度は確かめる。統合の段階で書き足された細かい数値も確かめる。参考文献は URL の実在だけでなく、題名・日付・該当箇所が主張を支えるかまで原文で見る
3. 社外秘や個人情報を含む資料は、社内ルールで持ち込みの可否を確かめてから使う
4. 公開・提出する文書は、最後に人が確認する

自分で再現する手順

1. 業務に近い解説お題を 10〜15 個作り、各お題について「これが抜けたら困る」主要事実を 5〜10 項目、出典つきで先に書く。架空の制度や製品名を問う存在トラップを 2〜3 個、最近改正された事実を含むお題を 1〜2 個入れる
2. 何と何を比べるかを先に決めて書き残す
3. 同じ指示文で、複数の AI に各お題を数回ずつ書かせる
4. 各 AI に他の文章を渡して誤りを指摘させ、1 体に最終回答を書かせる。統合役を替えて同じことを繰り返す
5. 文章を 1 文 1 事実の主張に分解し、別の AI（できれば書いた AI と別の社）に項目表で判定させ、「誤り」と割れた判定は自分で出典に当たる。主要項目を落としていないかも数える。判定させる前に「例外に触れていない主張をどう扱うか」など、誤りの基準を文章で渡しておく（AI の会社によって厳しさが違うため）。「誤り」とされた主張は、分解で文が切れていないか、元の文章と見比べる

DebateCross では、手順 3〜4 を 1 回の討論（深掘り）で実行できます。お題・ファクトシート・分解と判定の指示文は、検証データ一式からダウンロードできます。

よくある質問。

Q. AI 同士に批評させれば、ハルシネーションはなくなりますか。 A. なくなりません。この検証（15 テーマ × 各 3 回、2026 年 10 月、Claude Sonnet 5.5／GPT-6.1 Sol Pro／Gemini 3.8 Flash）でも、最終回答の主張誤り率は 0.4%（見落としの推定を含む）で、45 本のうち 5 本に確かめられた誤りが残りました。統合役自身の最初の回答（1.3%）より少なかったものの、差の大きさは確かではありません。誤りを減らす手段の一つとして使い、重要な数値や固有名詞は人が一次情報で確かめてください。

Q. AI はどのくらいの割合で間違えますか。 A. 数え方で変わります。この検証の Round 1（3 体の独立した回答）では、主張あたり 2.0%（見落としの推定を含む）、数字や日付を含む主張に限ると 2.1%、誤りを 1 件以上含む解説文は 4 本に 1 本強でした。1 本の解説文に 30〜40 個の主張があるため、「どこかに 1 つ紛れ込む」形の誤りを想定してください。

Q. ChatGPT に「確認できないことは断定しないで」と指示するだけでは足りませんか。 A. 同じ 15 テーマ（各 3 回、2026 年 10 月）で、統合役と同じモデルに 4 項目の注意の指示を足した単体回答は、誤り率 1.6%、主要項目の網羅率 98.1%、例外・条件の書き込み 75.9% でした（指示なしの Round 1 は 1.3%／95.9%／71.7%、討論の最終回答は 0.4%／97.8%／87.3%）。この条件では、指示を足すと取りこぼしは減りましたが、誤りは減りませんでした。測ったのは今回の 3 モデルで、ChatGPT のアプリそのものではありません。

Q. Gemini や ChatGPT に、誤ったことを言わせない設定やカスタム指示はありますか。 A. 誤りをなくす設定はありません。「確認できないことは断定しない」といった指示（カスタム指示）を試しても、モデルが古い知識を確実だと思っている場合には働きません。この検証で指示を足した単体回答の誤り率は 1.6%、討論の最終回答は 0.4% で、2025 年以降の改正 4 項目を改正後の内容で書けた単体回答はありませんでした。指示文の全文は「1 体に『確認できないことは断定しない』指示を足すと。」の節に載せています。

Q. AI の画面にある「回答には間違いが含まれている場合があります」という注意書きは、何を意味しますか。 A. 生成 AI は、もっともらしいが事実と違う文章を書くことがある（ハルシネーション）という注意です。この検証では、注意書きのとおり、どのモデル・どの条件でも誤りはゼロになりませんでした。数値・日付・固有名詞と、最近変わった制度は、一次情報で確かめてください。

Q. 3 体に書かせて読み比べれば十分ではありませんか。 A. 主要項目を拾う点では、3 体の Round 1 を項目ごとに多数決した網羅率と最終回答の差は −0.3 ポイント（区間 −1.8〜+1.2）で、読み比べと差がありませんでした。誤り率は 3 体平均 2.0% に対して最終回答 0.4% で、減る傾向がありました（差の大きさは確かではありません）。例外・条件の書き込みは、3 体のどれか 1 体でも書いていた例外（89.0%）を、最終回答がほぼすべて拾っていました（87.3%）。3 本を全部読み比べれば同じ例外は拾えますが、その手間を統合が代わりに担います。読み比べる手間を省けるかは、この差と、確認に使える時間で決まります。

Q. 最近改正された制度も、討論で正しくなりますか。 A. 3 体のどれも改正後の内容を書かなかった改正は、直りませんでした。今回のお題に含めた 2025 年以降の改正・改訂 4 項目では、最終回答が改正後の内容を書けたのは 1 項目（拘禁刑、3／3 本。1 体だけが知っていて批評で指摘した）で、残る 3 項目は 0／9 本でした。最近変わった事柄は、一次情報を資料として添付してから討論させてください（添付した場合の効果は、この検証では測っていません）。

Q. 統合役はどの AI にすればよいですか。 A. この記事では決めていません。3 通りの統合役で主比較の差はそろって減る向きで、例外・条件の書き込みは統合役が Claude のとき最も多くなりましたが、各 15 討論で区間が広く、優劣を言える設計ではありません。統合役の違いは別の検証ノートで扱います。

Q. お題とファクトシートは公開されていますか。 A. 15 テーマの全文、ファクトシート（出典・修正履歴つき）、例外・条件のチェックリスト、分解・採点・裁定の指示文、テーマ別の結果、集計コードを公開しています。

• お題・ファクトシート・解説文・主張ごとの判定・指示文のデータ → 検証データ一式
• 複数の AI を同時に使う方法の違い → 複数のAIに同時に質問できるサービス比較

自分のお題で、確かめる。

同じお題を 3 つの AI に討論させ、どこで意見が割れたかを自分の目で確かめられます。新規登録で 250 円分のボーナス（カード登録不要・有効期限 30 日）。月額料金はかかりません。

DebateCross を無料で始める

更新履歴: 2026 年 10 月 8 日 初版（15 テーマ × 各 3 回、Claude Sonnet 5.5／GPT-6.1 Sol Pro／Gemini 3.8 Flash、統合役は回ごとに入れ替え）。2026 年 10 月 14 日 前半の誤り率の書き方を「主張 100 件あたり◯件」から「誤り率 ◯%（文章ごとの平均）」に改めた（数値は変えていない）

ChatGPT・GPT は OpenAI の、Claude は Anthropic の、Gemini は Google の商標または登録商標です。討論ログ・回答例は AI の出力です。