# 検証データ一式：ハルシネーション対策を測った

記事: https://debatecross.com/notes/hallucination-cross-critique （DebateCross 検証ノート、2026 年 10 月）

15 テーマ × 各 3 回の討論（参加: Claude Sonnet 5.5／GPT-6.1 Sol Pro／Gemini 3.8 Flash、統合役は回ごとに入れ替え、深掘り、ウェブ検索・添付なし）で書かせた解説文 225 本と、それを分解した主張 8,567 件の判定結果です。GPT-6.1 Sol Pro だけが上位モデルなのは、「検証の実施時点で、AI の利用料が中位の価格帯にあるモデルの最新版」というルールで選んだためです（DebateCross で既定で選ばれる構成。OpenAI の販売施策で、最新の上位モデルの価格が低めに設定されていると考えられます）。

引用・再利用の際は、出典として記事の名前と URL を明記してください。解説文は AI の出力で、内容の正確さは保証しません。

## ファイル

| ファイル | 中身 |
| --- | --- |
| `topics.jsonl` | お題 15 テーマ。1 行 1 テーマ。`questionId`、`category`、`trap`（存在トラップか）、`prompt`（お題の全文）、`facts`（ファクトシート。`id`・`statement`・`severity`＝major/minor・`source`） |
| `exceptions-checklist.jsonl` | 例外・条件のチェックリスト 69 項目（11 テーマ）。`questionId`、`id`、`item`、`counts_if`（判定の基準）、`source` |
| `debates.csv` | 討論 45 本。`debate_id`、`topic_id`、`run`（1〜3）、`synthesizer`（統合役）、`participants`、`mode`、`provider_cost_usd`（OpenRouter の実費）、`input_tokens`、`output_tokens` |
| `texts.jsonl` | 解説文 225 本。`debate_id`、`topic_id`、`condition`、`model`（書き手）、`synthesizer`、`char_count`、`text` |
| `claims.csv` | 主張 8,567 件の最終判定（列は下） |
| `exceptions-labels.csv` | 例外・条件の判定 1,035 組。`debate_id`、`condition`、`model`、`item_id`、`label`（covered＝正しく触れた／partial＝一部・古い内容／wrong＝誤り／missing＝触れていない） |
| `prompts.md` | 各段階の AI に渡した指示文 |

`condition` の値: `round1`（討論の Round 1。3 体の独立した回答）、`final`（統合役が書いた最終回答）、`single_instructed`（統合役と同じモデルに 4 項目の注意の指示を足して書かせた単体回答）。

## claims.csv の列

| 列 | 意味 |
| --- | --- |
| `debate_id`・`topic_id`・`condition`・`writer_model`・`synthesizer` | どの討論の、どの条件の、どのモデルの文章か |
| `claim_id` | 文章の中の主張の番号（`c..` は最初の分解、`xs..` は分解の上限に達した文章の追加分解） |
| `claim` | 主張（1 文 1 事実） |
| `claim_type` | 主張の種類。`fact`（事実）・`absence`（実在するものについての「ない」）は誤り率の対象。`nonexistence`（問われたものの不存在）・`vacuous_negation`（存在しないものを主語にした否定）・`speculation`（推測）・`interpretive`（解釈・評価）・`meta`（討論の経過についての記述）・`duplicate`（1 文からの重複）・`supplement_out_of_scope`（追加分解で対象外とされたもの）は対象外 |
| `label` | 最終判定。`correct`・`incorrect`・`unverifiable`（検証不能）・`out_of_scope`（対象外） |
| `severity` | 誤りの重さ。`major`（制度や技術の理解を誤らせる）・`minor`（細部） |
| `decided_by` | 判定を決めた段階（採点の多数決／一次情報での裁定／人の判定／人が一覧で承認／見直し／追加分解など） |
| `old_knowledge` | 2025 年 6 月以降に変わった事実（4 項目）に関わる主張か |
| `audit_sample` | 見落としの推定に使った抽出の対象か。`initial10pct`（満場一致で正しいとされた主張からの 10% 抽出。判定結果は `label` に反映済み）、`stratified`（条件ごとに 150 件の層別抽出） |
| `audit_label` | `stratified` の主張を、条件を伏せて 3 社の AI がウェブで裁定した結果（2 社以上の AI の一致。見直しを含む）。`label` には反映せず、見落とし率の推定にだけ使う |

## 集計のしかた

主張誤り率 ＝ `incorrect` ÷（`correct` ＋ `incorrect`）。対象は `claim_type` が `fact`・`absence` の主張で、文章ごとに出して平均する。記事の主な数値は、この確かめた誤り率に、抽出から推定した見落とし（条件ごとの見落とし率 × `decided_by` が「採点の多数決」で `correct` の主張の数）を足した推定の誤り率。区間は、お題を単位にしたクラスター・ブートストラップ（10,000 回、seed 1）。詳しくは記事の「相互批評の検証方法。」の節。

## 記事 B（ChatGPT・Claude・Gemini の正確性比較）の追加分

記事: https://debatecross.com/notes/chatgpt-claude-gemini-accuracy （2026 年 10 月 14 日）

Round 1（3 体が同じ指示文に独立に答えた解説文）の主張を、全モデル同じ 3 社の AI（Codex〔GPT-5.6 Sol〕・Gemini 3.8 Flash・Claude Opus 5.5）が、モデル名を伏せて一次情報（ウェブ）で確かめ直した結果です。対象は記事 A の Round 1（Claude Sonnet 5.5・Gemini 3.8 Flash・GPT-6.1 Sol Pro）と、参加モデルを Claude Sonnet 5.5・GPT-6.1 Sol・Gemini 3.8 Flash にして回し直した 45 討論（2026 年 10 月 8 日）の GPT-6.1 Sol の Round 1 です。

| ファイル | 中身 |
| --- | --- |
| `b-texts.jsonl` | GPT-6.1 Sol の Round 1 の解説文 45 本。`debate_id`（b01〜b45）、`topic_id`、`run`（1〜3）、`model`、`char_count`、`text` |
| `b-claims.csv` | 確かめ直しの対象 8,716 件（6 モデルの Round 1 の `fact`・`absence`。Gemini 4 Argon の 1,434 件は 2026 年 10 月 15 日、GPT-6.1 Terra の 1,166 件は 11 月 2 日に追加）。列は下 |
| `b-exceptions-labels.csv` | GPT-6.1 Sol の Round 1 の例外・条件の判定（207 組。記事 A の分は `exceptions-labels.csv`） |
| `b-argon-texts.jsonl` | Gemini 4 Argon の Round 1 の解説文 45 本（2026 年 10 月 15 日の討論。参加は Claude Sonnet 5.5・GPT-6.1 Sol・Gemini 4 Argon）。`debate_id`（g01〜g45）、`topic_id`、`run`、`model`、`char_count`、`text` |
| `b-argon-exceptions-labels.csv` | Gemini 4 Argon の Round 1 の例外・条件の判定（207 組） |
| `b-terra-texts.jsonl` | GPT-6.1 Terra の Round 1 の解説文 45 本。`debate_id`（t01〜t45）、`topic_id`、`run`、`model`、`char_count`、`text`。主張 0 件の 3 本も含む |
| `b-terra-exceptions-labels.csv` | GPT-6.1 Terra の Round 1 の例外・条件の判定（207 組・33 文章） |

`b-claims.csv` の列:

| 列 | 意味 |
| --- | --- |
| `debate_id`・`topic_id`・`writer_model`・`claim_id`・`claim`・`claim_type` | どの文章の、どの主張か（`d..` は記事 A の討論、`b..` は GPT-6.1 Sol 版の討論、`g..` は Gemini 4 Argon 版の討論、`t..` は GPT-6.1 Terra 版の討論） |
| `vote_codex`・`vote_claude`・`vote_gemini` | 3 社の AI の判定（`correct`・`incorrect`・`unverifiable`・`out_of_scope`） |
| `majority` | 2 社以上が一致した判定（そろわなければ `unverifiable`） |
| `recheck_overturned` | 2 社以上が `incorrect` とした主張を見直し（元の文章と照合）、2 社以上が「直すべき」とした場合 `True` |
| `label` | 最終ラベル（`majority` に見直しを反映） |
| `label_article_a` | 記事 A の最終ラベル（記事 A の Round 1 の主張だけ。判定役の組み合わせが違う集計） |

集計のしかた: 誤り率 ＝ `incorrect` ÷（`correct` ＋ `incorrect`）を文章ごとに出して、モデルごとに平均する。区間はお題を単位にしたクラスター・ブートストラップ（10,000 回、seed 1）。手順と判定の決まりは、確かめ直しを始める前（2026 年 10 月 8 日）に固定した。

Gemini 4 Argon の分（2026 年 10 月 15 日追加）は、手順を結果を見る前に計画書へ書き足し、同じ判定役・指示・基準で確かめた。ただし判定の束には Argon の主張しか入らないため、束の中で複数のモデルの主張を混ぜる伏せ方はしていない（モデル名は伏せている）。

GPT-6.1 Terra は 2026 年 11 月 2 日に参考として追加。参加モデルは Claude Sonnet 5.5・GPT-6.1 Terra・Gemini 4 Argon。主張 0 件の t15 の 3 文章を誤り率 0% とせず平均から除き、判定対象は 42 文章（14 テーマ）。見直しで 6 件を「正しい」に直し、判断が割れたフリーランス法の「発注者の規模」に関する 1 件は、運営が「誤り」のまま確定した。確定値は誤り率 0.86%（95% 区間 0.27〜1.53%）、誤り 9 / 判定数 1,166、誤りを含む文章 8。Sol との差は共通 42 文章で −0.06 ポイント（95% 区間 −0.65〜+0.48）で、優劣は結論しない。例外を正しく書けた割合は 67.6%（33 文章）。存在トラップは判定済み 6 文章で 0 / 6、t15 の 3 文章は主張 0 件で未判定。

## 記事 I（ChatGPT・Claude・Gemini の違いと使い分け）の追加分

記事: https://debatecross.com/notes/chatgpt-claude-gemini-differences （2026 年 10 月 16 日）

3 社の AI の書き方・批評・まとめ方のくせを、AI に判定させず、本文の文字列を決めた規則（正規表現）で数えた記事です。本文の値は、参加モデルを GPT-6.1 Sol・Claude Sonnet 5.5・Gemini 4 Argon にした 45 討論（2026 年 10 月 15 日、`set` = `argon`）です。参考として、記事 A の 45 討論（`main`。GPT-6.1 Sol Pro・Claude Sonnet 5.5・Gemini 3.8 Flash）と、GPT-6.1 Sol 版の 45 討論（`gpt61sol`。2026 年 10 月 8 日）も数えています。

| ファイル | 中身 |
| --- | --- |
| `i-critiques.jsonl` | Round 2 の批評 405 本（3 組 × 45 討論 × 3 体）。`set`（`main`＝記事 A、`gpt61sol`、`argon`）、`debate_id`（`d..`・`b..`・`g..`）、`topic_id`、`run`（参考の組だけ）、`synthesizer`、`critic_model`（批評を書いたモデル）、`char_count`、`text` |
| `i-ref-texts.jsonl` | `gpt61sol`・`argon` の 2 組の Round 1 と最終回答 360 本。`set`、`debate_id`、`topic_id`、`run`、`synthesizer`、`condition`（`round1`・`final`）、`model`、`char_count`、`text`（記事 A の分は `texts.jsonl`） |
| `tools/i_numbers.py` | 批評者・まとめ役としての指標の数え方（語の一覧と正規表現は末尾の付録）。討論の生の記録（DebateCross の出力 JSON）を読む形のまま載せている。公開ファイルの `text` に同じ正規表現を当てれば同じ値になる |
| `tools/i_r1_numbers.py` | 書き手としての指標（長さ・指定字数・数字の書き込み・留保の言い回し・主張の数・対象外の率）と区間 |

`debate_id` の `b..` は `b-texts.jsonl` と同じ割り振り、`g..` は (フォルダ, ファイル名) の順に g01〜g45。区間は、お題を単位にしたクラスター・ブートストラップ（10,000 回、seed 1）。

「自分の回答であることに触れた割合」のうちの「断りの言葉を伴う割合」は、Gemini 4 Argon の記録を見たあと（2026 年 10 月 15 日）に足した事後の指標です。`i_numbers.py` の自己言及の正規表現に当たった語の前後 80 字に「甘く」「甘さ」「厳しめ」「厳しく」「割り引」「バイアス」「自己選好」「自己批判」「公平」がある批評の割合として数えました。