検証データ
検証データ一式：ハルシネーション対策を測った
検証ノート「ハルシネーション対策を測った」で使ったデータです。15 テーマ × 各 3 回の討論（2026 年 10 月、参加は Claude Sonnet 5.5／GPT-6.1 Sol Pro／Gemini 3.8 Flash、統合役は回ごとに入れ替え）で書かせた解説文 225 本と、それを分解した主張 8,567 件の判定結果を公開します。記事「ChatGPT・Claude・Gemini の正確性を比較」で使った、Round 1 の主張の確かめ直しの判定と GPT-6.1 Sol・Gemini 4 Argon・GPT-6.1 Terra の解説文も、あわせて公開しています。記事「ChatGPT・Claude・Gemini の違いと使い分け」で数えた批評文と、くせの数え方のプログラムも載せています。GPT-6.1 Sol Pro だけが上位モデルなのは、「検証の実施時点で、AI の利用料が中位の価格帯にあるモデルの最新版」というルールで選んだためです（DebateCross で既定で選ばれる構成。OpenAI の販売施策で、最新の上位モデルの価格が低めに設定されていると考えられます）。
引用・再利用の際は、出典として記事の名前と URL を明記してください。解説文は AI の出力で、内容の正確さは保証しません。お題には法制度・税のテーマがありますが、法令・税務の助言ではありません。
ファイル
| ファイル | 中身 | 大きさ |
|---|---|---|
| claims.csv | 主張 8,567 件の最終判定（種類・判定・誤りの重さ・判定を決めた段階・見落としの抽出の結果） | 1.8 MB |
| texts.jsonl | 解説文 225 本（Round 1・最終回答・指示つき単体回答） | 0.9 MB |
| topics.jsonl | お題 15 テーマとファクトシート（出典つき） | 34 KB |
| exceptions-checklist.jsonl | 例外・条件のチェックリスト 69 項目 | 24 KB |
| exceptions-labels.csv | 例外・条件の判定 1,035 組 | 56 KB |
| debates.csv | 討論 45 本（統合役・実費・トークン数） | 7 KB |
| prompts.md | 各段階の AI に渡した指示文（分解・採点・裁定・見直し・種類の分類・例外の判定）。採点と裁定は途中で書き足す前と後の両方の版 | 31 KB |
| b-claims.csv | 記事 B: 6 モデルの Round 1 の主張 8,716 件を、3 社の AI がモデル名を伏せて確かめ直した判定（3 社の票・最終ラベル・記事 A のラベル） | 1.7 MB |
| b-texts.jsonl | 記事 B: GPT-6.1 Sol の Round 1 の解説文 45 本（2026 年 10 月 8 日の討論） | 140 KB |
| b-exceptions-labels.csv | 記事 B: GPT-6.1 Sol の例外・条件の判定 207 組 | 12 KB |
| b-argon-texts.jsonl | 記事 B: Gemini 4 Argon の Round 1 の解説文 45 本（2026 年 10 月 15 日の討論） | 196 KB |
| b-argon-exceptions-labels.csv | 記事 B: Gemini 4 Argon の例外・条件の判定 207 組 | 10 KB |
| b-terra-texts.jsonl | 記事 B: GPT-6.1 Terra の Round 1 の解説文 45 本（主張 0 件の 3 本を含む） | 101 KB |
| b-terra-exceptions-labels.csv | 記事 B: GPT-6.1 Terra の例外・条件の判定 207 組（33 文章） | 10 KB |
| i-critiques.jsonl | 記事 I: Round 2 の批評 405 本（3 組の討論 × 45 本 × 3 体） | 4.9 MB |
| i-ref-texts.jsonl | 記事 I: GPT-6.1 Sol 版・Gemini 4 Argon 版の討論の Round 1 と最終回答 360 本 | 1.5 MB |
| tools/i_numbers.py・tools/i_r1_numbers.py | 記事 I: くせの数え方のプログラム（正規表現は i_numbers.py の末尾） | 58 KB |
| README.md | 列の説明と集計のしかた（記事 A・B・I） | 11 KB |
集計のしかた
主張誤り率は、claim_type が fact・absence の主張について、incorrect ÷（correct ＋ incorrect）を文章ごとに出して平均したものです。記事の主な数値は、この確かめた誤り率に、抽出から推定した見落としを足した推定の誤り率です。列の詳しい説明は README.md にあります。