失敗検知チェックリスト改訂版(バックテスト反映)

## 経緯 第1弾 patterns/success-failure.md の8項目チェックリストを、Round 2 の Phase R2-1 でバックテストした(2026-07-17)。119事例のうち非pending 115件について、結果情報を隠した「上陸時点スナップショット」を別エージェントに提示し、8項目だけで結末を予測させた。 **限界の明記(先に)**: 検証エージェントの97%が「この事例の実際の結末を既有知識として知っている」と自己申告した(leak: true)。したがって以下の数値は「チェックリストの論理的整合性の上限値」であり、真にブラインドな予測精度ではない。過大に語らないための注記として本ファイル冒頭に置く。 ## バックテスト結果 - failed 検知: **precision 0.95 / recall 0.51**(accuracy 0.84)── 「failed と予測したら実際に failed である確率は95%」だが、「実際に failed の事例の51%しか検知できない」。**このチェックリストは高精度・低再現率のフィルタであり、"通す"判断より"弾く"判断に向いている** - 3クラス完全一致(established/transformed/failed): 68/115 = 59% ## 項目別 判別力(neg|failed − neg|success、正の値が高いほど有効) | 項目 | 判別力 | 評価 | |---|---|---| | 1. 機能的代替物(不満蓄積型か十分機能型か) | +58% | **最強** | | 3. unit economics の証明・調達ペース | +50% | **強** | | 7. 転換点の号砲候補 | +47% | 強 | | 2. 国内先行者の防御資産 | +41% | 強 | | 6. 裏の収益源の合法性 | +39% | 中 | | 4. 業法・権利問題 | +38% | 中 | | 5. リテンション・収益の実データ | +26%(unknown 46件で判定不能が多い) | 弱・運用価値低い | | 8. 個人〜中小の参入点 | **-19%** | **逆相関 = 失敗検知には使えない** | ## 改訂内容 1. **項目8を失敗検知チェックリストから除外し、別枠(「読者機会評価器」)へ移動**。項目8は「参入点が明確にある」ことと「モデルが成功する」ことが無関係、むしろ弱い逆相関(参入点が明確な小資本モデルほど失敗しやすい、または失敗しても個人参入点は残る)を示した。Judge が使う際は「このモデルは成功するか」の判定に項目8を使わず、「(成功可否とは独立に)個人はどこを取れるか」の判定にのみ使う 2. **項目5(実データ)は項目3(unit economics)に統合**。unknown率が高く(46/115)単独では運用価値が低いため、項目3の判定材料の一部として扱う 3. **項目1・3・7を優先項目とする**。Judge のスクリーニングでこの3項目に negative signal が2つ以上出た候補は、high priority から除外することを推奨 ## 改訂版チェックリスト(7項目、Judge 運用用) 候補モデルごとに以下を確認し、根拠付きで記載する: 1. □【最優先】日本の機能的代替物は何か。それは「不満蓄積型」か「十分機能型」か 2. □ 国内先行者はいるか。防御資産を築いているか 3. □【最優先】発祥国で unit economics は証明されているか。調達ペースは実需と釣り合っているか。発祥国でのリテンション・収益の実データはあるか(補助情報として統合) 4. □ 該当しうる日本の業法・権利問題は何か。規制緩和スケジュールは 5. □ 表のモデルの裏の収益源は日本で合法・成立するか 6. □【最優先】転換点の号砲候補(法改正・政策・税制・大手の動き)はいつか 7. ★(独立枠・成否判定には使わない)個人〜中小の現実的な参入点(周辺/クローン/情報優位)はどれか ── mechanisms/ の①〜⑥のどれに該当するか ## 個人スケールでの行動 Writer・Judge は、旧チェックリストの8項目版ではなく本改訂版を使用する。特に「参入点が明確にあること」を成功確率の根拠として書かないよう注意する(バックテストが示す通り、それは無関係な情報である)。