職種ごとに、同じ物差しで実測して公開する。
推計ではなく実測。うまくいかなかった回も、こちらの間違いも、そのまま載せる。
日本で「AIは専門職をどこまで代替するか」を語るとき、いまだに引かれているのは 2015年の野村総研×オックスフォードの推計である。行政書士93.1%、税理士92.5%、弁理士92.1%。 だがあれは職業属性からの回帰推計であって、誰も一度も実務をやらせて測っていない。 LLM以前の数字が、11年後の今も既定値として流通している。
ここでやるのは1つだけ。成文化された基準を持つ専門職の実務を、実際にAIにやらせて、権威が確定させた正解と突き合わせる。
| 業種 | 資料の増やし方 | 結果 |
|---|---|---|
| 通関 HS分類 | 81万字 → 440万字（5.4倍） | 42→42（0件） |
| 税務 根拠条文 | ゼロ → RAG候補30万字 | 72.3 → 74.0 |
| 税務 根拠条文 | RAG → 全文2,400万字（80倍） | 74.0 → 73.1 |
| 税務 根拠条文 | 資料の欠陥を修正（被覆79→83%） | 73.1 → 72.0 |
そして両業種とも、同一条件で繰り返すと答えが安定しない。 通関で25%、税務では74%の事案が、毎回ちがう答えになった。 税務では点数のほうは 124本±1 でほぼ不動——毎回ほぼ同じ点数を、毎回ちがう答えで取っている。
「精度が足りない」より先に来る話がある。同じ問いに同じ答えが返らない。 税務・監査・通関のように再現性そのものが要件になる場面では、精度以前の問題になる。