どうやっても無理ですね。なぜならそれだけ運の要素が強いからです。
囲碁や将棋では初心者がプロ棋士と対局をして勝つことはまずあり得ません。1万局やろうが勝てません。
これは囲碁や将棋には運の要素が無いからです。全ての情報がオープンになっていて、お互いに出来ることも同じ、そういうルールのゲームでは一般的に初心者が上級者に勝つというのはほぼ不可能です。
そこまで極端に差が離れていなくても、数局～10局もやれば結果に差がつくものです。例えばアマチュア初段と三段ぐらいの差でも、10局やって初段側が勝ち越すという事はほぼないでしょう。勝って2局ぐらいで、その結果を持って勝ち越した側が強いのは確定的になります。
しかし麻雀ではルールを覚えた程度の人がトッププレイヤーに1半荘勝負で勝つことは普通にあり得ます。別に凄く珍しいという訳でもなく、仮に上級者3人と初心者1人で1半荘打ったとしても初心者がトップになれる確率は少なく見積もっても10%以上はあるはずです。
これではたった1半荘の結果だけを見て「強いから勝った」のか「運が良くて偶然勝った」のかを判断することはできないですよね。
ある程度実力の選抜がされた場(オンライン麻雀の最上位卓など)になれば、人類のトップクラスの実力を持つ人であっても長期的な成績で平均順位2.4位を切るのはかなり難しいです。その場での平均的な打ち手が2.5位になるのですから、トップ層との差はたった0.1位分の差しかありません。
ここで統計学的な考え方を用います。真の実力(=仮に無限回打った時の成績)が平均順位2.4位の場合、n半荘打った時の平均順位の標準偏差σは
σ≒√(1.25/n) (位)
で求められます。
正確には語弊がある(詳細は統計学を学んでください)のですが、ある半荘数打った時の平均順位は約95%の確率で真の平均順位±2σに収まることが分かっています。逆に言えば約5%の確率で±2σ以上外れた結果が出るという事です(プラス側とマイナス側にそれぞれ2.5%程度の割合で外れる)。
5%というと少なく思えるかもしれませんが、20人に1人はそういう結果が出ると思えば決して珍しい事じゃないですよね。オンライン麻雀なんて凄い数のプレイヤーがいますし、そういう幸運or不運を味わう人はいくらでもいるわけです。
仮にn=100を入れてみると、σ≒0.11となります。つまり100半荘の結果では真の実力±0.22位以上外れた結果が出る確率が5%近くもあるという事になります。本来の実力は2.5位の平均的な打ち手なのに、2.5%の確率で2.2位台のような圧倒的な結果を残すこともあれば、逆に2.7位台とボコボコに負けてしまうこともあるという事です。つまりたった100半荘で出た結果なんて真の実力を表しているとは言い切れなくて、偶然運が良くてor運が悪くて出てしまった結果である可能性を排除できないわけです。
同じくn=1000を入れるとσ≒0.035となり、1000半荘でも真の実力±0.07位以上外れた結果が出る可能性が残ります。先ほど述べた通り平均的な打ち手とトッププレイヤーでも真の実力差は0.1位ぐらいしか違わないのに0.07位ぐらいは誤差が普通に起こり得ると考えるとまだ偶然の要素が大きいですよね。
n=3000になればσ≒0.020になるので、これでようやく真の実力±0.04位ぐらいの範囲で考えられるようになります。これならトップ層と平均的な打ち手は区別が付くようになってくるでしょう。言い換えれば3000半荘打って平均順位2.4位を記録していれば、その人は平均的な打ち手よりはまず間違いなく強いと言えるわけです(平均的な打ち手が偶然その成績を残せる確率は非常に低いから)。
じゃあ3000半荘あれば常にOKかと言えばそうとも言えません。
例えばある時打ち方を変えてみて、それが実力にどう影響したのかを変える前後の成績から比較したいとします。その場合は恐らく平均順位に与える影響は0.05位も無いのが普通で、特に上級者だと改善できるところは少ないので変えた前後で0.01位, 0.02位分ぐらいの向上しか見込めないでしょう。
こうなってくるともう±0.04位ぐらいは誤差が出てしまう3000半荘じゃ足りないという話になってきます。5000半荘、10000半荘という積み重ねで少しずつ統計的に有意な結果が出てくるはずです。かなり打ちまくってる人でも年単位の時間がかかりますね。
実際のところはそれだけの期間ずっと他の打ち方を変えずに打ち続けることは難しいですし、相手も変化しているので、それ以外の不確実性も出て来てしまいます。残念ながら現状としてはこれ以上精密に実力を測るのは不可能と言えるかもしれません。
