GTOの進化：ダイナミックサイジング

ダイナミックサイジングとは、それぞれの局面で最もEVの高いベットサイズで自動的に戦略を簡単にする、画期的で新しいポーカーアルゴリズムのことです！

シンプルな戦略をうまくプレイすれば、複雑な戦略を下手にプレイする場合より成績が必ず良くなります。

ブラウザベースの学習ツールが導入されて以来、GTOソリューションでの学習の際にベットサイズが多すぎることは、ポーカープレイヤーにとって大きな問題となっています。複雑なGTO戦略は解釈が難しく、実行するのは事実上不可能です。シンプルなソリューションは勉強しやすいですが、エクスプロイトされやすく、最適なサイジングや異なるベットサイズへの対応方法が分からなくなります。

私たちは人工知能の力を使って、この問題に対するエレガントな解決策を生み出しました。ダイナミックサイジングを使えば、両方の長所を生かすことができます！

機能概要

ダイナミックサイジングは、不必要なベットサイズを排除し、クリーンでシンプルな戦略を生み出します。

ダイナミックサイジングにはいくつかの重要な特徴があります。

• それぞれの局面で最適なベットやレイズのサイズに自動的に簡略化。
• ベットサイズの数を選択。
• オプションで、ソルバーが選択するサイズのリストを定義。
• ソルバーがダイナミックサイジングを使用するタイミングと場所を指定。
• 異なるベットサイズですぐにノードを再解析。
• カスタマイズしたソリューションに照らし合わせてトレーニング。

ダイナミックサイジングを使用すると、ベットサイズを入力したり、手動でツリーを作成したりすることなく、そのシナリオで最もEVの高いベットサイズが表示されます。ベットサイズを2つに絞ると、ソルバーは豊富な選択肢の中から正確に2つのベットサイズを選びます。

プレイ時に使用するサイズを正確に入力すれば、GTO Wizard AIがそれぞれのシナリオに最適なサイズを教えてくれます。ボードテクスチャによって選択されるサイズが異なるため、ダイナミックサイジングを参考にすることで、ベットやレイズのサイズ選択を改善する方法を学ぶことができます。

ダイナミックサイジングによって学習環境も驚くほどアップグレードされており、プレイしているシナリオに適したベットサイズが表示され、ハンドをリプレイしたり、学習モードに切り替えてレンジ全体の戦略を調べることもできます。ベットの選択肢がその場で調整されることで、戦略を把握するのが格段に容易になります。

動画でダイナミックサイジングの使い方をご覧ください！

ダイナミック対オートマチック

GTO Wizardには2つの簡略化の方法があります。ダイナミックとオートマチックです。これらは基本的に同じアルゴリズムです。どちらの場合も、ソルバーは事前に定義されたベットまたはレイズのサイズのリストから、各ノードで最適なサイズを探します。ダイナミックモードでは、ベットサイズの大きさやそれぞれの局面でいくつのサイズを使用するかをユーザーが設定できます。

問題点

ソルバーを普段使っていない人は、ベットサイズがなぜ問題になるのか分からないかもしれません。そもそも、なぜ従来のソルバーは最適なベットサイズを教えてくれないのでしょうか？

それは、ポーカーは非常に複雑なゲームなため、それを計算するにはベットを抽象化する必要があるからです。古典的なソルバーでは、人間がベットサイズを正確に定義しなければなりません。伝統的なソルバーの仕組みについては、こちらをご覧ください。

しかし、ソルバーに入力するベットサイズをどうやって知れば良いのでしょうか？これが今回の問題の根幹です。

古典的な方法は、複雑な戦略を多くのベットサイズで解いた後、ソルバーが最も頻繁に選んだサイズを使って解析し直す（頻度分析）と、各サイズを別々に解き直し、複雑な戦略をプレイするのに比べて最もEVを失わないサイズを選ぶ（EV分析）があります。しかし、この方法は時間がかかり面倒です。1つのポストフロップを何千回も解き直して、全ての局面のベットとレイズのサイズを最適化する必要があります。そのため、ポーカープレイヤーはベットを最適化するために経験則や一般的な法則に頼っていました。ポーカー界は新しい方法を必要としていました。そのため、私たちはダイナミックサイジングアルゴリズムを開発しました！

ダイナミックソルビングは、それぞれの局面において最適なベットサイズを利用することで、戦略を合理化することを目的としています。ここでの目標は自分の単純化を可能な限りエクスプロイトしようとしてくる相手に対して、最も期待値（EV）の高いベットまたはレイズのサイズを見つけることです。そして重要なことは、これを素早く行う必要があるということです。

最適なベットサイズを見つける方法

ダイナミックアルゴリズムは、利用可能なすべてのサイズをスキャンし、戦略に影響が最も少ないベットやレイズサイズを除外します。指定したベットの個数になるまで、このアルゴリズムが繰り返されます。

通常、これは非常に長い計算になります。しかし、人工知能の力のおかげで、あらゆるベッティング戦略の価値を極めて迅速に概算することができます。

最適なサイズ設定を見つけるため、利用可能なすべてのベットサイズの頻度とEV、削除後の後悔（removal regret）を比較し、独自の機械学習アルゴリズムに入力として使用される一連の特徴量を生成します。このアルゴリズムの出力から、どのサイズを外すべきかがわかります。その後、GTO Wizard AIを使ってベッティングツリーを解析し直し、最も価値のあるサイズだけが残るまでこのプロセスを繰り返します。最終的に効率的でシンプルな最適ベッティング戦略が残ります。

ベンチマーク

このアルゴリズムはどの程度正確なのでしょうか？それを判断するため私たちは、テストを行いました。ここでは、要約を紹介しますが、詳細はダイナミックベンチマークの全文記事をご覧ください！

ダイナミックサイジングアルゴリズムは、単一のベストサイズ戦略と比較して、リバーでのEV損失は平均わずかポット0.05%しかありません。
8つの異なるサイズを持つ複雑なリバー戦略をプレイした場合と比べても、平均EV損失は0.30%であり、固定されたシングルサイズ戦略よりも優れています！

Slumbotとの対戦で、150,000ハンドの実験で最も成績が良かったのは、1サイズのダイナミックサイジングを使った場合です。理論的には、複雑な戦略の方が単純な戦略より優れているはずです。しかしアクションに7秒の制限があることで、単純なアプローチの方が精度が高くなり、分散を抑えつつ50%も良い成績を収めることができました！

ポーカープレイヤーは戦略を単純化することでEVを失うのではないかと心配するかもしれません。しかし実際はその逆が正しいのです。単純化された戦略は、学習効率と勝率を向上させます。ゲームに不必要な複雑さを排除し、最も重要なことに集中することで、精度と自信の両方が向上します。