モノポリーをコンピューター相手に: AIボットの打ち方と勝ち方

モノポリーをコンピューター相手に、ここでは無料で対局できます。空けた席にはどこでもボットが入り、その相手はルールの一覧ではなく80,000局の完全な対局から打ち方を学んでいます。イージーは注意深い初心者に負けます。ノーマルは互角の勝負です。ハードは、これまで最強だった当サイトのボットとの対戦100局のうち83局で勝ちました。

ボットはどうやって一手を決めるのか

ボットは決断のたびに、指せる手をすべて書き出し、それぞれを自分用の盤面の写しで実際に試し、その結果について小さなニューラルネットワークに一つだけ質問します。この席から見て、この局面はどれくらい良いか。そして最も高く評価された手を指します。方法はそれだけで、購入も入札も建築も抵当も取引もカジノも、毎回同じ質問で扱います。

ネットワークの「良い」という感覚は、以前の手書きボット同士の80,000局、合計580万の局面から来ています。その一つ一つに、その席のプレイヤーにとって対局が最終的にどう終わったかが記されています。どのカラーグループが儲かるかは誰も教えていません。どの席が繰り返し一位で終わるかを見て、自分で見つけました。ジェラルド・テサウロは1990年代の初めに、同じ考え方でバックギャモンのプログラムTD-Gammonを作りました(Communications of the ACM、1995年3月)。ルールを書くのではなく局面を評価し、次の一手の探索に残りを任せる、という考え方です。

限界も知っておく価値があります。見ているのは一手先で、三巡先ではありません。だから決闘では鋭く、満席の卓では甘くなります。

イージー、ノーマル、ハードで変わるもの

三つのレベルを動かしているのは一つのネットワークです。難易度が変えるのは、ボットがそれをどれだけ鮮明に読むかです。

イージーは盤面を霧越しに見ています。各プレイヤーの所持金と賃料の脅威の読みが、ランダムに一割ほどずれ、評価の近い手の間ではゆるく選び、二十手に一手はまったくの無作為です。取引は自分から持ちかけず、建物は2軒で止め、自分にやや不利な取引も受けます。

ノーマルは盤面をほぼ正確に読み、たいてい最善手を指します。自分のセットを完成させる土地に現金を提示するだけで、それ以上に凝ったことはせず、家は3軒まで建て、あなたを妨害するために競売で高値を払うことはありません。

ハードはほぼ毎回、最高評価の手を指します。ホテルまで建て、交換や「二対一」の提案を組み立て、あなたにセットを渡さないためだけに土地の価値を超えて入札し、取引は自分の局面が良くなるときにしか受けません。

各レベルは、以前の最高難度だったボットと1,200局の決闘で測りました。イージーの勝率は26.2%、ノーマルは52.8%、ハードは81.8%。ノーマルはイージーに100局中74局勝ち、ハードはノーマルにも100局中74局勝ちます。目安として、ここで遊ぶプレイヤーは直近90日で、最後まで打ち切った決闘の61%でその以前のボットに勝っています。つまりイージーは無理なく勝てる相手、ノーマルは互角、ハードは難しくあるために作られています。

これまでに埋まった5,704のボット席のうち、プレイヤーはノーマルを4,413回、イージーを661回、ハードを630回選んでいます。

どう買い、どう入札し、どう建てるか

買った後に8,000以上残るなら、ただ買います。以前のボットが序盤にいつもそうしていたのと同じです。その線より下では、止まった土地のおよそ半分を断ります。以前のボットとの200局のテスト決闘で、新しいハードは4,273回の購入機会のうち2,064回を断りました。バグに見えましたが、数えてみると以前のボットも同じことをしていました。3,938回中1,751回です。断った土地の十のうち七は競売で買い手がつかず、以前のボットが買ったときは額面の1.05倍を払っていました。手元がそれだけ薄いときに断るのは、その土地が今は額面の価値がないという判断であって、見落としではありません。

二つのボットが分かれるのは建築です。新しいボットは同じ200局で4,691回建て、以前のボットは1,657回でした。一局あたりおよそ23軒対8軒で、しかも建て始めが早い。賃料は家にあり、ネットワークは家が3軒あるグループを、同じグループの更地よりはるかに高く評価します。

競売では100ずつ上げ、「この値段で持つ」が「手放す」より低く評価された瞬間に止まります。ハードはその上に妨害入札を重ねます。その土地があなたのグループを完成させるなら、自分にとっての価値を超えて入札を続けます。それがあなたの側に何をもたらすかは、競売ガイドで扱っています。

取引に応じるか

三つのレベルすべてが、あなたの提案には返事をします。ノーマルとハードは自分からも取引を開き、ノーマルは現金の提示だけ、ハードは「二対一」までなんでも。イージーは何も提案しません。

新しいボットは、持ちかける回数が減り、受ける回数が増えました。同じ200局で提案したのは327回、以前のボットは707回で、二局に三回ほどの提案です。そして受け取った707件の提案のうち247件、三件に一件を受けました。以前のボットが受けたのは327件のうち75件で、四件に一件に届きません。提案が受け入れられるのは、取引後の盤面がボットにとって取引前より高く評価されるときで、ハードでは少しの上乗せが要ります。あなたのモノポリーが完成する取引を出せば、取引後の盤面はボットにとって悪く評価され、いくら現金を積んでも変わりません。返ってくるものがボットにとって、あなたの得るものより価値がある場合だけが例外です。その審査を通る提案の組み立て方は取引ガイドにあります。

各レベルの倒し方

イージーは競売で妨害しません。いらない土地は断り、欲しい土地は競売に回ってきたときに拾い、一つのグループに家を3軒建ててください。イージーは2軒で止まり、3軒の賃料こそが彼の現金が尽きる場所です。

ノーマルも妨害せず、提示するのは現金だけです。弱点は時間です。評価するのは取引直後の盤面で、二巡後の盤面ではありません。だから紙の上では五分五分で、あなたがすぐに建てられるようになる交換なら受けます。テンポをあなたに渡す、対等な交換を持ちかけてください。

ハードは餌に金がかかる相手ですが、餌は効きます。あなたのセットを完成させる土地は競り上げてください。ハードはそれを渡さないために割高を払い、妨害に使った100は家に回らない100です。それから、ハードが一番強いのは一対一です。相手が三人いると一手先の読みの価値は下がり、テストでもそう出ました。決闘で83%勝つ同じボットが、四人卓では32.5%です。同じ卓で以前のボットが出す22.4%より上ですが、無敵にはほど遠い。

もう一つ気づくはずのことがあります。ボットは現金に余裕があるとカジノに賭けます。あそこの配当表はどの賭け方でも平均して賭け金が戻り、その上にジャックポットの抽選が乗ります。だから賭けるかどうかは揺れに耐えられるかの問題で、ボットはあなたが答えるべきのと同じ答え方をしています。

チーム戦は以前のボットのまま

2対2のチーム戦では、学習したボットは古いボットに勝てませんでした。1,500局のチーム戦で勝率は46.9%。だからチーム卓は今も手書きのボットが打ち、新しいボットがそこで上回ったときにだけ切り替えます。チーム戦のルールは変わっていません。

ボット戦で得られるもの、得られないもの

レートも経験値も、記録上の勝利もありません。ボットが一人でも入った対局は意図的にカジュアル扱いです。機械を相手に稼げるランキングは、もうランキングではないからです。対局は履歴に残り、デイリーの連続記録も加算されます。

ボットは無人の部屋では打ちません。タブを閉じれば卓はその場で止まり、放置されたボット卓は30分で片づけられます。

コンピューター相手の対局はどれくらいかかるか

中央値で三十分です。直近90日で、十周以上に達して終了したボット戦974局の中央値は30分、同じ長さの人間だけの対局1,611局は39分で、どちらもおよそ58周でした。ボットは一手ごとに一秒から四秒待ちます。サイコロをあなたが見られるようにするためで、評価そのものは数千分の一秒で終わります。先週このサイトで終了したボット戦は346局です。人間側の数字は対局時間の分析に全部あります。

ハードのボットは、ここの大半のプレイヤーがすでに10局中4局を落としていた相手に、100局中83局勝ちます。ロビーでレベルを選んで、自分がどれなのか確かめてください。