Монополия против компьютера: как играют боты и как их обыграть

Играть в Монополию против компьютера здесь можно бесплатно, на любом свободном месте за столом, и соперник вам достаётся такой, который выучил игру на 80,000 полных партий, а не по списку правил. Лёгкий проигрывает внимательному новичку. Обычный это честный бой. Сложный обыграл нашего прежнего сильнейшего бота в 83 партиях из 100, которые мы между ними провели.

Как бот выбирает ход

Перед каждым решением бот выписывает все допустимые ходы, разыгрывает каждый на своей копии доски и задаёт маленькой нейросети один вопрос о результате: насколько хороша эта позиция с моего места? Потом делает ход с лучшей оценкой. Это весь метод, и он одинаково покрывает покупку, торги, стройку, залог, обмены и казино.

Чувство «хорошо» у сети взялось из 80,000 партий между нашими прежними, написанными вручную ботами, всего 5.8 миллиона позиций, и у каждой была подпись: чем в итоге кончилась партия для игрока на этом месте. Никто не говорил ей, какие цветовые группы приносят деньги. Она вывела это сама, глядя, чьи места раз за разом финишировали первыми. Джеральд Тезауро построил на той же идее программу для нард TD-Gammon в начале девяностых (Communications of the ACM, март 1995): оценивай позиции, не пиши правила, а перебор следующего хода сделает остальное.

Про ограничение тоже стоит знать. Бот смотрит на один ход вперёд, а не на три хода, поэтому острее всего он в дуэли и мягче за полным столом.

Что меняют лёгкий, обычный и сложный

Все три уровня играет одна сеть. Уровень сложности меняет то, насколько ясно бот её читает.

Лёгкий видит доску в тумане: его представление о каждом балансе и каждой угрозе аренды случайно сдвинуто примерно на десять процентов, между ходами с близкой оценкой он выбирает небрежно, а каждый двадцатый ход вообще случайный. Он никогда не предлагает обмен, останавливает стройку на двух домах и принимает сделку, слегка невыгодную ему самому.

Обычный читает доску почти чисто и в большинстве случаев делает лучший ход. Он предлагает деньги за улицу, которая достраивает его группу, и ничего хитрее, строит до трёх домов и никогда не переплачивает на аукционе, чтобы вас заблокировать.

Сложный почти всегда делает ход с высшей оценкой. Он строит до отелей, собирает размены и предложения «два за один», торгуется дороже реальной цены улицы только ради того, чтобы не пустить вас к группе, и принимает обмен, только если его позиция от этого выигрывает.

Каждый уровень мы измерили в 1,200 дуэлях против бота, который раньше был нашей самой сложной настройкой. Лёгкий выиграл 26.2% партий, обычный 52.8%, сложный 81.8%. Обычный обыгрывает лёгкого 74 раза из 100, сложный обыгрывает обычного тоже 74 раза из 100. Для масштаба: игроки здесь выигрывали у того старого бота 61% доигранных дуэлей за последние 90 дней, так что лёгкого обыграть несложно, обычный это честный бой, а сложный и должен быть сложным.

Из 5,704 занятых ботами мест игроки выбрали обычный уровень 4,413 раз, лёгкий 661 и сложный 630.

Как он покупает, торгуется и строит

Если после покупки на руках остаётся 8,000 и больше, он просто покупает, как прежний бот всегда делал в дебюте. Ниже этой черты он отказывается примерно от половины улиц, на которые встаёт: в 200 тестовых дуэлях против прежнего бота новый сложный отклонил 2,064 из 4,273 предложений купить, и это выглядело как ошибка, пока мы не посчитали, что прежний делал то же самое: 1,751 из 3,938. Семь из десяти улиц, от которых он отказался, так и не нашли покупателя на аукционе, а когда прежний бот всё же брал такую, он платил 1.05 номинала. Отказ при таких деньгах это суждение, что прямо сейчас улица не стоит своих денег, а не промах.

Стройка это то, где два бота расходятся. Новый построил 4,691 раз за те же 200 партий против 1,657 у прежнего, примерно 23 дома за партию против 8, и начинает раньше. Аренда живёт в домах, и сеть оценивает группу с тремя домами намного выше той же группы без них.

На аукционе он поднимает по шагу в 100 и останавливается, как только «владеть этим по такой цене» оценивается ниже, чем «отпустить». Сложный добавляет сверху блокирующую ставку: если улица достраивает вашу группу, он продолжает торговаться выше того, чего она стоит ему самому. Наш гид по аукционам разбирает, что это делает с вашей стороной стола.

Станет ли он с вами меняться

Все три уровня отвечают на ваши предложения. Обычный и сложный ещё и открывают обмены сами: обычный только денежные, сложный что угодно вплоть до «два за один». Лёгкий не предлагает ничего.

Новый бот просит реже и соглашается чаще. В тех же 200 дуэлях он предложил 327 обменов против 707 у прежнего, примерно три предложения на две партии, и принял 247 из 707 предложений, которые получил, то есть каждое третье, тогда как прежний соглашался на 75 из 327, реже чем на каждое четвёртое. Предложение принимается, когда доска после обмена оценивается для бота выше, чем доска до него, на сложном с небольшим запасом. Предложите боту сделку, закрывающую вашу монополию, и доска после неё оценится для него плохо, сколько бы денег вы ни приложили, если только то, что приходит взамен, не стоит для него больше, чем ваш выигрыш. Гид по обменам показывает, как собрать предложение, которое эту проверку проходит.

Как обыграть каждый уровень

Лёгкий никогда не блокирует аукцион. Отказывайтесь от улиц, которые вам не нужны, забирайте нужные, когда они выходят на торги, и стройте три дома на одной группе. Он останавливается на двух, а аренда с трёх домов это ровно то место, где у него кончаются деньги.

Обычный тоже не блокирует и предлагает только деньги. Его слепое пятно это время: он оценивает доску сразу после обмена, а не доску через два хода, так что размен, ровный на бумаге и позволяющий вам строить немедленно, он примет. Предлагайте ровные обмены, которые отдают вам темп.

Сложный это тот, на кого приманка стоит денег, и она работает. Поднимайте ставки на любую улицу, которая достраивает вашу группу, потому что сложный переплатит, лишь бы она вам не досталась, а каждые 100, потраченные на блок, это 100, которых не будет в домах. Ещё сложный сильнее всего один на один. Против трёх соперников его взгляд на один ход вперёд стоит меньше, и тесты это показали: тот же бот, который выигрывает 83% дуэлей, выигрывает 32.5% столов на четверых. Это лучше, чем 22.4% у прежнего бота за таким же столом, но до непобедимости далеко.

И ещё одно, что вы заметите: бот ставит в казино, когда у него есть свободные деньги. Таблица выплат там в среднем возвращает ставку при любом размере и добавляет розыгрыш джекпота, так что ставка это вопрос, потянете ли вы качели, и бот отвечает на него так же, как стоило бы вам.

Командные партии остаются на прежнем боте

В командных партиях 2х2 обученный бот прежнего не обыграл. Он выиграл 46.9% из 1,500 командных партий, поэтому командные столы по-прежнему играет бот на правилах, и мы переключим их, только когда новый там станет лучше. Правила командной игры не изменились.

Что партия с ботом даёт и чего не даёт

Ни рейтинга, ни опыта, ни записанной победы. Партия с любым ботом казуальная по замыслу, потому что лестница, которую можно фармить об машину, перестаёт быть лестницей. В историю партия попадает, и дневная серия засчитывается.

Боты не играют в пустой комнате. Закройте вкладку, и стол замрёт там, где стоял, а брошенный стол с ботами убирается через 30 минут.

Сколько длится партия против компьютера

Тридцать минут по медиане. За последние 90 дней 974 завершённые партии с ботами, дошедшие хотя бы до десятого круга, заняли в медиане 30 минут против 39 у 1,611 партий только между людьми той же длины, и те и другие шли около 58 кругов. Перед каждым ходом бот выжидает от одной до четырёх секунд, чтобы вы успели увидеть кубики; сама оценка занимает несколько тысячных секунды. За прошлую неделю на сайте завершились 346 партий с ботами. Полные цифры по людям в нашем разборе длительности партии.

Сложный бот выигрывает 83 партии из 100 у соперника, которому большинство игроков здесь и так проигрывали 4 из 10. Выберите уровень в лобби и узнайте, который из них ваш.