Методика оценки удачи в "Blood Bowl"

[raspel]

Вступление

"Blood Bowl" содержит в себе значительный элемент удачи, так что вопрос об измерении этой удачи встаёт весьма часто. В этой работе я пытаюсь разработать методику оценки удачи тренеров, опирающуюся на анализ результатов их бросков кубов. Как модно сейчас говорить, data-driven подход.

Входные данные для анализа

"Blood Bowl" - игра, где приходится кидать много кубов. В течение матча каждый тренер делает более сотни отдельных независимых бросков с разнообразными шансами успеха, провала и нейтрального исхода. Для начала анализа мы должны собрать все броски кубов для обоих тренеров: их шансы, результаты и количества. Это можно делать вручную; автоматизация процесса возможна, но лежит за пределами моей компетенции.

В результате мы получим для каждого тренера список отдельных бросков кубов вида [[chance_1, weight_1], [chance_2, weight_2], ... [chance_n, weight_n]], где chance - вероятность отдельного броска, weight - вес: был ли результат положительным (1), нейтральным (0) или отрицательным (-1).

Сумма всех возможных весов для каждого отдельного броска должна быть 0, т.е. у вас не может быть броска без положительного или отрицательного исхода (если вы делаете такие броски - не включайте их в список, они всё равно не влияют на вашу удачу).

Сумма всех возможных вероятностей для каждого отдельного броска должна быть 1, по определению вероятности.

Конкретно по вероятностям различных действий:

• Кубы на броню и травму считаются кубами соперника.
• На кикофф-эвент кубы кидает кикающий.
• На самом кикофф-эвенте кубы могут кидать оба.
• Начальную монетку я тоже записал обоим (хотя это спорно: получается 1 бросок попал в оба списка).
• Каждый индивидуальный бросок кубов считается отдельно (кубы на броню и травму отдельно, кубы до РР и после - отдельно и т. п.).
• Модификаторы учитываются в вероятностях.
• Если МБ или ДП не применялся при пробитии брони - он не учитывается, если он не помог пробить броню или она пробита с его участием - учитывался.
• Для бросков на травму (injury rolls) успех - КО и выше, провал - стан.
• Броски на травму (casualty roll) не учитываются - они всегда успех.
• Пока никак не учитывается шанс удалиться на фоле.
• Никак не учитываются скаттеры и баунсы.
• Вероятность нейтрального исхода существует только у бросков на драку. Как правило, это стрелочки или БД с Блоком или Реслом.
• Вероятность успеха и провала бросков на драку зависит от ситуации. К примеру, при проталкивании на вантёрн стрелочки будут успехом, а поваленный соперник - провалом. Или, если вам нужен хотя бы толчок, успехом будут и стрелочки, и повал соперника. Необходимость ручной оценки таких ситуаций -  главное препятствие для автоматизации процесса.

Рабочая гипотеза

Для каждого броска добавим новую метрику "удача", luck = weight/chance

У неё есть несколько полезных для наших целей свойств:

• знак, показывающий, был ли результат положительным или отрицательным;
• её величина по модулю тем больше, чем маловероятнее был бросок;
• ожидаемая суммарная удача для "справедливых" бросков кубов равна 0.

Докажем последнее утверждение. Представьте, что вы кидаете кубы n раз с шансом положительного исхода p, шансом отрицательного исхода q, шансом нейтрального исхода (1-p-q). Тогда со "справедливыми" кубами вы ожидаете получить положительный исход np раз, нейтральный исход

n(1-p-q) раз и отрицательный nq раз. Ваша суммарная удача будет

(1/p)np+(0/(1-p-q))n(1-p-q)+(-1/q)nq=n-n=0

Такой же (при "справедливом" распределении удачи) должна быть суммарная удача за весь матч (далее "cumulative luck", CL). Если вы получили больше положительных исходов, чем ожидалось, ваше CL будет больше 0. Если больше отрицательных - меньше 0.

Сравнение удачи

Для каждого тренера у нас есть список удач всех его бросков вида [[luck_1], [luck_2], ... [luck_n]]. Рассчитаем суммарную удачу тренера за весь матч как сумму всех удач его бросков.

Я предлагаю принять за нулевую гипотезу равенство настоящих CL тренеров, а затем оценить её p-value, сравнивая доверительные интервалы (ДИ) для наблюдаемых CL тренеров (используя статью). ДИ мы можем построить методом бутстрапа, т.е., многократно беря из нашего списка удач подвыборки с повторением размером с него же, рассчитать их CL и взять в качестве границ ДИ соответствующие квантили распределения этих CL.

Теперь мы способны ответить на следующие вопросы:

• насколько значимо отличаются CL каждого тренера от ожидаемого значения (0);
• насколько значимо отличаются CL каждого тренера друг от друга.

Это даёт нам статистический метод оценки удачи тренеров в матче.

Пример
Пример расчёта вы можете найти в приложенном к статье ipynb-файле. Это код на Python для JupyterNotebook. Кроме текстового ответа код выдаёт красивую картинку с доверительными интервалами вида

Спойлер: Показать

Предложения и замечания, спорные моменты

Я только начинаю интересоваться статистикой и не претендую на абсолютное понимание предмета. Предложения и замечания по методике приветствуются, желательно аргументированные. Возможно, в будущем эта работа станет базой для более надёжного и точного метода.

Укажу те спорные моменты, которые я уже вижу сам:

• Метрика luck придумана мной, неясен её математический или физический смысл.
• Веса -1, 0 и 1 выбраны произвольно. Возможно, для разных действий они должны быть различны. Сейчас 1 на 2+ додж с мячом имеет такой же параметр luck, как 1 на неважную Тупку или 1 на бессмысленное ГФИ. ДаблЧереп на блоке имеет luck -36, серия 1-реролл-1 на додже имеет luck -12.

Если кто-то хочет сделать сайт-дайсометр, можете использовать методику (только предупредите). Мне будет интересно поучаствовать своей методикой в таком проекте.

Источники
1. Ролик про бутстрап на karpov.courses.
2. Статья про оценку p-value по ДИ.

[meng]

ты постоянно находишь 6 по блоджерам, отправляешь пол команды соперника за поле, весь матч слушаешь стоны про прухло и дайсинг, ты зафейлил только 2 действия за всё время, кинул 1-2 на подбор и 4 стрелки в мяченосца, суммарная удача тренера 90%
противник кидал весь матч стрелки, никого ни разу не пробил, удачно кинул только, подбор 4+ в таклзоне, 5+ додж в клетку и 6 в мяченосца, суммарная удача тренера 10%
итог 0-2
и кто тут удачливый?

[raspel]

и кто тут удачливый?

давай список действий по форме, рассчитаем

[raspel]

Результат матча моя методика не учитывает, только то, накидал ли ты лучше ожидаемого, или хуже. Ради чего ты прокидывал эти сложные кубы, и на что потратил удачу, методика не оценивает. 

[Самоха]

но ведь можно делать тонну удачных блоков на не решающие действия и сделать один решающий крайне не удачный блок, который приведёт к поражению. 

[raspel]

но ведь можно делать тонну удачных блоков на не решающие действия и сделать один решающий крайне не удачный блок, который приведёт к поражению.

Ага, в целом это влезает в п.2. моего раздела "Спорные моменты". 

Ответ: да, но что делать? Лучше так, чем никак. Или разрабатывать сложную систему весов (рассмотрю предложения).

[kashey1983]

raspel, прикольно. Мне кажется у этой работы была бы супер отдача, если бы можно было смотреть уровень удачливости команды в ряде матчей. Т.е. есть ли пожизни любимые Наффлом и те, кого Нафл недолюбливает.

[hk47mk2]

В кубамометре был очень полезен график "Ожидаемый результат" против "Полученный результат".
Там идея в следующем.
Любое действие на поле (с бросками кубиков или просто перемещение мяча без бросков) имеет исходы с разными вероятностями "провал" - "нейтральный" - "успех" (можно еще критичные провалы/успехи добавить типа травм на блоках), которые имеют оценку в попугаях на влияние игры.
По сути для каждого действия имеем случайную величину "риск-награда", для которой можно рассчитать мат.ожидание и фактически полученный результат.
Попугаи накапливаются по мере выполнения всех действий и по всем действиям строится график, по которому видно:
1. У кого в попугаях полученный результат сильно отличается от ожидаемого в какую-либо сторону.
2. Резкие скачки для выгодных удачных действий.

На картинке график и пример успешного действия (травма на блоке на 3й ход) из последней игры Рашпиля с Адантом.
График пунктиром - это ожидаемый результат в попугаях для каждого действия в игре, сплошной - полученный.
Сплошная линия выше пунктирной - удачливая игра, ниже - нет.

График строй хоть на весь срок выступлений команды

А дальше еще можно хоть 1000 раз побросать кубики действий, сравнить полученный результат всей последовательности и получить 2 цифры вверху экрана, что в этой игре по итоговом счету в попугаях у кого-то "кубы лучше 99,5% из 100%".

[raspel]

Ну, в принципе, и по моей методике можно строить график накопления удачи по ходу игры.   Только вручную собирать это ещё заморочнее будет.

[raspel]

Кстати, спасибо Мистеру Месмеру за реализацию дайсометра на основе этой методики (хотя и со своими особенностями и доработками).

[pauletto]

Много букв, не осилил, автору плюс за старание.

А так, согласен с Менгом.

[BoShurik]

raspel, бывают матчи, где тренер "лакер", но проиграл? Я бы посмотрел такой

[AgykYpadiNakopi]

BoShurik,  У меня был матч против прошек Рашпеля вроде, в бб2 XD