Оценка Брайера: как измерить качество вероятностей
Оценка Брайера (Brier score) — средний квадрат ошибки названных шансов: чем меньше, тем лучше. Для вопроса «сбудется или нет» она лежит между 0 и 1.
Посчитать шансы на матч турнира — в приложении
Формула
BS = (1 / N) × сумма (f − o)², где f — названный шанс в долях, o — итог: 1, если сбылось, и 0, если нет, N — число прогнозов.
Пример: пять прогнозов
0,9, сбылось: (0,9 − 1)² = 0,01. 0,5, не сбылось: 0,25. 0,2, не сбылось: 0,04. 0,8, сбылось: 0,04. 0,6, не сбылось: 0,36. Сумма 0,70, среднее 0,14.
Уровень «монетка»
Если всегда называть 50%, ошибка каждый раз равна 0,25, значит, и средняя — 0,25. Но 0,25 не всегда планка: если 70% событий сбываются, ответ «всегда 70%» даёт 0,21 без всякого умения. Оценку сравнивают с таким простым ответом.
Три исхода
В футбольной линии 1Х2 ошибку считают по трём исходам сразу, шкала доходит до 2. Ответ «по одной трети на каждый» даёт 0,667. Ошибка рыночной цены без маржи на 99 проверочных матчах Линзы — около 0,59. С 0,25 такие числа не сравнивают.
Связь с калибровкой
Калибровка проверяет, совпадают ли названные шансы с долей сбывшихся (см. статью про график калибровки). Оценка Брайера штрафует и за неточные проценты, и за уверенный промах: 90%, которое не сбылось, стоит 0,81, а 60% — 0,36.
Это расчёт, а не совет ставить. 18+
Если ставки выходят из-под контроля — самозапрет на Госуслугах или в МФЦ (от 12 месяцев, во всех легальных конторах).
Вопросы и ответы
Чем оценка Брайера отличается от доли сбывшихся?
Доля сбывшихся не учитывает уверенность. Оценка Брайера её учитывает: прогноз 90% для сбывшегося события лучше, чем 51%.
Какое значение хорошее?
Универсального порога нет. Сравнивают с простым ответом, например «всегда 50%» (0,25) или «всегда доля сбывшихся» (для 70% — 0,21).
Можно ли считать оценку на десятке прогнозов?
Можно, но она шумит. Как и с процентом, смотрите на число прогнозов: чем их больше, тем надёжнее оценка.
Что дальше читать
Попробовать: честные шансы матчей дня
Посмотрите, какие шансы остаются в цене матчей дня после вычета маржи.
Честные шансы матчей дняОткрыть Линзу в TelegramРазбор матча в приложенииЭто расчёт, а не совет ставить. 18+