«95% проходимости» звучит мощнее, чем «73% точности». Но за первым числом обычно нет ничего, а за вторым — проверяемая история. Разберём, почему модель, которая признаёт свои 27% ошибок, надёжнее той, что обещает почти стопроцент.
Почему «процент проходимости» легко накрутить
Заявить любую точность — бесплатно. Сложно — её подтвердить. Громкие проценты обычно собираются так: показать пару удачных серий, тихо убрать неудачные, считать только «верняки» с искусственно завышенной уверенностью. Цифра в витрине есть — проверить её нельзя.
Честная точность считается иначе: берётся вся история прогнозов на дистанции, делится число попаданий на число всех разрешённых событий — и публикуется как есть.
Калибровка — проверка модели на честность
Калибровка отвечает на ключевой вопрос: когда модель говорит «80%», сбывается ли это примерно в 80% случаев?
- Если модель заявляет 80%, а реально попадает в 80% — она откалибрована, ей можно доверять цифры.
- Если заявляет 95%, а попадает в 60% — она переоценивает себя. Её уверенность — фикция.
Хорошо откалиброванная модель не врёт о собственной уверенности. И это важнее, чем абсолютная величина точности.
Почему завышенная уверенность опаснее для вас
Переоценённая уверенность вреднее, чем скромная честная. Когда вам говорят «95%, верняк», создаётся ложное ощущение безопасности — и человек принимает решения, которых не принял бы, зная реальные шансы. Честная вероятность, наоборот, оставляет место для трезвой оценки риска.
Как читать калибровку
На графике калибровки по горизонтали — заявленная моделью уверенность, по вертикали — фактический процент попаданий в этом диапазоне. У честной модели точки идут близко к диагонали: где сказано 70% — там около 70% и попаданий; где 90% — около 86–90%. Если линия фактических попаданий стабильно ниже заявленной — модель себя переоценивает.
Где это видно у нас
Мы сделали честность продуктом, а не лозунгом. Публичный трек-рекорд показывает каждый сыгравший прогноз и его реальный исход — и зашедшие, и не зашедшие, со счётом и уровнем уверенности, без правок задним числом. Там же виден общий honest hit-rate на всей выборке. Это и есть разница между аналитикой и обещаниями: цифру можно проверить.
Материал носит информационно-аналитический характер и не является призывом к участию в азартных играх, финансовой или иной рекомендацией. Прогнозы не гарантируют результата. Решения вы принимаете самостоятельно. 18+.
