Люди гораздо больше ценят возможность оказаться абсолютно правыми, чем стремление минимизировать вероятность ошибки. Даже если один прогноз статистически надёжнее и в среднем приводит к меньшим отклонениям от реального результата, многие предпочитают другой вариант — тот, который даёт больше шансов на идеальное попадание. К такому выводу пришёл автор нового исследования, опубликованного в журнале Management Science.

Работа ставит под сомнение один из ключевых принципов, на которых основаны современные системы прогнозирования, аналитические модели и алгоритмы искусственного интеллекта. Большинство таких систем создаётся для минимизации средней ошибки, однако исследование показывает, что люди оценивают качество прогнозов по совершенно иным критериям.

Автор исследования Беркли Дитворст из Школы бизнеса Бута Чикагского университета обнаружил, что для многих цель прогнозирования заключается не в том, чтобы ошибаться как можно меньше, а в том, чтобы оказаться правым.

По его словам, этот вывод может стать неожиданностью для специалистов, разрабатывающих системы предиктивной аналитики, поскольку они традиционно сосредоточены на снижении величины ошибок, а не на увеличении вероятности идеального прогноза.

Чтобы изучить особенности человеческого восприятия прогнозов, исследователь проанализировал результаты 16 отдельных экспериментов с различными типами задач. Участникам предлагали оценивать вероятности различных исходов и самостоятельно делать прогнозы.

Во многих случаях люди последовательно выбирали варианты, которые повышали шанс получить абсолютно точный результат, даже если альтернативные прогнозы обеспечивали меньшую ожидаемую ошибку с точки зрения статистики.

Исследование также показало, что люди воспринимают ошибки не так, как предполагают математические модели. Большинство статистических систем рассматривает увеличение ошибки как постепенный процесс: чем сильнее отклонение от реального результата, тем хуже прогноз. Однако психологическая реакция человека оказывается иной.

Учёный обнаружил, что наиболее резкое падение удовлетворённости происходит при переходе от абсолютно правильного ответа к слегка ошибочному. Если же прогноз уже оказался неверным, дальнейшее увеличение ошибки воспринимается значительно менее болезненно. Разница между «точно угадал» и «почти угадал» оказывается гораздо важнее, чем разница между умеренной и крупной ошибкой.

Авторы называют этот эффект убывающей чувствительностью к ошибке прогнозирования. После того как предсказание признано неправильным, каждая дополнительная единица ошибки оказывает всё меньшее влияние на оценку результата.

Полученные выводы имеют важное значение для технологий искусственного интеллекта, рекомендательных систем, бизнес-аналитики и других инструментов, использующих прогнозирование. Сегодня такие системы обычно оптимизируются по статистическим показателям, ориентированным на минимизацию средней ошибки. Однако пользователи могут воспринимать качество работы этих алгоритмов совершенно иначе.

По мнению исследователя, разработчикам необходимо учитывать реальные ожидания людей ещё на этапе проектирования прогнозных моделей. Если алгоритмы оптимизируются под цели, которые не совпадают с человеческими представлениями об успешном прогнозе, это может снижать доверие к технологиям и препятствовать их более широкому использованию.