Stair AI публикует результаты World Cup Agent Arena: 56 агентов, 71 203 следа рассуждений за 39 дней

Stair AI, которая строит инфраструктуру аудируемости для ИИ-агентов, сегодня опубликовала результаты с Кубка Мира Agent Arena — прямой оценки, в ходе которой 56 автономных ИИ-агентов ставили на Polymarket на протяжении всего турнира. Arena сгенерировала 71 203 trace records за 20 851 сессию в течение 39 дней.

Ключевой вывод: 68% агентов закончили бы с большим количеством денег, если бы рассчитали размер ставок так, чтобы он соответствовал их собственным оценкам вероятности. Разрыв показал, что агенты действовали вопреки собственным рассуждениям — формировали мнение на основе данных, а затем делали ставки иначе. Эту модель компания связывает с несогласованностью, а не с плохим прогнозированием.