研究解读 消费与决策 · arXiv 2611.22033
作者 Adi Krishnamoorthy 等
Thinking Harder Doesn't Lead to Better Choices: Reasoning Effort Increases the Confidence but Not the Correctness of LLM Shopping Agents
Daily Papers 收录于

研究者用来自 WebShop、Amazon 和 Wayfair 的材料构建三组任务,让模型根据文字与图片选择商品。在不同推理强度下,团队对照模型的选择、它给出的信心以及题目的正确答案,观察三者是否同向变化。

加大推理强度后,模型自报的信心有显著提升,选购质量却没有显示统计上显著的改善。多个模型有时还会挑中同一件错误商品。实验测量的是三套任务中的匹配能力;价格变化、售后体验等真实购买结果没有计入。

论文的 WebShop 图把成功率、自报把握和实际消耗的推理词元并排呈现,同一个模型会在相同题目上切换推理强度。另一个家居语料 WANDS 的商品只有文本,没有图片或价格。这也解释了为什么三个测试要分别报告,不能把每一组都描述成看图购物。

原始资料