LongReasonArena: A Long Reasoning Benchmark for Large Language Models

LONGREASONARENA相关总结与翻译

一、文章主要内容总结

1. 研究背景

现有大语言模型（LLMs）的长上下文基准测试（如LongBench、Needle-in-a-Haystack）多聚焦于长输入理解能力，却忽视了对长推理能力的评估；部分新兴长生成基准（如LongGenBench、GSM-Infinite）任务较简单，无法反映长推理过程的复杂性。同时，现有代码执行和程序合成相关基准也未以长推理能力评估为核心目标，难以满足LLMs长推理能力评测需求。

2. 基准测试集（LONGREASONARENA）构建

• 问题筛选：从LeetCode选取算法问题，排除“数据库”“随机化”等侧重实现技巧或难用LLMs模拟的类型，同时排除无返回值、涉及自定义类或浮点数（易有精度问题）的问题；核心问题聚焦回溯（选“深度优先搜索”“回溯”标签问题）和内存管理（选“动态规划”“广度优先搜索”标签问题）相关任务。
• 样本生成：用Qwen2.5-Coder-32B-Instruct生成输入生成器，要求其满足稳定性（持续生成有效输入）和覆盖性（输入覆盖解决方案代码），合格生成器需连续生成10个有效输入且代码覆盖率超90%；按解决方案代码执行行数划分难度等级，Level 1（10²-10⁴行，约1K推理 tokens）、Level 2（10⁴-10⁵行，约100K推理tokens）、Level 3（10⁵-10⁶行