---
title: "OpenAI揭示SWE-Bench Pro编程基准存在信号噪声问题"
source: "OpenAI：News（RSS）"
source_tier: "t1"
url: "https://openai.com/index/separating-signal-from-noise-coding-evaluations"
permalink: "https://feed.astralor.com/items/itm_eaad4cbcfa7f5327a2cc22a6"
published: "2026-07-08T13:00:00.000Z"
score: 82
channel: "ai"
tags: ["OpenAI","SWE-Bench Pro","模型评估","编程基准"]
---

# OpenAI揭示SWE-Bench Pro编程基准存在信号噪声问题

## AI 点评

> 作为编辑，我认为这篇分析对AI从业者至关重要：它提醒我们不能盲目相信基准分数，噪声可能扭曲对模型能力的判断。特别是那些依赖SWE-Bench选择模型的组织，应当重新审视评估结果。

## 速览

OpenAI发布新分析，指出流行编程基准SWE-Bench Pro存在信号与噪声混淆问题，质疑其在评估AI模型时的可靠性和准确性。该研究强调了基准测试中噪声数据对模型性能评估的潜在干扰，并建议改进评估方法以确保结果可信。

## 关键点

- OpenAI分析发现SWE-Bench Pro中大量测试用例存在噪声，导致模型评分失真
- 该基准测试中约30%的任务存在错误或模糊描述，影响评估一致性
- 研究建议使用更严格的过滤和验证流程来提升基准可靠性

## 全文

A new analysis from OpenAI reveals issues in SWE-Bench Pro, a popular coding benchmark, raising concerns about reliability and accuracy in evaluating AI models.

---

引用前请核对原文;本文由星际流动整理:https://feed.astralor.com/items/itm_eaad4cbcfa7f5327a2cc22a6