买球·(中国)APP官方网站！

跟着基础模子的快速发展和AI Agent插足限制化哄骗，被芜俚用于评估AI才气的基准测试（Benchmark）却靠近一个日益强横的问题：想要真确反应AI系统的客不雅才气正变得越来越宝贵，这其中最奏凯的发挥——基础模子“刷爆”了市面上的基准测试题库，纷纷在各大测试榜单上斩获高分以致满分。

因此，构建一个愈加科学、长效和反应AI客不雅才气的评测体系，正在成为带领AI时代突破与居品迭代的进攻需求。

5月26日，红杉中国晓谕推出全新的AI基准测试xbench，并发布论文《xbench: Tracking Agents Productivity, Scaling with Profession-Aligned Real-World Evaluations》。这是首个由投资机构发起，麇集国表里十余家顶尖高校和商酌机构的数十位博士商酌生，收受双轨评估体系和长青评估机制的AI基准测试。xbench将在评估和鼓舞AI系统才气擢升上限与时代范围的同期，重心量化AI系统在真确场景的效力价值，并恒久捕捉Agent居品的错误突破。

xbench基准测试的特质包括：

xbench收受双轨评估体系，构建多维度测评数据集，旨在同期追踪模子的表面才气上限与Agent的本体落地价值。该体系鼎新性地将评测任务分为两条互补的干线：（1）评估AI 系统的才气上限与时代范围；（2）量化AI 系统在真确场景的效力价值（Utility Value）。其中，后者需要动态对王人履行寰球的哄骗需求，基于本体责任历程和具体社会扮装，为各垂直领域构建具有明确业务价值的测评表率。

xbench 收受长青评估 （Evergreen Evalution）机制，通过捏续重视并动态更新测试内容 ，以确保时效性和联系性。xbench将依期测评市集主流Agent居品，追踪模子才气演进，捕捉 Agent居品迭代过程中的错误突破，进而瞻望下一个Agent 哄骗的时代-市集契合点（TMF，Tech-Market Fit)。行为零丁第三方，xbench奋勉于为每类居品想象公允的评估环境，提供客不雅且可复现的评价限度。

首期发布包含两个中枢评估集：科常识题解答测评集（xbench-ScienceQA）与汉文互联网深度搜索测评集（xbench-DeepSearch），并对该领域主要居品进行了轮廓名次。同期提议了垂直领域智能体的评测步伐论，并构建了面向招聘（Recruitment）和营销（Marketing）领域的垂类 Agent评测框架。

在曩昔两年多的时期里，xbench一直是红杉中国在里面使用的追踪和评估基础模子才气的器用，今天红杉将其公开并孝敬给扫数这个词AI社区。无论是基础模子和Agent的开辟者， 依然联系领域的大师和企业，大概是对AI评测具有浓厚敬爱的商酌者，xbench都迎接加入，成为使用并完善xbench的一份子，一王人打造评估AI才气的新范式。

xbench最早是红杉中国在2022年ChatGPT推出后，对AGI进度和主流模子进行的里面月评与呈报。在成立和束缚升级“特有题库”的过程中，红杉中国发现主流模子“刷爆”题主见速率越来越快，基准测试的有用时期在急剧裁减。恰是由于这一显耀变化，红杉中国对现存评估方式产生了质疑——

“当寰球纷纷考满分的时候，到底是学生变贤达了，依然卷子出了问题？”

因此，红杉中国开动念念考并准备处治两个中枢问题：

1）模子才气和AI本体效力之间的关系？基准测试的题目越出越难，真谛是什么？是否落入了惯性念念维？AI落地的本体经济价值确切会和AI作念难题呈正联系吗？

2) 不同期间维度上的才气比拟：在xbench每一次更换题库之后，咱们就失去了对AI才气的前后可比性追踪。因为在新的题库下，模子版块也在迭代，无法比拟不同期间维度上单个模子的才气如何变化。在判断创业样子的时候，创业者的“成长斜率”是一个进攻依据，但在评估AI才气上，题库的束缚更新却反而让判断失效。

为了处治这两个问题，xbench给出了新的解题念念路：

1) 禁锢惯性念念维，为履行寰球的实用性开辟新颖的任务成立和评估方式。

当AI插足“下半场”，不仅需要越来越难的AI Search才气的测试基准（AI Capabilities Evals），也需要一套对王人履行寰球大师的实用性任务体系（Utility Tasks）。前者磨砺的是才气范围，呈现款式是score，尔后者磨砺的实用性任务和环境各样性，交易KPIs（Conversion Rate, Closing Rate）和奏凯的经济产出。

因此，xbench引入了Profession Aligned的基准想法，接下来的评估会使用“双制度”，分为AGI Tracking和Profession Aligned，AI将靠近更多复杂环境下效力的磨砺，从业务中蚁集的动态题集，而不只是更难的才略题。

2）建立长青评估体系。静态评估集一朝面世，会出现题目暴露导致过拟合然后速即失效的问题，咱们将重视一个动态更新的题目推论评估集来缓解这一气候。

针对AI Capacity Evals：学术界提议了好多出色的步伐论，然而受限于资源与时期不充分，无法重视成动态推论的捏续评估。xbench但愿能不时一系列公开评估集的步伐，并提供第三方、是非盒、Live的评测。

针对Profession Aligned Evals：xbench但愿建立从真确业务中Live蚁集机制，邀请各行业的办事大师共同构建和重视行业的动态评估集。

同期，在动态更新的基础上，xbench想象可横向对比的才气商酌，用于在时期上不雅察到名次除外发展速率与错误突破的信号，匡助判断某个模子是否达到市集可落地阈值，以及在什么时期点上，Agent不错接受已有的业务历程，提供限制化办事。

在xbench推出今日，官网xbench.org上线了首期针对主流基础模子和Agent的测评限度。

红杉中国暗示：xbench迎接社区共建。关于基础模子与Agent开辟者，不错使用最新版块的xbench评测集来第一时期考证其居品效率，得到里面黑盒评估集得分；关于垂类Agent开辟者、联系领域的专科和企业，迎接与xbench共建与发布特定行业垂类表率的Profession Aligned xbench；关于从事AI评测商酌，具有明确商酌想法的商酌者，但愿赢得专科标注并恒久重视评估更新足球投注app，xbench不错匡助AI评估商酌想法落地并产滋恒久影响力。