AGI-Eval

1周前发布 1 00

微软研究院于2023年推出，是首个以人类标准化考试（如中国高考、美国SAT、法学院入学考试LSAT等）为基准的大模型评估系统

收录时间：

2025-03-25

AGI-Eval

AGI-Eval由微软研究院于2023年推出，是首个以人类标准化考试（如中国高考、美国SAT、法学院入学考试LSAT等）为基准的大模型评估系统。它通过8062道真实考题构建多维度评测框架，覆盖逻辑推理、阅读理解、数学计算等20项子任务，成为学术界与工业界检验模型类人能力的“黄金标准”。

功能模块	技术原理与实现	典型应用场景
多任务评估框架	集成20项考试数据集（如LSAT逻辑题、高考英语完形填空），采用零样本/少样本学习评测模型泛化能力	模型跨领域能力对比
复杂推理检测	基于LogiQA数据集（公务员考试题）构建约束条件分析模块，评估逻辑链条完整性	法律、金融领域模型筛选
学科知识图谱	融合52个学科超1.3万题（C-Eval基准），通过知识召回率指标检测模型知识盲区	教育类模型优化
动态评分系统	采用Elo评级算法（参考Chatbot Arena），实现模型能力动态排名	竞品分析报告生成
多模态兼容	支持Latex公式、向量图形（Asymptote）解析，扩展数学/工程问题评估边界	STEM领域模型专项测试

精准定位评测目标
• 场景适配：若测试逻辑能力，优先选择LSAT-LR子任务；评估中文特性则用高考语文数据集
• 数据增强：结合C-Eval学科题库（如临床医学、微积分）提升专项评测深度
结果深度解读
• 关注GPT-4在SAT数学（95%准确率）与高考英语（92.5%）的突破性表现
• 警惕模型在律师资格考试等需领域知识的任务中的表现波动

对比实验设计

# 示例：多模型对比模板  
1. 基础测试: AGIEval-v1标准题库  
2. 增强测试: 叠加LogiQA逻辑题+AMC数学竞赛题  
3. 输出分析: 生成能力雷达图（理解/知识/推理/计算维度）

👉 立即体验：AGI-Eval官网

暂无评论

暂无评论...