AGIEval：準(zhǔn)確考察基礎(chǔ)模型類人能力的基準(zhǔn)評估工具

對基礎(chǔ)模型在處理人類任務(wù)時的一般能力做出準(zhǔn)確評估，已經(jīng)成為通用人工智能（AGI）開發(fā)和應(yīng)用領(lǐng)域的一大重要問題?；谌斯?shù)據(jù)集的傳統(tǒng)基準(zhǔn)往往無法準(zhǔn)確反映模型能力是否達到人類水平。

近日，微軟的一個華人研究團隊發(fā)布了一項新型基準(zhǔn)測試 AGIEval，這項基準(zhǔn)測試專門用于對基礎(chǔ)模型的類人能力做準(zhǔn)確考察（涵蓋高考、法學(xué)入學(xué)考試、數(shù)學(xué)競賽和律師資格考試等）。

該研究團隊使用此項基準(zhǔn)評估了當(dāng)前最先進的多個基礎(chǔ)模型，包括 GPT-4、ChatGPT 和 Text-Davinci-003 等。

令人印象深刻的是，GPT-4 在 SAT、LSAT 和數(shù)學(xué)競賽中的表現(xiàn)均超過人類平均水平，在 SAT 數(shù)學(xué)測試中達成 95% 的準(zhǔn)確率，在中國高考英語測試中準(zhǔn)確率亦達到 92.5%，證明了當(dāng)代基礎(chǔ)模型的非凡性能。

與之對應(yīng)，研究人員發(fā)現(xiàn) GPT-4，在需要復(fù)雜推理或涉及特定領(lǐng)域知識的任務(wù)中表現(xiàn)尚不理想。

通過對模型能力（理解、知識、推理和計算等）的全面分析，有助于揭示這些模型的優(yōu)勢和局限性，為增強其通用能力的未來發(fā)展方向提供支持。通過測試涉及人類認知和決策能力的任務(wù)，AGIEval 能夠?qū)A(chǔ)模型在現(xiàn)實場景中的性能做出更可靠、更有意義的評估。

測試中的全部數(shù)據(jù)、代碼和模型輸出均通過此 https URL（https://github.com/microsoft/AGIEval）發(fā)布。

AGIEval 項目介紹

AGIEval 是一項考察基礎(chǔ)模型類人能力的基準(zhǔn)測試，專門用于評估基礎(chǔ)模型在人類認知和問題解決相關(guān)任務(wù)中表現(xiàn)出的一般能力。

該基準(zhǔn)選取 20 種面向普通人類考生的官方、公開、高標(biāo)準(zhǔn)往常和資格考試，包括普通大學(xué)入學(xué)考試（中國高考和美國 SAT 考試）、法學(xué)入學(xué)考試、數(shù)學(xué)競賽、律師資格考試、國家公務(wù)員考試等等。

關(guān)于此基準(zhǔn)的完整描述，請參閱論文《AGIEval：準(zhǔn)確考察基礎(chǔ)模型類人能力的基準(zhǔn)評估工具》（https://arxiv.org/pdf/2304.06364.pdf）。

任務(wù)與數(shù)據(jù)

AGIEval v1.0 包含 20 項任務(wù)，具體為 2 項完形填空任務(wù)（高考數(shù)學(xué)）和 18 項多選題回答任務(wù)。在選擇題部分，高物理和 JEC-QA 部分對應(yīng)一個或多個正確答案，其余任務(wù)則僅有一個正確答案。

下表所示，為測試題目的完整列表。

可以在 data/v1 文件夾內(nèi)下載到除 JEC-QA 以外的所有后處理數(shù)據(jù)。關(guān)于 JEC-QA 部分，請前往 JEC-QA 網(wǎng)站獲取數(shù)據(jù)。

使用 JEC-QA 訓(xùn)練數(shù)據(jù)的前 1000 個實例作為測試集。所有數(shù)據(jù)集的數(shù)據(jù)格式如下：

{
    "passage": null,
    "question": "設(shè)集合 $A=\{x \mid x \geq 1\}, B=\{x \mid-1-1\}$",
        "(B)$\{x \mid x \geq 1\}$",
        "(C)$\{x \mid-1

	

	其中高考語言、高考英語、兩科 logiqa、全部 LSAT 和 SAT 均可使用 passage 字段。多選任務(wù)的答案保存在 label 字段內(nèi)。完形填空任務(wù)的答案保存在 answer 字段內(nèi)。

	我們還在 data/v1/few_shot_prompts 文件中提供了小樣本學(xué)習(xí)的提示詞。

	基線系統(tǒng)

	我們在 AGIEval v1.0 上評估了基準(zhǔn)系統(tǒng)的性能?；€系統(tǒng)基于以下模型：text-davinci-003、ChatGPT (gpt-3.5-turbo) 和 GPT-4。您可以按照以下步驟重現(xiàn)測試結(jié)果：

	1.在 openai_api.py 文件中填寫您的 OpenAI API 密鑰。

	2.運行 run_prediction.py 文件以獲取結(jié)果。

	模型輸出

	?您可以在 Onedrive 鏈接（https://1drv.ms/u/s!Amt8n9AJEyxcg8YQKFm1rSEyV9GU_A?e=VEfJVS）中下載到基線系統(tǒng)的零樣本、零樣本思維鏈、少樣本和少樣本思維鏈輸出。請注意，我們修復(fù)了 SAT-en 實例中的 52 處拼寫錯誤，并將很快發(fā)布更新后的數(shù)據(jù)集輸出。?

	評估

	您可以運行 post_process_and_evaluation.py 文件來獲取評估結(jié)果。

	引用

	如果您需要在研究中使用 AGIEval 數(shù)據(jù)集或代碼，請引用論文：

	
@misc{zhong2023agieval,
      title={AGIEval: A Human-Centric Benchmark for Evaluating Foundation Models},
      author={Wanjun Zhong and Ruixiang Cui and Yiduo Guo and Yaobo Liang and Shuai Lu and Yanlin Wang and Amin Saied and Weizhu Chen and Nan Duan},
      year={2023},
      eprint={2304.06364},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

	

	在使用時，請務(wù)必在您的論文中引用所有獨立數(shù)據(jù)集。我們提供以下引用信息：

	


@inproceedings{ling-etal-2017-program,
    title = "Program Induction by Rationale Generation: Learning to Solve and Explain Algebraic Word Problems",
    author = "Ling, Wang  and
      Yogatama, Dani  and
      Dyer, Chris  and
      Blunsom, Phil",
    booktitle = "Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    month = jul,
    year = "2017",
    address = "Vancouver, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/P17-1015",
    doi = "10.18653/v1/P17-1015",
    pages = "158--167",
    abstract = "Solving algebraic word problems requires executing a series of arithmetic operations{---}a program{---}to obtain a final answer. However, since programs can be arbitrarily complicated, inducing them directly from question-answer pairs is a formidable challenge. To make this task more feasible, we solve these problems by generating answer rationales, sequences of natural language and human-readable mathematical expressions that derive the final answer through a series of small steps. Although rationales do not explicitly specify programs, they provide a scaffolding for their structure via intermediate milestones. To evaluate our approach, we have created a new 100,000-sample dataset of questions, answers and rationales. Experimental results show that indirect supervision of program learning via answer rationales is a promising strategy for inducing arithmetic programs.",
}


@inproceedings{hendrycksmath2021,
  title={Measuring Mathematical Problem Solving With the MATH Dataset},
  author={Dan Hendrycks and Collin Burns and Saurav Kadavath and Akul Arora and Steven Basart and Eric Tang and Dawn Song and Jacob Steinhardt},
  journal={NeurIPS},
  year={2021}
}


@inproceedings{Liu2020LogiQAAC,
  title={LogiQA: A Challenge Dataset for Machine Reading Comprehension with Logical Reasoning},
  author={Jian Liu and Leyang Cui and Hanmeng Liu and Dandan Huang and Yile Wang and Yue Zhang},
  booktitle={International Joint Conference on Artificial Intelligence},
  year={2020}
}


@inproceedings{zhong2019jec,
  title={JEC-QA: A Legal-Domain Question Answering Dataset},
  author={Zhong, Haoxi and Xiao, Chaojun and Tu, Cunchao and Zhang, Tianyang and Liu, Zhiyuan and Sun, Maosong},
  booktitle={Proceedings of AAAI},
  year={2020},
}


@article{Wang2021FromLT,
  title={From LSAT: The Progress and Challenges of Complex Reasoning},
  author={Siyuan Wang and Zhongkun Liu and Wanjun Zhong and Ming Zhou and Zhongyu Wei and Zhumin Chen and Nan Duan},
  journal={IEEE/ACM Transactions on Audio, Speech, and Language Processing},
  year={2021},
  volume={30},
  pages={2201-2216}
}

	

	審核編輯 ：李倩