Alan Hsu的 RSS 预览

📌

评测指标可以分为通用指标、任务特定指标和数据集特定指标。

通用指标（Generic metrics）：可以应用于多种任务和数据集的指标，如评估有标签的（监督式）数据集的精确度（precision）和准确度（accuracy）这样的指标，以及用于评估生成任务（无监督）的困惑度（perplexity）指标。

任务特定指标（Task-specific metrics）：这类指标限定于特定的任务。例如，机器翻译任务（Machine Translation）通常使用BLEU或ROUGE这样的指标进行评估，而命名实体识别（Named Entity Recognition）任务则常用seqeval指标进行评估。

数据集特定指标（Dataset-specific metrics）：某些数据集，例如GLUE和SQuAD有与之相关的特定评估指标。

1. 通用指标

accuracy 准确率 https://huggingface.co/spaces/evaluate-metric/accuracy

Precision 精确度https://huggingface.co/spaces/evaluate-metric/precision

Recall召回率https://huggingface.co/spaces/evaluate-metric/recall

F1分数https://huggingface.co/spaces/evaluate-metric/f1

ROCAUC https://huggingface.co/spaces/evaluate-metric/roc\\_auc

困惑度（perplexity）https://huggingface.co/spaces/evaluate-metric/perplexity

2. 任务特定指标

BLEU指标应用场景、计算方法https://huggingface.co/spaces/evaluate-metric/bleu

ROUGE https://github.com/huggingface/evaluate/blob/v0.4.3/metrics/rouge/

GoogleBLEUhttps://huggingface.co/spaces/evaluate-metric/google\_bleu

MAUVE https://github.com/huggingface/evaluate/blob/main/metrics/mauve/

seqevalhttps://github.com/huggingface/evaluate/blob/main/metrics/seqeval/

CodeEvalhttps://huggingface.co/spaces/evaluate-metric/code\_eval

3. 数据集特定指标

GLEU https://github.com/huggingface/evaluate/tree/main/metrics/glue

SQuAD https://github.com/huggingface/evaluate/tree/main/metrics/squad

4. 选择合适的指标

参考https://huggingface.co/docs/evaluate/choosing\_a\_metric

在选择评估指标时，需要考虑任务的特定需求。下面是寻找和选择合适指标的方法。这些方法包括查看任务相关的资源、参考排行榜、阅读指标卡片以及查阅最新的研究文献。

查看任务页面：你可以查看特定任务的页面（https://huggingface.co/tasks），了解哪些指标可以用来评估该任务的模型。

查看排行榜：你可以在像Papers With Code这样的网站上查看排行榜，这些网站允许你按任务和数据集进行搜索。在论文中，通常会有说明用到的评估指标。

阅读指标卡片：你可以阅读相关指标的指标卡片，看看哪些指标适合你的用例。例如，可以查看BLEU指标卡片或SQuAD指标卡片。或者查阅Github网站https://github.com/huggingface/evaluate/tree/main/metrics

查阅论文和博客文章：还可以查看发表的相关论文和博客文章，了解它们报告了哪些指标。由于指标可能会随时间变化，因此尽量挑选近几年的论文。

选择合适的指标

https://huggingface.co/docs/evaluate/choosing\\_a\\_metric

Pass@K

论文地址：https://arxiv.org/abs/2107.03374

工具地址：https://huggingface.co/spaces/evaluate-metric/code_eval

研究论文

《Evaluating Large Language Models Trained on Code》介绍了HumanEval数据集的构建方法和评估标准，以及如何使用这个数据集来测试和比较不同代码生成模型的性能。

评估工具

CodeEval工具可以方便地使用HumanEval数据集来评估和比较不同代码生成模型的性能。使用方法：

注意：国内需要配置链接huggingface的代理，否则会得到下面的报错。

requests.exceptions.ConnectionError: HTTPSConnectionPool(host='huggingface.co', port=443): Max retries exceeded with url: /api/spaces?filter=measurement (Caused by NewConnectionError('\<urllib3.connection.HTTPSConnection object at 0x7feea0e84190>: Failed to establish a new connection: \[Errno 60] Operation timed out'))

如果没有代理服务器，则需要将相关的metric script下载到本地。打开https://github.com/huggingface/evaluate/，下载 metrics 文件夹，放在测试脚本的目录下，并将evaluate.load()的参数由’code\_eval' 改为本地的目录’./metrics/code\_eval’

具体步骤如下：

加载评估工具：从 evaluate 库中加载 code_eval 评估工具。将会从huggingface下载，因此需要配置代理。

定义测试用例：指定一个或多个测试用例，用于验证候选代码片段的正确性。

定义候选代码：指定一个或多个候选代码片段，这些代码片段将被评估。

计算评估结果：调用 code_eval.compute 方法，传入测试用例和候选代码片段，计算 pass@k 评估结果。

打印评估结果：输出 pass@k 的评估结果，显示候选代码片段通过测试用例的情况。

code_eval.compute 方法的参数包括：

predictions：要评估的候选预测列表。每个候选预测应该是一个字符串列表，包含多个代码候选项。

references：每个预测对应的测试用例列表。每个测试应该评估一个代码候选项的正确性。

k：在评估中要考虑的代码候选项数量。默认值是\[1, 10, 100]。

num\_workers：用于评估候选程序的工作线程数（默认值是4）。

timeout：在被认为是“超时”之前，产生一个预测的最大时间。默认值是3.0（即3秒）。

注意：因为CodeEval工具会执行predictions中的代码，因此，强烈建议用户不要在没有强大安全沙箱的情况下这样做，避免带来安全风险。

\#############################################################################

!!!WARNING!!!

\#############################################################################

The "code\_eval" metric executes untrusted model-generated code in Python.

Although it is highly unlikely that model-generated code will do something

overtly malicious in response to this test suite, model-generated code may act

destructively due to a lack of model capability or alignment.

Users are strongly encouraged to sandbox this evaluation suite so that it

does not perform destructive actions on their host or network. For more

information on how OpenAI sandboxes its code, see the paper "Evaluating Large

Language Models Trained on Code" (https://arxiv.org/abs/2107.03374).

Once you have read this disclaimer and taken appropriate precautions,

set the environment variable HF\_ALLOW\_CODE\_EVAL="1". Within Python you can to this

with:

\>>> import os

\>>> os.environ\["HF\_ALLOW\_CODE\_EVAL"] = "1"

\#############################################################################

上面代码将会输出pass\_at\_k：{'pass@1': 0.5, 'pass@2': 1.0}，这是因为：

pass@1 为 0.5：这意味着在前 1 个候选代码片段中，只有 50% 的代码片段通过了测试用例。具体来说，def add(a, b): return a+b 通过了测试用例 assert add(2,3)==5，而 def add(a, b): return a*b 没有通过。

pass@2 为 1.0：这意味着在前 2 个候选代码片段中，有 100% 的代码片段通过了测试用例。具体来说，虽然 def add(a, b): return a*b 没有通过，但 def add(a, b): return a+b 通过了，所以整体上 100% 的候选代码片段通过了测试用例。

上面代码将会输出results：

F1

https://huggingface.co/spaces/evaluate-metric/f1

【机器学习】一文读懂准确率、精确率、召回率、F1分数、ROC-AUC都是什么\_机器学习\_十了个九-GitCode 开源社区

Bleu

https://huggingface.co/spaces/evaluate-metric/bleu

BLEU（Bilingual Evaluation Understudy）是一种用于评估机器将一种自然语言翻译成另一种自然语言后文本质量的算法。“机器翻译越接近专业人类翻译，质量就越好”。

BLEU的评分方式

BLEU分数是针对单个翻译片段（通常是句子）计算的，通过将它们与一组高质量的参考翻译进行比较得出。

然后，这些分数在整个语料库上平均，以估计翻译的整体质量。

BLEU不考虑可理解性或语法正确性。

网页版计算工具

可以用HuggingFace网站提供的网页版计算工具：https://huggingface.co/spaces/evaluate-metric/bleu

输入数据：

predictions：这是一个包含预测句子的列表，这些句子是机器翻译系统生成的。

references：这是一个包含参考译文列表的列表，每个预测句子可以对应多个参考译文。

输出结果：

bleu：BLEU分数，这是一个介于0和1之间的值，值越高表示翻译质量越好。

precisions：n-gram精确度的几何平均值，这是一个列表，包含了不同n-gram顺序下的精确度。

brevity_penalty：简洁性惩罚，用于处理预测句子比参考译文短的情况。

length_ratio：长度比，即预测句子长度与参考译文长度的比值。

translation_length：翻译长度，即预测句子的长度。

reference_length：参考长度，即参考句子的长度。

用Evaluate包计算

需要安装evaluate包。

计算代码：

📢注意：evaluate.load需要重huggingface下载脚本，所以一定要配置proxy，否则会连不上huggingface.co

requests.exceptions.ConnectionError: HTTPSConnectionPool(host='huggingface.co', port=443): Max retries exceeded with url: /api/spaces?filter=measurement (Caused by NewConnectionError('\<urllib3.connection.HTTPSConnection object at 0x7feea0e84190>: Failed to establish a new connection: \[Errno 60] Operation timed out'))

另外解决办法：

将相关的metric script下载到本地。具体方法是打开https://github.com/huggingface/evaluate/，下载 metrics 文件夹，放在测试脚本的目录下，并将evaluate.load()的参数改为本地的测试脚本目录，例如’./metrics/bleu’

参数

完整参数参考这里https://github.com/huggingface/evaluate/blob/main/metrics/bleu/bleu.py

tokenizer：用于标准化预测句子和参考句子的方法。默认是tokenizer_13a，这是一种相对简单的标记化方法，但等同于WMT（Workshop on Machine Translation）使用的mteval-v13a。可以替换为其他标记化方法，例如NLTK的word_tokenize()或Tokenizers库的预训练标记器。

max_order：计算BLEU分数时使用的最大n-gram顺序，默认为4。

smooth：是否应用Lin et al.2004平滑方法，默认为False。

输出：

输出的BLEU分数计算结果，包括BLEU分数、精确度、简洁性惩罚、长度比、翻译长度和参考长度。

bleu(float)：BLEU得分是一个浮点数，表示翻译文本与参考文本的相似度。BLEU得分总是在0到1之间，0表示完全不相似，1表示完全相同。

precisions(list of float s)：n-gram精确度的几何平均值，这里n-gram指的是文本中的连续n个词的组合。

brevity\_penalty(float)：简短性惩罚，用于处理翻译文本比参考文本短的情况。

length\_ratio(float)：长度比，即翻译文本长度与参考文本长度的比值。

translation\_length(int)：翻译文本的长度，以词为单位。

reference\_length(int)：参考文本的长度，以词为单位。

recall

https://huggingface.co/spaces/evaluate-metric/recall

precision

https://huggingface.co/spaces/evaluate-metric/precision

accuracy

https://huggingface.co/spaces/evaluate-metric/accuracy

roc_auc

https://huggingface.co/spaces/evaluate-metric/roc_auc

ROUGE

https://github.com/huggingface/evaluate/blob/v0.4.3/metrics/rouge/README.md

ROUGE（Recall-Oriented Understudy for Gisting Evaluation）是一种广泛使用的评估自动文摘和机器翻译质量的指标，它通过比较自动生成的摘要或翻译与一组参考摘要（通常是人工生成的）之间的重叠度来评估质量。ROUGE 的不同变体（如 ROUGE-N、ROUGE-L、ROUGE-S 等）针对不同的评估需求和场景进行了优化，使得 ROUGE 成为一个灵活且强大的评估工具。

需要注意的是，ROUGE 是不区分大小写的，意味着大写字母和对应的小写字母被视为相同。

应用场景

以下是 ROUGE 的一些具体应用场景：

自动文摘：

评估生成的摘要与原文的相关性和完整性。ROUGE 指标可以帮助确定自动文摘系统是否能够捕捉到原文的关键信息，并以简洁的方式表达出来。

机器翻译：

比较机器翻译的输出与源语言原文的贴切程度，帮助提升翻译系统的性能。ROUGE 可以量化翻译结果与原文之间的相似度，尤其是在保持原文主旨和关键信息方面。

文本生成：

在 AI 创作领域，ROUGE 可用于评估模型生成的文本质量。这包括但不限于聊天机器人的回复生成、内容创作等场景，以确保生成的文本与预期的输出具有较高的一致性。

信息检索：

衡量搜索引擎的检索结果与用户的查询语句的相关性。ROUGE 可以帮助评估搜索引擎返回的结果是否与用户的查询意图高度相关。

单文档摘要：

对于从单一文档中生成的摘要，ROUGE 可以评估摘要是否包含了文档中的关键信息，并且是否与文档内容保持一致。

多文档摘要：

在处理多个文档并生成一个综合摘要的场景中，ROUGE 可以用来评估摘要是否综合了多个文档的关键信息，尤其是在去停用词条件下。

短摘要评估：

对于短摘要，ROUGE 可以评估摘要是否简洁且有效地传达了主要信息。

ROUGE 的不同变体（如 ROUGE-N、ROUGE-L、ROUGE-S 等）针对不同的评估需求和场景进行了优化，使得 ROUGE 成为一个灵活且强大的评估工具。

使用 Evaluate 包计算

Evaluate 包的这个指标是基于 Google Research 对 ROUGE 的重新实现的一个包装器。Google Research 对 ROUGE 的重新实现在这里 https://github.com/google-research/google-research/tree/master/rouge。

最简模式

输入一组预测结果和一组参考值即可。

predictions(list)：预测结果的列表，每个预测是一个由空格分隔的字符串。

references(list or list[list])：每个预测的参考文本列表，或者每个预测有多个参考文本的列表，每个参考文本也是一个由空格分隔的字符串。

📢注意：evaluate.load 需要重 huggingface 下载脚本，所以一定要配置 proxy，否则会连不上 huggingface.co

requests.exceptions.ConnectionError: HTTPSConnectionPool(host='huggingface.co', port=443): Max retries exceeded with url: /api/spaces?filter=measurement (Caused by NewConnectionError('\<urllib3.connection.HTTPSConnection object at 0x7feea0e84190>: Failed to establish a new connection: \[Errno 60] Operation timed out'))

另外解决办法：

将相关的 metric script 下载到本地。具体方法是打开 https://github.com/huggingface/evaluate/，下载 metrics 文件夹，放在测试脚本的目录下，并将 evaluate.load（）的参数改为本地的测试脚本目录，例如’。/metrics/bleu’

结果会返回一个字典，包含了 rouge1、rouge2、rougeL 和 rougeLsum 四种不同的 rouge 分数。ROUGE 值范围为 0 到 1。

自定义分词器

还可以传递一个自定义的分词器，这对于非拉丁语系的语言尤其有用。

这里的“分词器”（tokenizer）是指一种将文本分割成单词、短语或其他有意义的部分的程序或函数。在处理自然语言时，分词是文本预处理的一个重要步骤。对于非拉丁语系的语言，比如中文、阿拉伯语等，由于它们的文字系统和语言结构与拉丁语系（如英语、西班牙语等）不同，因此可能需要特定的分词器来正确处理文本。自定义分词器可以针对这些语言的特点进行优化，以提高分词的准确性和效率。例如，使用中文的 jieba 分词器。

多个参考文本

rouge 评估器可以处理每个预测对应多个参考文本的情况。在这种情况下，references 是一个二维列表，每个子列表对应一个预测的多个参考文本。

compute 完整参数：https://github.com/huggingface/evaluate/blob/main/metrics/rouge/rouge.py

rouge_types(list)：要计算的 ROUGE 类型列表，默认为['rouge1','rouge2','rougeL','rougeLsum']。

"rouge1"：字词级别，基于 1-gram（单字）的评分。
"rouge2"：字词级别，基于 2-gram（双字）的评分。
"rougeL"：句子级别，\<font style="color:rgba（0， 0， 0， 0.85）；">ROUGE 计算两段文本之间的最长公共子序列（LCS），忽略换行符。\</font>
"rougeLSum"：摘要级别，使用"\n"换行符分割文本。\<font style="color:rgba(0, 0, 0, 0.85);">ROUGE 会计算每对参考段落和候选锻炼之间的最长公共子序列（LCS），并且计算所谓的联合最长公共子序列（union-LCS）。\</font>

use_aggregator(boolean)：默认为 True。

如果use_aggregator=False，输出是一个字典，每个 ROUGE 类型对应一个分数列表，每个句子对应一个分数。
如果use_aggregator=True，输出是一个字典，每个 ROUGE 类型对应一个聚合分数。

use_stemmer(boolean)：如果为 True，则使用 Porter 词干提取器去除单词后缀，默认为 False。

举个例子，如果rouge_types=['rouge1', 'rouge2']且use_aggregator=False，输出将是：

这意味着对于rouge1类型，两个句子的评分分别是 0.6666 和 1.0；对于rouge2类型，两个句子的评分分别是 0.0 和 1.0。

当use_aggregator=True时，输出格式与上面不同，不再是列表，而是直接给出每个 ROUGE 类型的聚合分数。例如，如果rouge_types=['rouge1', 'rouge2']且use_aggregator=True，输出将是：

这意味着对于rouge1和rouge2类型，聚合后的评分都是 1.0。

最后，这段话还提到 ROUGE 值的范围是 0 到 1，其中 0 表示没有重叠，1 表示完全匹配。

1. 工具架构

https://lmarena.ai/ https://modelscope.cn/studios/opencompass/CompassArena/summary?fullScreen=1

模型层：大模型评测所涉及的主要模型种类，OpenCompass以基座模型和对话模型作为重点评测对象。

基座模型：一般是经过海量的文本数据以自监督学习的方式进行训练获得的模型（如OpenAI的GPT-3，Meta的LLaMA），往往具有强大的文字续写能力。
对话模型：一般是在的基座模型的基础上，经过指令微调或人类偏好对齐获得的模型（如OpenAI的ChatGPT、上海人工智能实验室的书生·浦语），能理解人类指令，具有较强的对话能力。

能力层：OpenCompass从通用能力和特色能力两个方面来进行评测维度设计。在模型通用能力方面，从语言、知识、理解、推理、安全等多个能力维度进行评测。在特色能力方面，从长文本、代码、工具、知识增强等维度进行评测。

方法层：OpenCompass采用客观评测与主观评测两种评测方式。客观评测能便捷地评估模型在具有确定答案（如选择，填空，封闭式问答等）的任务上的能力，主观评测能评估用户对模型回复的真实满意度，OpenCompass采用基于模型辅助的主观评测和基于人类反馈的主观评测两种方式。

工具层：支持自动化地开展大语言模型的高效评测。包括分布式评测技术，提示词工程，对接评测数据库，评测榜单发布，评测报告生成等诸多功能。

2. 评估指标

目前 OpenCompass 中，常用的 Evaluator 主要放在 opencompass/openicl/icl_evaluator文件夹下，还有部分数据集特有指标的放在 opencompass/datasets 的部分文件中，具体参考这里。

评估标准配置一般放在数据集配置文件中，即 xxdataset\_eval\_cfg 的evaluator参数。

3. 评测流程

在 OpenCompass 中评估一个模型通常包括以下几个阶段：配置 -> 推理 -> 评估 -> 可视化。

配置：这是整个工作流的起点。您需要配置整个评估过程，选择要评估的模型和数据集。此外，还可以选择评估策略、计算后端等，并定义显示结果的方式。

推理与评估：在这个阶段，OpenCompass 将会开始对模型和数据集进行并行推理和评估。推理阶段主要是让模型从数据集产生输出，而评估阶段则是衡量这些输出与标准答案的匹配程度。这两个过程会被拆分为多个同时运行的“任务”以提高效率，但请注意，如果计算资源有限，需要调整 --max-partition-size 的设置。

可视化：评估完成后，OpenCompass 将结果整理成易读的表格，并将其保存为 CSV 和 TXT 文件。你也可以激活飞书状态上报功能，此后可以在飞书客户端中及时获得评测状态报告。

4. 准备评测环境

需要先安装conda：

M1 mac安装conda：

https://github.com/conda-forge/miniforge/?tab=readme-ov-file#download

安装面向开源模型的GPU环境：

或者，安装面向API模型的CPU环境：

安装 OpenCompass

如果需要评测API模型，请 pip install -r requirements/api.txt 安装API模型的相关依赖。

5. 准备评测集

OpenCompass 支持的数据集主要包括三个部分：

Huggingface 数据集： Huggingface Dataset 提供了大量的数据集，这部分数据集运行时会自动下载。

ModelScope 数据集：ModelScope OpenCompass Dataset 支持从 ModelScope 自动下载数据集，需要设置环境变量：export DATASET_SOURCE=ModelScope。

OpenCompass 还提供了一些第三方数据集及自建中文数据集。在 OpenCompass 项目根目录下运行下面命令，将数据集准备至 ${OpenCompass}/data 目录下：

如果需要使用 OpenCompass 提供的更加完整的数据集 (\~1.79G)，可以使用下述命令进行下载和解压：

configs/datasets 目录下的结构，如下所示：

数据集配置文件名由以下命名方式构成 {数据集名称}_{评测方式}_{prompt版本号}.py。configs/datasets/ceval/ceval_gen_2daf24.py为例，配置文件则为全面的中文基础模型评估套件的 C-Eval 数据集，对应的评测方式为 gen，即生成式评测，对应的prompt版本号为 2daf24；

同样的， ceval_ppl_1cd8bf.py指评测方式为ppl即判别式评测，prompt版本号为 1cd8bf 。

除此之外，不带版本号的文件，例如： ceval_gen.py 则指向该评测方式最新的prompt配置文件，通常来说会是精度最高的prompt。

以 PIQA 数据集配置文件configs/datasets/piqa/piqa_gen_1194eb.py为示例，展示数据集配置文件中各个字段的含义。

6. 评测开源模型

OpenCompass 初体验，新手如何跑通第一个模型评测-CSDN博客

对于开源模型，OpenCompass 默认直接使用 HuggingFace model ID 从 hf 上下载开源模型和权重，对于一些无法访问外网的机器，这里很容易网络连接失败。这种情况下，可以先通过 ModelScope 下载待评测的模型。

这里以基座模型 InternLM2-1.8B 和对话模型 Qwen2-1.5B-Instruct 在 GSM8K 数据集上的评估为例。

基座模型 InternLM2-1.8B 在 GSM8K 数据集上进行评估

从huggingface下载模型：

或者从 ModelScope 下载模型：

修改模型配置文件configs/models/hf_internlm/hf_internlm2_1_8b.py

将 path 替换为本地模型目录即可。并设置 tokenizer\_path 和path参数一样。

创建评估文件configs/eval_internlm2_1_8b.py，其中设置好datasets和models：

运行评估：

更多参数参考这里。从输出看internlm2-1.8b模型在gsm8k数据集的得分为29.80分，最终的评测结果会保存在 outputs/default/下面：

要想同时评估多个数据集，则可以在read_base同时导入多个数据集，并通过+将多个数据集拼接起来传给datasets参数。同理要想同时评估多个模型，也是在read_base同时导入多个模型，并通过+将多个模型拼接起来传给models参数。

可能得报错Error: mkl-service + Intel(R) MKL: MKL\_THREADING\_LAYER=INTEL is incompatible with libgomp.so.1 library.

解决办法：https://stackoverflow.com/questions/66932956/python-mkl-threading-layer-intel-is-incompatible-with-libgomp-so-1-library pip install -U numpy==1.25

对话模型 Qwen2-1.5B-Instruct 在 GSM8K 和 MATH 数据集上的评估

下载模型

修改模型配置文件configs/models/qwen/hf_qwen2_1_5b_instruct.py

创建评估文件configs/eval_qwen2_1_5b_instruct.py，其中设置好datasets和models：

demo_gsm8k_chat_gen的内容：

demo_math_chat_gen的内容

执行评测python run.py configs/eval_qwen2_1_5b_instruct.py --debug，输出：

7. 评测基于API的模型

OpenCompass内置支持的API大模型可以从这里看到。OpenCompass将支持的API模型在opencompass.models进行了封装了。

这里以评估qwen大模型API为例，学习如何使用opencompass调用模型API进行评测。QWen的API已经封装在了opencompass/models/qwen_api.py里面，我们只需要配置QWen API评测文件configs/api_examples/eval_api_qwen.py即可，修改其中如下参数：

path表示的是qwen系列大模型的名称。

key是调用qwen大模型API的api-key。

datasets配置评测数据集。

work_dir 配置推理和评估的结果存储路径。

然后执行评估命令：

在正常模式下，评估任务将在后台执行。

-mode all：指定任务的特定阶段。

评测进行大概执行了1个小时10分钟，其中推理花了1个半小时，评估花了10分钟。花了我40块钱\~\~\~。

推理过程的输出：

评估过程的输出：

评估之后的输出为：

评估结果保存至configs/api_examples/eval_api_qwen.py配置的work_dir里面。结构如下：

如果在 {WORKDIR} 中已经有模型输出，则指定为 eval 仅运行评测，获得评测结果；如果在 results/ 中已有单项评测结果，则指定为 viz 仅运行可视化；

r: 重用已有的推理结果。如果后面跟有时间戳，则会复用工作路径下该时间戳的结果；否则则复用指定工作路径下的最新结果。

8. 评测自定义API模型

参考：：https://mp.weixin.qq.com/s/rpvV0PeHVueiPITVCIzJjg

目前OpenCompass已经支持的模型有 HF 模型、部分模型 API 、部分第三方模型。如果想支持更多的模型需要自定义扩展，OpenCompass提供了两种自定义的方式：

新增API模型

新增开源模型

NIOGPT平台作为蔚来大模型服务平台，上面部署了很多大模型，并通过API的方式对外提供服务。我们这里就以新增NIOGPT平台上的API模型为例，看下如何对OpenCompass进行扩展。

根据NIOGPT平台的接口定义，调用NIOGPT模型的方法如下：

第一步，根据上述方法定义API模型opencompass/models/niogpt_api.py，这一步我们可以参考OpenCompass已经支持的API模型，例如参考opencompass/models/qwen_api.py文件。继承 BaseAPIModel，并实现 generate 方法来进行推理，推理方法参考askChatGPTAgent。

同时修改opencompass/models/__init__.py，在文件中增加刚刚新增的NIOGPT的导出，新增代码如下：

这样一个自定义的API模型就完成了。

第二步，定义配置文件，在configs/api_examples目录下新建eval\_api\_niogpt.py，文件内容如下：

在配置文件中，我们可以设置它的测试集datasets，models的path参数设置相应的大模型名称，key参数设置成大模型调用的API的API-KEY，同时还可以通过work\_dir来设置测试结果输出的目录。

这样，在项目根目录下执行如下命令就可以开始评测了：

当query\_per\_second=1时，评测：100%|██████████| 165/165 \[36:38<00:00, 13.32s/it]

当query\_per\_second=2时，评测：100%|██████████| 165/165 \[29:04<00:00, 10.57s/it]

9. 基于LLM的主观评测

前面主要介绍了大模型的客观评测，但是客观评测面临以下几个重要问题：

题型固化，以选择题、填空题为主，与模型的真实应用场景有差异；

评测使用的测试集会可能被下一代模型的预训练或者微调，导致客观评测失真

各数据集的数据分布相对固定，导致结果和排名的差异

中心化的评测导致评测结果的透明度、可信度相对较低

为了解决客观评测的这些问题，主观评测具有以下优点：

评测数据形式多样

评测数据来自真实用户

评测是分布式的，评测结果相对可信

流行的评估方法主要有:

Compare模式：将模型的回答进行两两比较，以计算对战其胜率。

Score模式：针对单模型的回答进行打分（例如：Chatbot Arena）。

主观评测旨在评估模型在符合人类偏好的能力上的表现。这种评估的黄金准则是人类喜好，但标注成本很高。

为了探究模型的主观能力，OpenCompass采用了JudgeLLM作为人类评估者的替代品（LLM-as-a-Judge）。基于以上方法支持了JudgeLLM用于模型的主观能力评估。

主观评测的具体流程包括:

评测数据集准备

使用API模型或者开源模型进行问题答案的推理

使用选定的评价模型(JudgeLLM)对模型输出进行评估

对评价模型返回的预测结果进行解析并计算数值指标

类似于已有的客观评测方式，可以在configs/eval_subjective.py中进行相关配置。

第一步，配置数据集，目前默认支持的数据集有：

第二步，设置待评测模型，需要设置do_sample的方式进行推理而不是greedy。

这里介绍一下do_sample和greedy两种不同的解码或生成策略：

Greedy Decoding（贪婪解码）:

在贪婪解码中，模型在每个时间步都会选择概率最高的输出。换句话说，它在生成序列时总是选择当前最有可能的下一个元素。

这种方法简单且计算效率高，但可能会导致结果缺乏多样性，有时也可能会陷入局部最优，而不是全局最优。

Sampling（采样）:

采样是一种更灵活的生成策略，它在每个时间步都会根据概率分布进行随机选择。"do\_sample"通常是一个参数，当设置为True时，指示模型使用采样方法进行生成。

采样可以增加结果的多样性，有时能够避免贪婪解码中的一些问题，如生成过于单调或重复的模式。

采样方法通常包括：

均匀采样：从概率分布中均匀地选择下一个元素。
类别采样：根据类别的概率分布进行采样，常用于处理类别不平衡的数据集。
Top-k采样：只考虑概率最高的k个元素进行采样。
Top-p采样（Nucleus Sampling）：从累积概率超过某个阈值p的最小集合中采样，这个集合称为核（nucleus）。

在进行主观评测时，可能需要模型生成更多样化和创造性的结果，因此使用采样方法而不是贪婪解码。而在客观评测中，可能会使用贪婪解码，因为它生成的结果是确定性的，便于评估和比较。

例如，在自然语言处理中，使用采样方法可以生成更自然、更少重复的文本；而在机器翻译或文本摘要任务中，贪婪解码可能会生成更流畅但可能缺乏创造性的文本。

第三步，配置judgemodel，通常被设置为GPT4等强力模型，可以直接按照config文件中的配置填入自己的API key，或使用自定义的模型作为judgemodel

除了基本参数以外，还可以在config中修改infer和eval字段里的partitioner，从而设置更合适的分片方式，目前支持的分片方式主要有三种：NaivePartitoner, SizePartitioner和NumberWorkPartitioner 以及可以指定自己的workdir用以保存相关文件。

最后，启动评测

自定义主观评测集

https://opencompass.readthedocs.io/zh-cn/latest/advanced\\_guides/subjective\\_evaluation.html#id7

10. 支持新数据集

在 opencompass/datasets 文件夹新增数据集脚本 mydataset.py, 该脚本需要包含：数据集及其加载方式，需要定义一个 MyDataset 类，实现数据集加载方法 load，该方法为静态方法，需要返回 datasets.Dataset 类型的数据。参考：opencompass/datasets/ceval.py

（可选）定义评测器类 MyDatasetlEvaluator ，实现评分方法 score，需要根据输入的 predictions 和 references 列表，得到需要的字典。参考opencompass/openicl/icl_evaluator/。

（可选）定义后处理方法 mydataset_postprocess 方法，根据输入的字符串得到相应后处理的结果。

配置文件中应用自定义数据集、评估器和数据后处理方法。参考configs/datasets/ceval/ceval_gen_5f30c7.py

11. 探究评测提示词

在 OpenCompass 中，数据集需要转换为一系列的提示词输入给大模型，这个过程是由模板 (template) 来定义的。 template 拆分为两部分：数据侧的 template 和模型侧的 template。在测评模型时，数据会先后经过数据和模型侧的 template，最终转化为模型所需的输入。

数据侧的 template 被称为 prompt\_template，它表示了把数据集的字段转化成提示词的过程。

模型侧的 template 被称为 meta\_template，它表示了模型将这些提示词转化为自身期望的输入的过程。

我们另外还提供了一些思维链的 prompt 示例。

Prompt构建策略

OpenCompass 将 prompt 的构建策略定义在了数据集配置中的 infer_cfg 部分。以configs/datasets/mmlu/mmlu_gen_4d595a.py中的mmlu_infer_cfg为例，如下所示：

运行时，花括号{}内的字段会被替换成数据样本内的对应字段。如果数据样本中没有对应的字段，则会保持原样输出。

在 OpenCompass 中，对于 0-shot 的评测，我们通常只需要定义 prompt_template 字段，即可完成 prompt 的构造。但对于 few shot 的评测，我们还需要定义 ice_template 字段，管理上下文学习中样例所对应的 prompt 模板。

Prompt模板

mmlu\_infer\_cfg是对话式模板，其中prompt 是以不同角色 role 的对话为形式进行组织的。在当前 OpenCompass 的预定义数据集配置中，一个 prompt 中常有的角色有：

HUMAN：人类，通常为提问的一方

BOT：语言模型，通常为回答的一方

SYSTEM：系统，通常用在提示词的开头，负责下达指令。

对话式模板更加灵活（相对于字符串模板），它可以结合模型侧不同的 meta\_template 生成不同对话形式的提示词，同时适用于基座和对话模型。更多的对话式模板的例子可以参考这里。

推理方式不同Prompt模板不同

OpenCompass 中主要支持了两种 Infernecer：GenInferencer 和 PPLInferencer，它们对应着两种不同的推理方式。

GenInferencer 对应生成式的推理。在推理时，模型被要求以输入的提示词为基准，继续往下续写。此时，template 则单一地表示这一句话对应的模板，例如：configs/datasets/gsm8k/gsm8k_gen_1d7fe4.py

而 PPLInferencer 对应判别式推理。在推理时，模型被要求计算多个输入字符串各自的混淆度 (PerPLexity / ppl)，并将其中 ppl 最小的项作为模型的推理结果。此时 template 是一个 dict，表示每一句话所对应的模板，例如configs/datasets/ceval/ceval_ppl_1cd8bf.py

此时模型的推理结果将会是 template 的四个 key 之一 (“A” / “B” / “C” / “D”)

Meta Template

Meta Template 与模型的配置相绑定，在运行时与数据集的对话式模板相结合，最终产生最适合当前模型的 prompt。

下图展示了在语言模型上，数据从数据集中经过 prompt template 和 meta template，最终构建出 prompt 的几种情况。

在对话开始或结束时嵌入其它字符串，如系统指令，可以在meta\_template中通过指定 begin 和 end 参数指定这些字符串。

如果数据集中引入 SYSTEM 级别的角色，且模型同样接受 SYSTEM 这个角色，可以把 SYSTEM 角色的定义放进 meta\_template的reserved_roles 中。

meta\_template 是一个字典，该字典可以包含以下数个字段：

begin，end ：(str，可选) prompt 的开头和结尾，通常是一些系统级别的指令。

round：(list) 每一轮对话的模板格式。每轮对话的 prompt 内容由数据集配置的对话式模板控制。

reserved_roles:（list，可选）指定 round 中并未出现，但有可能在数据集配置中用到的的预留角色，例如 SYSTEM 角色。

eos_token_id:（int, 可选）：指定了该模型的 eos token 的 id。如果不设置，则默认为 tokenizer 中的 eos token id。它的主要作用是在生成式任务中，截取模型的输出结果，因此一般应该被设置为 generate=True 的项所对应的 end 的第一个 token id。

meta\_template 的 round 指定了一轮对话中每个角色说话的格式，接受一个字典组成的列表，每个字典的关键字如下：

role（str）: 参与对话的角色名，该字符串并不影响实际的 prompt。

begin, end (str): 指定该角色在说话时的固定开头或结尾。

prompt (str)：角色的 prompt。在 meta template 中允许留空，但此时必须在数据集配置的 prompt 中指定。

generate (bool): 指定为 True 时，该角色即为模型扮演的角色。在生成任务中，模型接收到的 prompt 会截止到该角色的 begin 处，剩下的内容由模型补全。

在某些情况下（例如对基座的测试），我们并不需要在正常对话中注入任何的指令，此时我们可以将 meta template 置空。在这种情况下，模型接收到的 prompt 仅由数据集配置定义，是一个普通的字符串。若数据集配置使用的是对话式模板，不同角色的发言将会由 \n 拼接而成。

API 模型的 meta template 与普通模型的 meta template 类似，但配置更为简单。用户可以根据情况，直接使用下面的两种配置之一，即可以多轮对话的方式评测 API 模型：

下图展示了 API 模型接受的输入与 Prompt Template 、Meta Template 之间的关系。 OpenCompass 为 API 模型预设了三个 api_role：HUMAN, BOT, SYSTEM，API 模型会将对话重新以多轮对话格式打包，发送至后端。但要激活此功能，需要用户使用上面的 meta template 中把数据集 prompt 模板中的角色 role 映射到对应的 api_role 中。

如果需要调试 prompt，建议在准备好配置文件后，使用 tools/prompt_viewer.py 脚本预览模型实际接收到的 prompt。

12. 视频课程

"https://player.bilibili.com/player.html?bvid=1Gg4y1U7uc&vd_source=7afb44332c571a8a5bfa5acec59995b0"

"https://player.bilibili.com/player.html?bvid=1B142117hU&spm_id_from=333.337.search-card.all.click&vd_source=7afb44332c571a8a5bfa5acec59995b0"

🎒

离开乏味的皮囊，自由的灵魂在路上

Name: Alan Hsu

Tag: 随感、技术、经验、旅行、推荐、生活、音乐、电影 etc.

Email：xulanzhong521gmail.com

Twitter：@AlanHsu521

Telegram：@AlanHsu521

WeChat: Alan_Hsu_521

Github: https://github.com/xsoway/

Blog: https://xmylog.com

8大重点通用能力	29项核心任务	100+评测数据集
语言理解	信息抽取、意图识别、情感分析、内容总结、内容评价、多语言翻译、中华传统文化理解、中文语义理解、多轮对话	ㅤ
知识准确度	生活常识、自然科学(理科)、自然科学(工科)、社会科学、人文科学	ㅤ
逻辑推理	逻辑推理、常识推理	ㅤ
创意生成	内容扩写、内容续写、内容改写	ㅤ
数学解题	初等数学、中等数学、高等数学	ㅤ
代码编写	代码生成、代码分析	ㅤ
长文本处理	长文本理解与推理、长文本创作	ㅤ
智能体交互	任务规划、工具调用、反思能力、任务执行总结、多轮交互	ㅤ

Alan Hsu修改