使用opencompass如何自定义数据集，如何配置评测指标？

[Songjoy]

使用opencompass自定义数据集，如何配置评测指标？自定义qa类型数据集，通过openApi的方式进行评估，发现评估结果中使用的是 accuracy。具体如下：

评估配置内容如下：

from opencompass.models import OpenAI

datasets = [
    {"path": "xxx/opencompass-test-qa.jsonl", "data_type": "qa", "infer_method": "gen"},
]

models = [
    dict(
        type=OpenAI,                             # 使用 OpenAI 模型
        # 以下为 `OpenAI` 初始化参数
        path='chatglm',                          # 指定模型类型
        key='EMPTY',                          # OpenAI API Key
        max_seq_len=2048,                        # 最大输入长度
        openai_api_base='xxxxx/v1/chat/completions',
        # 以下参数为各类模型都有的参数，非 `OpenAI` 的初始化参数
        abbr='chatglm',                        # 模型简称
        run_cfg=dict(num_gpus=0),                # 资源需求（不需要 GPU）
        max_out_len=512,                         # 最长生成长度
        batch_size=30,                           # 批次大小
    ),
] 

work_dir = 'outputs/openai/eval_result_api_qa'

opencompass-test-qa.jsonl内容如下：

{"question": "752+361+181+933+235+986=", "answer": "3448"}
{"question": "712+165+223+711=", "answer": "1811"}
{"question": "921+975+888+539=", "answer": "3323"}
{"question": "752+321+388+643+568+982+468+397=", "answer": "4519"}

每个任务的推理结果(predictions)：

{
    "0": {
        "origin_prompt": "752+361+181+933+235+986=",
        "prediction": "The sum of the numbers you provided is 3228.",
        "gold": "3448"
    },
    "1": {
        "origin_prompt": "712+165+223+711=",
        "prediction": "The sum of 712, 165, 223, and 711 is 1811.",
        "gold": "1811"
    },
    "2": {
        "origin_prompt": "921+975+888+539=",
        "prediction": "921 + 975 + 888 + 539 = 3323",
        "gold": "3323"
    },
    "3": {
        "origin_prompt": "752+321+388+643+568+982+468+397=",
        "prediction": "The sum of the given numbers is 4325.",
        "gold": "4519"
    }
}

dataset	version	metric	mode	chatglm
opencompass-test-qa	359d58	accuracy	gen	0.00

通过以上结果来看，结果不该为0，因此如何配置评测指标，即metric的值？

[bittersweet1999]

参考这里的代码来配置具体的Evaluator和后处理方式：

opencompass/configs/datasets/cmmlu/cmmlu_gen_c13365.py

Line 105 in 645c5f3

evaluator=dict(type=AccwithDetailsEvaluator),

opencompass/configs/datasets/cmmlu/cmmlu_gen_c13365.py

Line 120 in 645c5f3

eval_cfg=cmmlu_eval_cfg,

给你的datasets加上一个eval_cfg，比如：
datasets = [{"path": "xxx/opencompass-test-qa.jsonl", "data_type": "qa", "infer_method": "gen", "eval_cfg": dict(evaluator=dict(type=AccwithDetailsEvaluator),pred_postprocessor=dict(type=first_capital_postprocess))}]
如果你需要自定义metric，则在对应的位置自己写一个Evaluator即可

[Songjoy]

eval_cfg = dict(
    evaluator=dict(type=BleuEvaluator),
    dict(type=first_capital_postprocess)
)
datasets = [
    {"path": "xxx/opencompass-test-qa.jsonl", "data_type": "qa", "infer_method": "gen", "eval_cfg": eval_cfg},
]

加上还是不生效，结果如图

[bittersweet1999]

看下实时生成的config里，有成功应用到你的这个BlueEvaluator吗

[Songjoy]

以下是 config 里生成的 datasets

datasets=[
    dict(abbr='opencompass-test-qa',
        eval_cfg=dict(
            evaluator=dict(
                type='opencompass.openicl.icl_evaluator.icl_hf_evaluator.AccEvaluator'),
            pred_role='BOT'),
        infer_cfg=dict(
            inferencer=dict(
                type='opencompass.openicl.icl_inferencer.icl_gen_inferencer.GenInferencer'),
            prompt_template=dict(
                template=dict(
                    round=[
                        dict(prompt='{question}',
                            role='HUMAN'),
                        dict(prompt='{answer}',
                            role='BOT'),
                        ]),
                type='opencompass.openicl.icl_prompt_template.PromptTemplate'),
            retriever=dict(
                type='opencompass.openicl.icl_retriever.icl_zero_retriever.ZeroRetriever')),
        path='/data/swj/custom/opencompass-test-qa.jsonl',
        reader_cfg=dict(
            input_columns=[
                'question',
                ],
            output_column='answer'),
        type='opencompass.datasets.custom.CustomDataset'),
    ]

这样看的话，确实没有成功应用，这是什么原因导致，然后我从实时生成的config里，将这个datasets的这个数据集复制过来，手动将AccEvaluator改成了BlueEvaluator，好像是配置应用成功了的，但是针对以上配置，参考opencompass/configs/datasets/cmmlu/cmmlu_gen_c13365.py这里，我不知道自己哪里配置不对～

[Rosejacka]

我也遇到了一样的问题，并且尝试配置了eval_cfg，但似乎没用起到作用，请问您解决了吗

[Songjoy]

配置eval_cfg不起作用，但是从实时生成的config里，将这个datasets的这个数据集复制过来，修改eval_cfg后，好像是配置应用成功了的，但是部分评估指标（比如：EMEvaluator）复制过来直接使用也会报错，需要新增自定义数据集和评估指标。
参考：#1535