|
| 1 | +# 评测集 |
| 2 | + |
| 3 | +评测集用于存储和管理所有评测任务数据，可通过自动生成或手动上传的方式创建。当前支持对话分析和知识问答两种评测集类型。 |
| 4 | + |
| 5 | +- 对话分析：适用于[人工评测](raw/application-user-guide/application-evaluation/evaluate-manual-application.md)，通过构造单轮或多轮对话，对应用的输出结果进行人工打分和评估。 |
| 6 | +- 知识问答：适用于[自动评测](raw/application-user-guide/application-evaluation/application-auto-evaluation.md)，通过提供问题、标准答案和关键词，利用大模型对应用输出结果的准确性进行自动打分和评估。 |
| 7 | + |
| 8 | +## 评测集类型 |
| 9 | + |
| 10 | +### 对话分析 |
| 11 | + |
| 12 | +- 支持的文件格式：`.xls`、`.xlsx`。 |
| 13 | + |
| 14 | +- 字段说明： |
| 15 | + |
| 16 | + **字段** |
| 17 | + |
| 18 | + **说明** |
| 19 | + |
| 20 | + Prompt |
| 21 | + |
| 22 | + 用户的输入，通常是一个问题或一个指令。 |
| 23 | + |
| 24 | + Completion |
| 25 | + |
| 26 | + 针对 Prompt 的参考答案，用于评估模型实际生成的回答。 |
| 27 | + |
| 28 | + SessionId |
| 29 | + |
| 30 | + 用于标识一个完整的对话会话（Session）。具有相同 `SessionId` 的多行数据将被视为一个连续的多轮对话。 |
| 31 | + |
| 32 | +- 示例： |
| 33 | + |
| 34 | + **Prompt(user)** |
| 35 | + |
| 36 | + **Completion(assistant)** |
| 37 | + |
| 38 | + **SessionId** |
| 39 | + |
| 40 | + **说明** |
| 41 | + |
| 42 | + 亚运会在哪个城市举行? |
| 43 | + |
| 44 | + 杭州。 |
| 45 | + |
| 46 | + 49aa5bc0-76de-471d-9f50-c8f7710bbc9d |
| 47 | + |
| 48 | + 多轮对话 - 第1轮 |
| 49 | + |
| 50 | + 哪年举行？ |
| 51 | + |
| 52 | + 2023年 |
| 53 | + |
| 54 | + 49aa5bc0-76de-471d-9f50-c8f7710bbc9d |
| 55 | + |
| 56 | + 多轮对话 - 第2轮 |
| 57 | + |
| 58 | + |
| 59 | +### 知识问答 |
| 60 | + |
| 61 | +- 支持的文件格式：`.jsonl`。 |
| 62 | + |
| 63 | +- 字段说明： |
| 64 | + |
| 65 | + **字段** |
| 66 | + |
| 67 | + **说明** |
| 68 | + |
| 69 | + query |
| 70 | + |
| 71 | + 智能体接收的用户输入问题。 |
| 72 | + |
| 73 | + queryType |
| 74 | + |
| 75 | + 问题分类标签，如事实型、分析型、比较型、教程型等，支持自定义其他类型。 |
| 76 | + |
| 77 | + referenceAnswer |
| 78 | + |
| 79 | + 标准答案，用于评估回答的准确性、完整性和相关性。 |
| 80 | + |
| 81 | + fineKeywords |
| 82 | + |
| 83 | + 细粒度关键词，答案应包含的具体信息点（嵌套列表格式）。 |
| 84 | + |
| 85 | + coarseKeywords |
| 86 | + |
| 87 | + 粗粒度关键词，核心主题词，通常 1-3 个。 |
| 88 | + |
| 89 | + **说明** |
| 90 | + |
| 91 | + - **coarseKeywords（粗粒度关键词）** |
| 92 | + - **含义与作用**：代表查询的核心主题词（1-3个），用于判断检索内容是否存在主题偏离。 |
| 93 | + - **示例**：`["外滩", "浦东"]` |
| 94 | + - **fineKeywords（细粒度关键词）** |
| 95 | + - **含义与作用**：构成标准答案所必需的关键信息点，用于评估回答的信息完整性。 |
| 96 | + - **格式与示例**：采用嵌套数组 `[[ ]]` 格式，每个子数组 `[ ]` 代表一个独立信息点。 |
| 97 | + |
| 98 | + ``` |
| 99 | + [ |
| 100 | + ["外滩上的古老建筑物充满了欧陆情调,浪漫迷人"], |
| 101 | + ["对岸的浦东发展迅速,新楼林立,与外滩旧区形成鲜明对比,让人感受到上海的生机勃勃"], |
| 102 | + ["外滩的夜景使人仿佛处于童话般的世界,灯光的迷城"], |
| 103 | + ["浦东88层楼高的金茂大厦通体晶莹透明,和东方明珠上一闪一闪的灯光遥相呼应,煞是壮观"] |
| 104 | + ] |
| 105 | + ``` |
| 106 | + |
| 107 | +- 示例： |
| 108 | + |
| 109 | +
|
| 110 | +``` |
| 111 | +{"query":"外滩的夜景与浦东的新楼林立景象有什么不同？","fineKeywords":[["外滩上的古老建筑物充满了欧陆情调,浪漫迷人"],["对岸的浦东发展迅速,新楼林立,与外滩旧区形成鲜明对比,让人感受到上海的生机勃勃"],["外滩的夜景使人仿佛处于童话般的世界,灯光的迷城"],["浦东88层楼高的金茂大厦通体晶莹透明,和东方明珠上一闪一闪的灯光遥相呼应,煞是壮观"]],"referenceAnswer":"外滩的夜景充满了欧陆情调，古老建筑物在灯光下显得浪漫迷人。而浦东的新楼林立景象则展现了上海迅速发展的现代化面貌，高楼大厦如金茂大厦和东方明珠等建筑通体晶莹透明，灯光璀璨，与外滩形成了鲜明对比，体现了上海新旧交融的城市特色。","coarseKeywords":["外滩","浦东"],"queryType":"比较型(Comparative)"} |
| 112 | +{"query":"上海科技馆由哪几个主要展馆组成？","fineKeywords":[["由天地馆、生命馆、智慧馆、创造馆、未来馆等五个主要展馆和临展馆组成"]],"referenceAnswer":"上海科技馆由天地馆、生命馆、智慧馆、创造馆、未来馆等五个主要展馆和临展馆组成。","coarseKeywords":["上海科技馆"],"queryType":"事实型(Factual)"} |
| 113 | +{"query":"北京的王府井和三里屯在购物体验上有什么不同？","fineKeywords":[["乘车去往王府井，各种大商场去逛","如果觉得不过瘾，可以下午继续赶去三里屯那个大大的时尚商圈继续疯狂逛街购物吧"],["中午吃在王府井，可以选择在各大商场里吃，大众餐饮店应有尽有；也可以去王府井小吃街吃些，地道风味小吃，爆肚，凉粉，鱿鱼串，都能满足你的味蕾"],["晚上，吃在三里屯，购在三里屯，喝在三里屯，玩在三里屯"]],"referenceAnswer":"王府井和三里屯在购物体验上有以下不同点：王府井以大型商场为主，提供各种品牌商品，适合大众消费；而三里屯则是一个时尚商圈，更加注重潮流趋势与独特性，汇集了众多国际知名品牌及设计师店铺。此外，在餐饮方面，王府井小吃街提供了丰富的地道北京风味小吃，如爆肚、凉粉等；相比之下，三里屯则拥有更多精致餐厅及时尚酒吧，为顾客带来多样化的夜生活选择。总体来说，王府井更偏向于传统与大众化，而三里屯则代表了现代都市的活力与前卫风格。","coarseKeywords":["王府井","三里屯"],"queryType":"比较型(Comparative)"} |
| 114 | +``` |
| 115 | +
|
| 116 | +## 创建评测集 |
| 117 | +
|
| 118 | +### 自动生成 |
| 119 | +
|
| 120 | +基于大模型，依据指定的知识库自动生成评测集。仅支持生成[知识问答](https://help.aliyun.com/zh/model-studio/application-evaluation-dataset#c5d76de52fwqy)类型的评测任务，详情请参考[自动评测](https://help.aliyun.com/zh/model-studio/application-auto-evaluation#2a4636d8e0eav)。 |
| 121 | +
|
| 122 | +### 手动上传 |
| 123 | +
|
| 124 | +手动上传支持[对话分析](https://help.aliyun.com/zh/model-studio/application-evaluation-dataset#8f7c2c86dcq7k)和[知识问答](https://help.aliyun.com/zh/model-studio/application-evaluation-dataset#c5d76de52fwqy)两种类型的评测集。 |
| 125 | +
|
| 126 | +1. 准备评测集文件，格式要求如下： |
| 127 | + |
| 128 | + **评测集类型** |
| 129 | + |
| 130 | + **文件格式** |
| 131 | + |
| 132 | + **说明** |
| 133 | + |
| 134 | + 对话分析 |
| 135 | + |
| 136 | + `.xls`、`.xlsx` |
| 137 | + |
| 138 | + 单次上传最多支持 10 个文件，单个文件不超过 20MB。 |
| 139 | + |
| 140 | + 知识问答 |
| 141 | + |
| 142 | + `.jsonl` |
| 143 | + |
| 144 | + 单次上传最多支持 10 个文件，单个文件不超过 20MB。 |
| 145 | + |
| 146 | +2. 进入[评测集](https://bailian.console.aliyun.com/?&tab=app&scm=20140722.S_%E7%99%BE%E7%82%BCprompt._.RL_%E7%99%BE%E7%82%BCprompt-LOC_aillm-OR_chat-V_3-RC_llm#/efm/app_evaluate/tabs?tab=group)页面，单击页面右上角**创建评测集**。 |
| 147 | + |
| 148 | +3. 输入评测集名称，选择评测集类型，上传评测集文件，单击**确认**。 |
| 149 | + |
| 150 | +
|
| 151 | +## 修改并发布评测集 |
| 152 | +
|
| 153 | +1. 进入[评测集](https://bailian.console.aliyun.com/?&tab=app&scm=20140722.S_%E7%99%BE%E7%82%BCprompt._.RL_%E7%99%BE%E7%82%BCprompt-LOC_aillm-OR_chat-V_3-RC_llm#/efm/app_evaluate/tabs?tab=group)页面，点击右侧的**查看**进入评测集详情页。 |
| 154 | + |
| 155 | +2. 如果需要修改评测集内容，单击右上角**增量导入**，支持如下修改方式： |
| 156 | + |
| 157 | + - 单条新增： 手动添加一条新的评测数据。 |
| 158 | + - 批量导入： 通过上传文件一次性向评测集中追加多条新数据。上传文件的格式和字段要求必须与当前评测集类型一致。 |
| 159 | + - 全量覆盖： 导入全新的评测集文件，完全覆盖当前数据。上传文件的格式和字段要求必须与当前评测集类型一致。 |
| 160 | +3. 完成修改后，单击**发布确认发布**，即可将修改后的评测集发布为新的版本。 |
0 commit comments