货拉拉申请大模型垂直领域能力评测专利有效评估大模型垂直领域能力

　　金融界2024年10月18日消息，国家知识产权局信息显示，深圳依时货拉拉科技有限公司申请一项名为“大模型垂直领域能力评测系统、方法、设备及存储介质”的专利，公开号 CN 118780336 A，申请日期为2024年9月。

　　专利摘要显示，本申请公开了大模型垂直领域能力评测系统、方法、设备及存储介质，涉及模型评估技术领域，包括：评测数据库模块，用于生成对大模型的垂直领域能力的模型评测标准，并基于出题智能体和模型评测标准生成模型评估的问题‑答案对以得到评测数据库；模型评测模块，用于调用评测数据库若干问题‑答案对，然后利用若干问题‑答案对中的问题输入至目标待评测大模型中以得到模型回答，并基于单盲测试原则将模型回答输入至各评分智能体以得到各评分智能体对应的初始评分结果；评测结果整理输出模块，用于对初始评分结果进行汇总以得到目标待评测大模型对应的最终评分结果。这样一来，可以针对大模型的通用能力，有效评估大模型的垂直领域能力。

　　pg模拟器