1 学习内容及任务
OpenCompass 提供了 API 模式评测和本地直接评测两种方式。其中 API 模式评测针对那些以 API 服务形式部署的模型,而本地直接评测则面向那些可以获取到模型权重文件的情况。本次使用OpenCompass通过API评测书生大模型。
2 创建基础环境
我们首先在训练营提供的开发机上创建用于评测conda环境:
conda create -n opencompass python=3.10
conda activate opencompass
cd /root
git clone -b 0.3.3 https://github.com/open-compass/opencompass
cd opencompass
pip install -e .
pip install -r requirements.txt
pip install huggingface_hub==0.25.2

更多使用说明,请参考 OpenCompass 官方文档(https://opencompass.readthedocs.io/en/latest/tutorial.html)。
3 评测API模型
3.1 获取internlm的API Key
首先你需要获取模型的 API 密钥(API Key)和接口地址,然后在评测配置文件中设置好这个密钥和相应的模型参数就可以开始评测了。
评测过程中,评测框架会自动向模型服务发送测试用例,获取模型的回复并进行打分分析。整个过程不需要准备任何模型文件,也不用担心本地计算资源是否足够,只要确保网络连接正常即可。
浦语官网和硅基流动都提供了InternLM的类OpenAI接口格式的免费的 API,可以访问以下两个了解两个 API 的使用方法和 Key。
浦语官方 API:https://internlm.intern-ai.org.cn/api/document
硅基流动:https://cloud.siliconflow.cn/models?mfs=internlm
在终端中,将获得的API_KEY补充进以下代码并运行:
export INTERNLM_API_KEY=xxxxxxxxxxxxxxxxxxxxxxx # 填入你申请的 API Key
3.2 配置模型
在终端中运行:
cd /root/opencompass/
touch ./configs/models/openai/puyu_api.py
然后打开puyu_api.py文件, 贴入以下代码:
497



被折叠的 条评论
为什么被折叠?



