大模型
大模型指参数数量庞大、拥有强大学习能力的深度学习模型,这些模型通常拥有数以亿计的参数,通过在大规模数据上进行预训练来学习复杂的特征表示,通常用于处理大规模数据集和复杂任务。
我的工作台-大模型-我的模型展示所有您从大模型市场上添加的(详见:大模型市场,包括开源模型和商用模型)、以及个人定制/训练的(详见:大模型训练)大模型,不同状态的模型也可以在对应的Tab页进行查看。
开源模型/定制模型
点击模型进入模型详情页,除可以查看该模型的模型介绍、模型文件、测评报告、资源要求外,还可以查看模型的访问API,并可以一键部署模型、进行模型定制、查看模型部署日志。
访问API:点击“访问API”Tab页,可查看开源模型的API访问方式,便于您查看模型列表、请求需要的模型。模型访问API支持授权密钥管理,需要使用API密钥才能调用API(点击“API密钥”按钮,创建API密钥)。
模型文件:点击“模型文件”Tab页,可查看该模型的相关文件。
测评报告:点击“测评报告”Tab页,可查看该模型的测评报告;如无测评报告,对于推理模型,支持按需发起评测。
CMMLU测评报告(评估大语言模型在中文语境下的多任务语言理解能力)
BFCL测评报告(评估具备function call能力的模型的函数调用能力)
发起测评(对于有function call能力的推理模型,支持发起CMMLU测评和BFCL测评;对于无function call能力的推理模型,支持发起CMMLU测评)
模型部署:点击右上角”部署“按钮,填写部署环境和资源,点击”确定“,即可启动部署,部署结果会在我的工作台-大模型进行展示。
模型部署通常需要几分钟的时间,对于部署中的模型,可以点击右上角“停止”按钮暂停部署。
对于已部署的模型,点击进入详情页,可以查看模型部署时您自定义填写的资源参数、以及部署日志,还可以进行模型试用,也可以点击“停止”按钮取消部署(停止部署后,模型状态从已部署变为闲置,如需使用需重新部署)。
模型定制:点击右上角”定制“按钮,跳转至大模型训练页面(详见:大模型训练),填写大模型训练相关信息,点击右上角的”开始训练“按钮,即可启动模型训练,模型训练结果会在我的工作台-大模型进行展示。
查看日志:点击右上角”查看日志“按钮,可以查看模型部署或测评的日志,便于查看进度、定位问题,并支持日志下载。
商用模型
点击模型进入模型详情页,需要进行账号配置方可使用,此外,可以查看该模型的模型介绍和测评报告。
共享模型
对于本租户已部署的模型,可以点击“共享”将自己的大模型共享出去,供平台上的其他租户使用,配合模型负载均衡功能,能保证业务峰值响应的同时,大幅提高GPU资源利用率;如需要停止共享,点击“取消共享”即可。
在“共享模型”Tab页,可以看到其他租户共享的模型、并可以按需在应用中使用;此外,对于其他租户共享的开源模型,可以点击进入模型详情页进行试用。