大模型

大大模型指参数数量庞大、拥有强大学习能力的深度学习模型,这些模型通常拥有数以亿计的参数,通过在大规模数据上进行预训练来学习复杂的特征表示,通常用于处理大规模数据集和复杂任务。

我的工作台-大模型-我的模型展示所有您从大模型市场上添加的(详见:大模型市场,包括开源模型和商用模型)、以及个人定制/训练的(详见:大模型训练)大模型,不同状态的模型也可以在对应的 Tab 页进行查看。

image_17338165672315

开源模型/定制模型

点击模型进入模型详情页,除可以查看该模型的模型介绍、模型文件、测评报告、资源要求外,还可以查看模型的访问 API,并可以一键部署模型、进行模型定制、查看模型部署日志、查看模型测评日志。

image_17417600828670

访问 API:点击“访问 API”Tab 页,可查看开源模型的 API 访问方式,便于您查看模型列表、请求需要的模型。模型访问 API 支持授权密钥管理,需要使用 API 密钥才能调用 API(点击“API 密钥”按钮,创建 API 密钥)。

image_17417601195065

模型文件:点击“模型文件”Tab 页,可查看该模型的相关文件。

image_17417601641476

测评报告:点击“测评报告”Tab 页,可查看该模型的测评报告;如无测评报告,对于推理模型,支持按需发起评测。

image1

  • CMMLU 测评:对于无 function call 能力的推理模型,支持发起 CMMLU 测评,用以评估大语言模型在中文语境下的多任务语言理解能力

    image_1741760203304

  • BFCL 测评:对于有 function call 能力的推理模型,支持发起 BFCL 测评,用以评估具备 function call 能力的模型的函数调用能力

    image_1741760237856

  • 其他测评:对于推理模型,支持基于通过工具调用生成的数据集(详见:数据生成)进行评测,并支持进行模型测评比对。

    image_17417603309753

    image_17417603733419

    image_17417604145527

模型部署:点击右上角”部署“按钮,填写部署环境和资源,点击”确定“,即可启动部署,部署结果会在我的工作台-大模型进行展示。

image_17417604715439

模型部署通常需要几分钟的时间,对于部署中的模型,可以查看其部署进程和状态,可以点击右上角“停止”按钮暂停部署。

image_17417592657214

image_17417599699191

对于已部署的模型,点击进入详情页,可以查看模型部署时您自定义填写的资源参数、以及部署日志,还可以进行模型试用,也可以点击“停止”按钮取消部署(停止部署后,模型状态从已部署变为闲置,如需使用需重新部署)。

image_17417595608159

image_17417597746544

image_17417596594925

部署历史:点击“部署历史”Tab 页,可查看该模型的历史部署信息。

image_17417596096897

模型定制:点击右上角”定制“按钮,跳转至大模型训练页面(详见:大模型训练),填写大模型训练相关信息,点击右上角的”开始训练“按钮,即可启动模型训练,模型训练结果会在我的工作台-大模型进行展示。

image_1733824891274

查看日志:点击右上角”查看日志“按钮,可以查看模型部署或测评的日志,便于查看进度、定位问题,并支持日志下载。

image_17417598589510

商用模型

点击模型进入模型详情页,可以查看该模型的模型介绍,需要进行账号配置方可使用。

image_17338255023377

image_17338250748510

共享模型

对于本租户已部署的模型,可以点击“共享”将自己的大模型共享出去,供平台上的其他租户使用,配合模型负载均衡功能,能保证业务峰值响应的同时,大幅提高 GPU 资源利用率;如需要停止共享,点击“取消共享”即可。

image_17338260283871

image_17338260777109

image_17338261465156

image_17338261969600

image_1733826234210

在“共享模型”Tab 页,可以看到其他租户共享的模型、并可以按需在应用中使用;此外,对于其他租户共享的开源模型,可以点击进入模型详情页进行试用。