1panel 中文文档 下载 App

模型账号接入与 GPU 状态监控

模型账号是 AI 功能的公共底座

「AI - 模型管理」的核心是模型账号:把模型服务的地址与密钥登记成面板级资产,所有智能体共用,不用在每个智能体里重复填 Key。先建账号、再装智能体,是官方文档建议的顺序——智能体安装表单里就能选到现成账号。

账号类型覆盖常见服务:OpenAI 兼容协议的各家 API(DeepSeek、通义等)、本地 Ollama。API Key 属敏感凭证,与备份账号的凭证管理同一条纪律:最小权限、不外泄、定期轮换。

本地模型的三条路

不想付 API 费用、数据不想出服务器的场景,本地推理有三条路:

  1. Ollama:最省事的本地模型运行时,商店里装,模型管理里接账号;
  2. vLLM:AI 分组下的独立页面,面向高吞吐推理场景,部署后作为模型服务接入;
  3. 模型管理页直接拉取:支持的面板功能内完成模型文件的管理。

本地推理的硬件门槛完全由模型体积决定,小模型 CPU 也能凑合,像样的对话体验起步要独立显卡。跑之前先看 GPU 监控确认机器有什么牌。

GPU 监控

「AI - GPU 监控」展示显卡的利用率、显存、温度等指标——有 GPU 的机器才显示。它是本地推理的必备仪表:模型加载后显存水位、推理时算力占用,都在这看。GPU 与主机 CPU 内存的联动异常,配合主机监控交叉看。

基准测试

AI 分组下还有「基准测试」页,用于对模型服务跑测试拿性能数据。选模型、发起测试、看吞吐与响应指标——判断「这台机器跑这个模型够不够快」比拍脑袋靠谱。

延伸阅读