模型账号接入与 GPU 状态监控
模型账号是 AI 功能的公共底座
「AI - 模型管理」的核心是模型账号:把模型服务的地址与密钥登记成面板级资产,所有智能体共用,不用在每个智能体里重复填 Key。先建账号、再装智能体,是官方文档建议的顺序——智能体安装表单里就能选到现成账号。
账号类型覆盖常见服务:OpenAI 兼容协议的各家 API(DeepSeek、通义等)、本地 Ollama。API Key 属敏感凭证,与备份账号的凭证管理同一条纪律:最小权限、不外泄、定期轮换。
本地模型的三条路
不想付 API 费用、数据不想出服务器的场景,本地推理有三条路:
- Ollama:最省事的本地模型运行时,商店里装,模型管理里接账号;
- vLLM:AI 分组下的独立页面,面向高吞吐推理场景,部署后作为模型服务接入;
- 模型管理页直接拉取:支持的面板功能内完成模型文件的管理。
本地推理的硬件门槛完全由模型体积决定,小模型 CPU 也能凑合,像样的对话体验起步要独立显卡。跑之前先看 GPU 监控确认机器有什么牌。
GPU 监控
「AI - GPU 监控」展示显卡的利用率、显存、温度等指标——有 GPU 的机器才显示。它是本地推理的必备仪表:模型加载后显存水位、推理时算力占用,都在这看。GPU 与主机 CPU 内存的联动异常,配合主机监控交叉看。
基准测试
AI 分组下还有「基准测试」页,用于对模型服务跑测试拿性能数据。选模型、发起测试、看吞吐与响应指标——判断「这台机器跑这个模型够不够快」比拍脑袋靠谱。