部署方案
设置页可直接选择全本地运行或填写云端 API Key;混合方案需要修改
.env。
仅使用 CPU 时,一次回答可能需要数分钟,具体取决于硬件、模型及对话长度。
本地模型
轻量配置是默认选项,采用 MiniCPM5-2B 的 Q8_0 权重。增强配置采用 Qwen3.8-27B 的 IQ3_S 权重,并加载视觉投影模型。两种配置都使用 GLM-OCR-0.9B 识别文档。 模型由 llama.cpp 的llama-server
提供推理服务,预设会在首次使用时从 Hugging Face 下载模型。各操作系统的安装、启动及 GPU/CPU 配置见本地运行。
文档识别与图片理解
GLM-OCR 将报告中的文字和表格识别出来,规则提取能够识别的表格行,其余文本交由模型处理。 轻量对话模型只能读取照片的 OCR 文字,无法判断图像外观;增强模型可以直接分析图片, 但仍可能认错菜品或给出不准确的热量估计。云端处理的数据
使用云端模型可以减少本地推理的硬件需求。配置 API Key 后,在模型菜单中选择可用条目。
本地 OCR 只保证文档图片在本机处理,不能保证文档内容不外传。
对话图片与上传文件的处理路径也不同,需要分别检查模型设置。
OpenRouter 的托管方
同一个模型可能由不同托管方提供,各托管方的数据保留条款和支持的参数不同。仅在设置页填入 Key,或设置OPENROUTER_CHAT_MODEL,都不会固定托管方;请同时核对账号的数据设置和托管方条款。
已公布的评测要求零数据保留,为每个模型固定一个托管方且关闭回退:这些设置通过 extra_body 中的 provider.order 和 allow_fallbacks: false 配置,参见评测配置。它们只控制路由和数据保留方式,云端处理本身仍会接收完成任务所需的数据。
混合部署
先启动提供 GLM-OCR 的本地模型服务,再设置:LOCAL_OCR_BASE_URL 也会让报告图片交由本地 OCR 处理。
UTILS_VISION_MODEL=local-utils 则覆盖无法提取文字的文件,例如作为文件上传的餐食照片:
这些文件只在本机生成描述,或不生成描述,不再交给云端视觉模型。
对话图片还要单独处理。云端对话条目需设置 supports_image: false,只接收 OCR 文字。
此方案不能通过设置页完成,需要直接编辑 .env 和模型配置。
切换与检查
首次启动时,打开./deploy.sh 打印的设置链接;之后可进入设置 → 模型。
填写 Key 和模型名,或选择100% 在本机运行及所需配置。验证通过后,选择会加密保存并立即生效。
使用环境变量时,LOCAL_MODEL、LOCAL_OCR_MODEL 指定本地模型;
OPENROUTER_CHAT_MODEL、OPENROUTER_UTILS_MODEL 指定 OpenRouter 使用的模型。
DEFAULT_MODEL、UTILS_TEXT_MODEL、UTILS_VISION_MODEL、UTILS_OCR_MODEL 则选择各任务的配置条目。
修改 .env 后运行 docker compose up -d,仅重启容器不会重新读取它。
更多设置见配置和 config.llm.yaml。
检查当前模型及其能力:
思考过程与最终答案
对话会通过受支持的模型接口请求思考内容。AGENT_THINKING 默认为 medium,
模型条目中启用的 thinking_level 可以覆盖它;文档、OCR 等任务保留各自设置。
部分端点不返回可见思考,探针会报告这一情况。执行面板展示返回的思考和工具活动,
最终答案在对应模型步骤结束后显示;系统不会补写端点未提供的推理。