LMPanel 的推理能力依赖若干开源后端:llama.cpp(文本)、stable-diffusion.cpp(图像)、whisper.cpp(语音)、audio.cpp(音频)、llama-swap(网关)。这些都可以在面板内一键安装与升级。
后端清单
| 后端 | 用途 | 对应宏 |
|---|---|---|
| llama.cpp | 文本大模型推理(llama-server) | llama / llm |
| llama-swap | 多模型网关 | — |
| stable-diffusion.cpp | 图像生成(sd-server) | sd |
| whisper.cpp | 语音转文字(whisper-server) | whisper |
| audio.cpp | 音频处理 | — |
演示图占位
此处放:后端安装与升级界面
说明:llama.cpp / llama-swap 等一键安装、升级状态
安装与升级
- 进入 设置 → 后端与依赖
- 在对应后端行点击 安装 / 升级
- 升级包来自 GitHub Releases,替换前自动备份到
.lmpanel-backup,可放心升级 - 安装完成后状态显示为"已安装"
提示:升级 llama.cpp 前建议先查看 11 · 稳定性与运维 中的配置快照,必要时先备份。
手动放置后端
网络受限时,也可手动放置:
- 从官方 Releases 下载预编译包(如 llama.cpp 的 Windows x64 包)
- 解压后把可执行文件放到对应目录:
backendsllama.cpp→llama-server.exebackendsllama-swap→llama-swap.exe- 重启 LMPanel,面板会自动识别
宏与后端的对应
config.yaml 中的 macros 把后端路径与启动参数做成可复用片段,模型定义通过宏引用后端:
macros:
llama: I:LLMackendsllama.cppllama-server.exe --port ${PORT} --parallel 1 --jinja
sd: I:LLMackendssdsd-server.exe --listen-port ${PORT} --verbose --diffusion-fa
模型命令示例:
models:
MyModel:
cmd: ${llama} --model I:LLMmodelsmy-model.gguf -ngl 99 --temp 1.0
修改宏即影响所有引用它的模型,便于统一升级路径。详见 10 · 配置详解。
常见问题
| 现象 | 处理 |
|---|---|
| 安装后模型仍启动失败 | 确认宏中 exe 路径与后端目录一致 |
| 升级后配置失效 | 升级一般兼容旧参数;如遇异常可恢复 .lmpanel-backup 中的旧版本 |
| 缺少某个后端 | 先确认是否需要该能力;文本推理只需 llama.cpp + llama-swap |
下一步
- 宏与模型定义的完整说明 → 10 · 配置详解