LocalGPT：在 Rust 里以极小依赖运行强大 AI 助手
介绍
LocalGPT 是一款完全在本机运行的开源 AI 助手。用 Rust 编写，打包为单一二进制文件，既不需要 JavaScript 运行时，也不需要 Docker 镜像，所有内存和配置均存储在符合 XDG 的目录中。该项目支持 Anthropic Claude、OpenAI、xAI（Grok）、Ollama、GLM，甚至可连接兼容 OpenAI API 的本地服务器。通过可选的 Telegram 集成、网页 UI 与强大的 CLI，LocalGPT 旨在成为隐私友好、低延迟聊天机器人的瑞士军刀。
LocalGPT 的重要性
- 零云依赖 – 所有对话、嵌入与工具均在本地运行。
- 持久 Markdown 知识库 – 可以存储任何内容，从会议记录到代码片段，并按关键词或语义相似度搜索。
- 自治心跳 – 守护进程模式让您安排后台任务，永不阻塞日常工作。
- 内置沙箱 – 内核级沙箱（Linux 之 Landlock，macOS 之 Seatbelt，四处 seccomp 过滤）在助手执行用户命令时保护系统。
- 多种接口 – 终端聊天、响应式网页 UI、桌面应用或 Telegram 机器人，任选其一。
快速开始（Linux / macOS）
- 安装 CLI –
cargo install localgpt - 初始化配置 –
localgpt config init - 开始聊天 –
localgpt chat
您会看到类似的提示：
$ localgpt chat
> 如何最佳设置一个 Rust 项目？
LocalGPT: ...
安装器会从 crates.io 拉取最新的 localgpt 二进制文件，在 ~/.local/share/localgpt 下创建干净的工作区并写入最小化的 config.toml。
深入探讨：配置与内存
LocalGPT 的配置存于 ~/.local/share/localgpt/config.toml：
[agent]
default_model = "claude-cli/opus"
[providers.anthropic]
api_key = "${ANTHROPIC_API_KEY}"
default_model 指向 openai/<your‑model> 并设置 base_url。例如，要使用 LM Studio：
[providers.openai]
api_key = "not-needed"
base_url = "http://127.0.0.1:1234/v1"
工作区内存
一个基于 Markdown 的知识库位于 <workspace>/knowledge/。每个文件会自动使用 SQLite FTS5 索引以实现快速关键词检索，并使用 sqlite-vec 进行语义相似匹配。顶层文件 MEMORY.md, HEARTBEAT.md, SOUL.md 分别提供长期记忆、已排程任务与人格引导。
高级功能
自主与心跳
运行 localgpt daemon start 将启动一个后台服务器，功能包括：
- 心跳 – 定时“滴答”，可触发排程动作。
- HTTP API – 暴露 /api/chat, /api/memory/search 等端点，便于集成。
- 网页 UI – 访问 http://localhost:31327 或使用捆绑桌面 GUI。
安全沙箱
所有 shell 命令均通过内核强制沙箱执行。Linux 上使用 Landlock + seccomp，macOS 使用 Seatbelt。沙箱还设定资源限制：120 秒 CPU 负载、1 MB 标准输出、64 个进程，并限制文件总量为 50 MB。默认策略会阻止写入诸如 ~/.ssh, ~/.aws 等敏感位置。
提示注入缓解
LocalGPT 去除 token 标记，使用正则检查注入短语，并将外部内容包裹在 XML 标签内。您还可以通过添加签名的 LocalGPT.md 策略文件进一步强化助手。
社区与可扩展性
- CLI 插件 – 通过在
crates/下添加 Rust 产物贡献新工具。 - Telegram 机器人 – 让守护进程与 Telegram 机器人配合，便于移动端访问。
- 世界生成子项目 –
localgpt-gen允许您指令助手使用 Bevy 引擎生成 3‑D 场景。
项目欢迎 Pull Request，尤其是针对新的 LLM 集成、内存格式或沙箱改进。
用例
| 场景 | LocalGPT 的帮助 |
|---|---|
| 个人知识库 | 以 Markdown 存储会议记录、研究文档和代码片段，并即时检索 |
| 低延迟客服机器人 | 在同一服务器上部署，无需外部 API 调用 |
| 隐私敏感工作流 | 所有数据（包括嵌入）永不离开设备，满足严格合规需求 |
参与方式
- 从仓库开始 –
git clone https://github.com/localgpt-app/localgpt - 源码编译 –
cargo build --release --workspace - 加入 Discord – 分享您的创作并寻求帮助。
LocalGPT 以 MIT 许可发布，贡献采用 Apache‑2.0 许可，您可自由使用、修改并发布自己的迭代。
结论
LocalGPT 证明了使用极简、全 Rust 堆栈即可构建强大、隐私友好的 AI 助手。无论您是开发者、研究者还是隐私关注者，安装本地 GPT 即可即时获得低延迟、先进 LLM 的访问权，完全掌控数据。今天就试试吧，加入正在重新定义边缘 AI 交互的社区。