LocalGPT: Ejecuta un asistente IA potente localmente en Rust con dependencias mínimas
Introducción
LocalGPT es un asistente de IA de primera clase de código abierto que vive completamente en tu dispositivo. Escrito en Rust, viene empaquetado en un solo binario, no necesita un entorno JavaScript ni imagen Docker, y almacena toda la memoria y configuración en directorios compatibles XDG. El proyecto soporta Anthropic Claude, OpenAI, xAI (Grok), Ollama, GLM e incluso servidores locales que exponen una API compatible con OpenAI. Con integración opcional a Telegram, una interfaz web y una CLI potente, LocalGPT pretende ser la navaja suiza para cualquiera que quiera un chatbot que preserve la privacidad y ofrezca baja latencia.
Por qué es importante LocalGPT
- Dependencia cero a la nube – Todas las conversaciones, embeddings y herramientas se ejecutan localmente.
- Almacén de conocimientos en Markdown persistente – Guarda lo que sea, desde notas de reuniones hasta fragmentos de código, y búscalos por palabras clave o similitud semántica.
- Heartbeat autónomo – El modo daemon te permite programar tareas en segundo plano que no bloquean tu día.
- Sandbox incorporada – Sandbox a nivel de kernel (Landlock en Linux, Seatbelt en macOS, filtros seccomp en todos lados) protege tu sistema mientras el asistente ejecuta comandos provistos por el usuario.
- Múltiples interfaces – Conversa a través del terminal, una UI web responsiva, una aplicación de escritorio o incluso un bot de Telegram.
Inicio rápido (Linux/macOS)
- Instala la CLI –
cargo install localgpt - Inicializa la configuración –
localgpt config init - Comienza a chatear –
localgpt chat
Verás un prompt que se ve así:
$ localgpt chat
> What’s the best way to set up a Rust project?
LocalGPT: ...
El instalador descarga el binario más reciente de localgpt desde crates.io, crea un espacio de trabajo limpio bajo ~/.local/share/localgpt, y escribe un mínimo config.toml.
Profundización: Configuración y Memoria
~/.local/share/localgpt/config.toml contiene la configuración:
[agent]
default_model = "claude-cli/opus"
[providers.anthropic]
api_key = "${ANTHROPIC_API_KEY}"
default_model a openai/<tu-modelo> y establece base_url. Por ejemplo, para usar LM Studio:
[providers.openai]
api_key = "not-needed"
base_url = "http://127.0.0.1:1234/v1"
Workspace Memory
Una base de conocimiento basada en Markdown vive bajo <workspace>/knowledge/. Cada archivo se indexa automáticamente con SQLite FTS5 para búsquedas rápidas por palabra clave y sqlite-vec para coincidencia semántica. Los archivos de nivel superior MEMORY.md, HEARTBEAT.md y SOUL.md proporcionan memoria a largo plazo, tareas programadas y guía de personalidad, respectivamente.
Funciones Avanzadas
Autonomía y Heartbeat
Ejecutar localgpt daemon start lanza un servidor en segundo plano con:
- Heartbeat – “Ticks” periódicos que pueden activar acciones programadas.
- HTTP API – Expone /api/chat, /api/memory/search, etc. para integración.
- Web UI – Accesible en http://localhost:31327 o a través de la GUI de escritorio incluida.
Sandbox de Seguridad
Todas las órdenes de shell se ejecutan a través de un sandbox forzado por el kernel. En Linux obtienes Landlock + seccomp; en macOS es Seatbelt. El sandbox también impone rlimits: 120s CPU, 1 MB stdout, 64 procesos y una cuota de 50 MB de archivo. La política por defecto bloquea escrituras a ubicaciones sensibles como ~/.ssh y ~/.aws.
Mitigaciones contra Inyecciones de Prompt
LocalGPT elimina marcas de token, utiliza comprobaciones regex para frases de inyección y envuelve contenido externo en etiquetas XML. Puedes reforzar aún más el asistente añadiendo un archivo de política LocalGPT.md firmado con la clave de tu dispositivo.
Comunidad y Extensibilidad
- Plugins CLI – Contribuye nuevas herramientas añadiendo crates de Rust bajo
crates/. - Bot de Telegram – Empareja el daemon con un bot de Telegram para acceso móvil.
- Subproyecto de Generación de Mundos –
localgpt-gente permite instruir al asistente para crear escenas 3‑D usando el motor Bevy.
Casos de Uso
| Escenario | Cómo ayuda LocalGPT |
|---|---|
| Base de Conocimiento Personal | Almacena notas de reuniones, documentos de investigación y fragmentos de código en Markdown y recupera al instante. |
| Bot de Soporte al Cliente de Baja Latencia | Despliega en el mismo servidor que maneja tickets internos sin llamadas a APIs externas. |
| Flujos de Trabajo Sensibles a la Privacidad | Todos los datos, incluidos embeddings, nunca salen del dispositivo, cumpliendo requisitos de cumplimiento estricto. |
¿Cómo participar?
- Comienza desde el repositorio –
git clone https://github.com/localgpt-app/localgpt - Construye desde la fuente –
cargo build --release --workspace - Únete al Discord – Comparte tus creaciones y pide ayuda.
LocalGPT está licenciado bajo MIT con licencia Apache‑2.0 para contribuciones, así que puedes usar, modificar y distribuir tus propias versiones.
Conclusión
LocalGPT demuestra que asistentes de IA potentes y respetuosos con la privacidad se pueden construir con una pila mínima y totalmente en Rust. Ya seas desarrollador, investigador o usuario consciente de la privacidad, instalar un GPT local te da acceso instantáneo y de baja latencia a LLMs avanzados sin sacrificar control. Pruébalo hoy y únete a una comunidad en crecimiento que redefine cómo interactuamos con IA en el borde.