NexaSDK: Ejecuta IA Multimodal en el Dispositivo con Modelos Day‑0

¿Qué es NexaSDK?

NexaSDK es un framework de inferencia de alto rendimiento y multiplataforma que permite a los desarrolladores ejecutar los modelos de lenguaje más avanzados (LLMs), modelos visión‑lenguaje (VLMs), sistemas de reconocimiento automático de voz (ASR), reconocimiento óptico de caracteres (OCR) y modelos de generación de imágenes directamente en el dispositivo—GPU, NPU o CPU—sin depender de back‑ends en la nube. Construido sobre los principios de consumo energético mínimo y velocidad máxima, NexaSDK soporta la carga de modelos Day‑0 para una selección de las últimas publicaciones multimodales como Qwen3‑VL, Gemini‑3n (Vision), DeepSeek‑OCR y Granite‑4.0.

Por qué NexaSDK destaca

El resultado: amigable para el desarrollador, eficiente en energía y listo para usar. Ya sea que crees un prototipo rápido o una aplicación a nivel de producción, NexaSDK te brinda la libertad de experimentar con una amplia gama de modelos localmente.

Plataformas y SDKs soportados

Ejemplo: Ejecutar Qwen3-1.7B en la CLI

# Instalar
pip install nexaai

# Cargar modelo y chat
from nexaai import LLM, LlmChatMessage, GenerationConfig, ModelConfig

llm = LLM.from_(model="NexaAI/Qwen3-1.7B-GGUF", config=ModelConfig())
conversation = [LlmChatMessage(role="user", content="Tell me a joke!")]
prompt = llm.apply_chat_template(conversation)
for token in llm.generate_stream(prompt, GenerationConfig(max_tokens=150)):
    print(token, end="", flush=True)

La salida llega en tiempo real, igual que una llamada a la nube, pero todo el procesamiento permanece en el dispositivo local.

Soporte de modelos Day‑0

Day‑0 significa que el modelo está listo para ejecutarse inmediatamente después de la descarga—sin conversión ni entrenamiento adicional. NexaSDK soporta miles de pesos GGUF compilados por la comunidad, así como formatos nativos NEXA y MLX. El SDK detecta automáticamente el motor de inferencia óptimo para el hardware:

1. CPU/Intel‑Xe — por defecto para escritorio.
2. NPU — Qualcomm Hexagon, AMD NPU, Apple Neural Engine (ANE).
3. GPU — NVIDIA, AMD, Apple GPU.

Esto garantiza la inferencia más rápida posible al lanzar el dispositivo.

Despliegue de una línea en Android

Añade a tu build.gradle.kts:

implementation("ai.nexa:core:0.0.15")

NexaSdk.getInstance().init(this)
VlmWrapper.builder()
    .vlmCreateInput(
        VlmCreateInput(
            model_name = "omni-neural",
            model_path = "/data/data/your.app/files/models/OmniNeural-4B/files-1-1.nexa",
            plugin_id = "npu",
            config = ModelConfig()
        )
    )
    .build()
    .onSuccess { vlm ->
        vlm.generateStreamFlow("Hello!", GenerationConfig()).collect { print(it) }
    }

Con solo unas líneas de código, un VLM complejo se ejecuta directamente en el hardware Snapdragon.

Comunidad y ecosistema

• APIs compatibles con OpenAI: cambia entre modelos locales y remotos sin esfuerzo.
• Arquitectura de plugins extensible: agrega hardware personalizado o nuevos formatos de modelos.
• Repositorio activo en GitHub (7.5k ⭐, 939 forks) con lanzamientos frecuentes, documentación extensa y un conjunto sólido de pruebas.
• Alianzas con Qualcomm, IBM, Google, AMD, Nvidia y Microsoft que demuestran soporte industrial comprobado.

Licencias y uso comercial

NexaSDK está bajo licencia dual:

• Componentes CPU/GPU: Apache‑2.0.
• Componentes NPU: Gratis para uso personal con una clave del Nexa AI Model Hub, el uso comercial requiere una licencia negociada con [email protected].

Esto garantiza que startups y empresas puedan usar el SDK sin dolores legales.

Primeros pasos

1. Clona el repositorio: git clone https://github.com/NexaAI/nexa-sdk.
2. Instala Docker o tu SDK nativo.
3. Ejecuta nexa infer NexaAI/Qwen3-1.7B-GGUF para verificar tu entorno.
4. Explora los directorios cookbook y solutions para ejemplos listos para ejecutar.

Para documentación detallada, visita los docs oficiales: https://docs.nexa.ai.

Reflexiones finales

NexaSDK democratiza la IA en el dispositivo ofreciendo un único, marco unificado que elimina la fricción de convertir modelos, gestionar dependencias o ajustar para un hardware específico. Su soporte de modelos Day‑0 significa que puedes experimentar con el panorama multimodal de última generación—sin esperar callbacks en la nube o aprobaciones de licencias.

Ya sea que desarrolles un asistente con voz, un clasificador de imágenes en tiempo real para un dron, o una app transversal para tomar notas, NexaSDK proporciona la velocidad, eficiencia y simplicidad para mantener tu enfoque en la experiencia del usuario.

¿Listo para sacar tus cargas de trabajo de la nube? Descubre NexaSDK hoy y únete a una comunidad creciente de desarrolladores que llevan la inteligencia multimodal directamente al borde.