AIBit-Descubre proyectos de código abierto AIBit-Descubre proyectos de código abierto

Cue: Copiloto de IA de código abierto para macOS que permanece oculto en las comparticiones de pantalla

Cue es un copiloto de IA gratuito y autoalojado para macOS que flota sobre tu pantalla, escucha reuniones y permanece invisible en las comparticiones de pantalla. Una alternativa a Cluely con tu propia clave.

¿Qué es Cue?

Cue es un copiloto de IA de código abierto para macOS que muestra un pequeño panel de vidrio sobre todo lo que haces. Ve tu pantalla, escucha tus reuniones (tanto tu micrófono como el audio del sistema) y utiliza IA para ayudarte en tiempo real, todo mientras permanece oculto en las comparticiones de pantalla. Piénsalo como un asistente privado que nunca aparece en tus grabaciones o videollamadas.

Es una alternativa gratuita y autoalojada a herramientas como Cluely e Interview Coder. Tú traes tu propia clave de API (OpenAI, Anthropic o Google Gemini), por lo que no hay tarifas de suscripción; solo pagas a tu proveedor de IA por lo que usas.

Por qué esto es importante

La mayoría de los copilotos de IA se ejecutan en una pestaña del navegador o requieren que cambies de contexto. Cue vive sobre tu pantalla, siempre disponible, y está diseñado para ser invisible en grabaciones de pantalla y videollamadas. Esto lo hace especialmente útil para:

  • Reuniones en vivo: Obtén sugerencias en tiempo real sobre qué decir a continuación.
  • Problemas de codificación: Captura un error o una pregunta de algoritmo y obtén una solución completa.
  • Estudio y práctica: Úsalo como ayuda de aprendizaje sin interrumpir tu flujo de trabajo.

Cómo funciona

Cue es una aplicación Electron que se ejecuta completamente de forma local, excepto por las llamadas API a tu proveedor de IA elegido. Captura tres entradas separadas:

  • Pantalla: Capturas de pantalla a resolución completa tomadas bajo demanda mediante el desktopCapturer de Electron.
  • Tu micrófono: Capturado mediante getUserMedia, reducido a 16 kHz y transcrito.
  • Audio de la reunión: Audio de salida del sistema capturado mediante el bucle de retorno de getDisplayMedia, mantenido en un canal separado para que Cue sepa quién dijo qué.

Ambas transmisiones de audio se transcriben (usando OpenAI Whisper o Google Gemini) y se envían, junto con una captura de pantalla opcional, al modelo de IA. Las respuestas se transmiten al panel palabra por palabra.

Características clave

Característica Activación Qué usa
Asistir ⌘↵ (configurable) Pantalla + conversación reciente
¿Qué debería decir? Botón Audio de reunión + tu micrófono
Preguntas de seguimiento Botón Toda la conversación
Resumen Botón Toda la conversación
Preguntar cualquier cosa Escribir + ↵ Pantalla + conversación
Resolver un problema de codificación ⌘H Solo pantalla
Alternancia inteligente Píldora en el cuadro Cambia a un modelo más inteligente (más lento)

Instalación

Opción A: Descargar la aplicación (Más fácil)

  1. Ve a la página de versiones y descarga cue-mac.zip.
  2. Haz doble clic para descomprimir, luego arrastra cue.app a tu carpeta de Aplicaciones.
  3. Primera apertura: Haz clic derecho → Abrir → haz clic en Abrir. Si macOS dice que está dañado, ejecuta:
    xattr -cr /Applications/cue.app

Opción B: Ejecutar desde el código fuente (Desarrolladores)

Requiere Node.js 18+.

git clone https://github.com/Blueturboguy07/cue.git
cd cue
npm install
npm start

Para construir tu propio .app:

npm run pack

Configuración inicial

Paso 1: Conceder permisos

  • Micrófono: Configuración del sistema → Privacidad y seguridad → Micrófono → activa Cue.
  • Grabación de pantalla: Configuración del sistema → Privacidad y seguridad → Grabación de pantalla → activa Cue.

Paso 2: Agregar tu clave de IA

Abre Configuración (⌘,), elige un proveedor y pega tu clave:

Proveedor Obtener una clave Notas
OpenAI platform.openai.com/api-keys La clave debe tener acceso a Whisper/audio para las funciones de escucha
Anthropic (Claude) console.anthropic.com Excelente para ayuda con pantalla y codificación; necesita una segunda clave para transcripción
Google Gemini aistudio.google.com/apikey Una clave hace chat + transcripción

Tu clave se almacena localmente en cue-data.json y se envía solo a tu proveedor. Cue no tiene servidor y no recopila telemetría.

Paso 3: Configuración de Zoom (Solo para Zoom)

Para mantener Cue oculto en las comparticiones de Zoom:

Zoom → Configuración → Compartir pantalla → Avanzado → Modo de captura de pantalla → elige "Captura avanzada con filtrado de ventanas."

Esto le indica a Zoom que respete la bandera "no me captures" de Cue. El modo "sin filtrado de ventanas" mostrará Cue.

Cómo funciona la invisibilidad

Cue usa una única bandera de ventana de macOS: setContentProtection(true), que establece NSWindowSharingNone. Esto le pide al servidor de ventanas que excluya a Cue de las transmisiones de captura de pantalla. Es el mismo mecanismo utilizado por las aplicaciones DRM y la propia barra de herramientas de Zoom.

Advertencia importante: En macOS 15.4+, Apple permite que algunas herramientas de captura ignoren esta bandera. Es un esfuerzo máximo, no garantizado. Usar un asistente oculto en exámenes supervisados, entrevistas de trabajo o reuniones grabadas puede violar las reglas de la plataforma o las leyes de consentimiento.

Arquitectura

proceso principal ──┬─ ventana superpuesta (sin marco, transparente, siempre al frente, con protección de contenido)
                   ├─ captura de pantalla (desktopCapturer)
                   ├─ voz a texto (Whisper / Gemini) ── canales "Tú" + "Ellos"
                   └─ transmisión LLM (OpenAI / Anthropic / Gemini)
renderizador ──────┴─ la interfaz de vidrio + captura de micrófono + bucle de retorno de audio del sistema

Solución de problemas

  • "Dice que conceda acceso, pero ya lo concedí." Alterna Cue apagado y encendido en Configuración del sistema → Grabación de pantalla, o elimínalo y vuelve a agregarlo.
  • "403" / "sin acceso al modelo." Tu clave de API está restringida. Habilita audio/Whisper en la clave, o agrega una clave de Gemini como respaldo.
  • Escuchar no hace nada. Verifica que Configuración muestre una clave con capacidad de transcripción y que la Grabación de pantalla esté concedida.
  • Cue aparece en la compartición de Zoom. Configura el modo de captura de Zoom en "Captura avanzada con filtrado de ventanas."
  • "cue está dañado y no se puede abrir." Ejecuta xattr -cr /Applications/cue.app en Terminal.

Privacidad

  • Sin cuentas, sin servidores, sin telemetría.
  • Las claves de API se almacenan localmente en cue-data.json.
  • Las capturas de pantalla y el audio se envían solo a tu proveedor de IA cuando se ejecuta una función.
  • Las transcripciones se mantienen en memoria solo para la sesión actual.

Contribuciones

Se aceptan problemas y solicitudes de extracción. El código base es intencionalmente pequeño y legible:

  • main.js — aplicación + captura + IA
  • renderer/ — la interfaz de usuario
  • src/ — proveedores

Sin paso de compilación para el código fuente (HTML/CSS/JS simple).

Soporte de plataforma

  • macOS: Totalmente compatible
  • Windows: Totalmente compatible
  • Linux: No probado

Licencia

GPL-3.0-o-posterior.

Fuente

Blueturboguy07/cue: Copiloto de IA de código abierto para macOS que flota sobre tu pantalla, ve/escucha tus reuniones y permanece oculto de las comparticiones de pantalla. Alternativa a Cluely, trae tu propia clave.