Airi : une VTuber IA Open-Source pour une interaction en temps réel

Airi : Donnez vie à des personnages virtuels IA dans votre navigateur et au-delà

Airi est un projet open-source innovant dédié à la création de waifus et de personnages virtuels IA avancés, conçus pour l'interaction en temps réel, y compris les conversations vocales et même la possibilité de jouer à des jeux populaires comme Minecraft et Factorio. Inspiré par des projets comme Neuro-sama, Airi vise à atteindre de nouveaux sommets dans les personnalités virtuelles pilotées par l'IA.

Conçu pour l'accessibilité et la performance

Ce qui distingue Airi, c'est sa dépendance fondamentale aux technologies web modernes telles que WebGPU, WebAudio, Web Workers, WebAssembly et WebSocket. Cette architecture robuste et centrée sur le web garantit qu'Airi peut fonctionner de manière fluide non seulement sur les ordinateurs de bureau, mais aussi directement dans les navigateurs modernes et même sur les appareils mobiles grâce à la prise en charge des Progressive Web Apps (PWA). Cette large compatibilité ouvre de nombreuses possibilités tant pour les développeurs que pour les utilisateurs, offrant une flexibilité sans sacrifier les fonctionnalités avancées.

Capacités actuelles et vision future

Bien qu'encore à un stade précoce de développement, Airi démontre déjà des capacités impressionnantes :

• Cerveau : Intégré à divers fournisseurs d'API LLM tels qu'OpenAI, Google Gemini, Anthropic Claude, et bien d'autres, permettant des conversations intelligentes et dynamiques. Il se vante également de pouvoir jouer à Minecraft et Factorio, et de discuter sur des plateformes comme Telegram et Discord.
• Mémoire : Il prend en charge nativement les bases de données intégrées au navigateur (DuckDB WASM, pglite) et l'inférence locale au sein du navigateur (WebGPU), jetant les bases d'une récupération et d'un apprentissage sophistiqués de la mémoire.
• Oreilles et bouche : Équipé d'une reconnaissance vocale côté client pour les entrées audio depuis les navigateurs et Discord, ainsi que de la synthèse vocale ElevenLabs pour une sortie sonore naturelle.
• Corps : Prend en charge les modèles VRM et Live2D, offrant un contrôle précis sur les animations des personnages virtuels, y compris le clignement automatique des yeux, les mouvements oculaires et la capacité à regarder les interactions.

Comment s'impliquer

Le projet Airi est une initiative collaborative qui recherche activement des individus talentueux pour y contribuer. Que vous soyez un développeur expérimenté maîtrisant Vue.js et TypeScript, un artiste qualifié en modélisation Live2D ou VRM, un concepteur d'avatars VRChat, ou un expert en vision par ordinateur, apprentissage par renforcement, reconnaissance vocale ou synthèse, il y a une place pour vous. Le projet encourage l'expérimentation et la contribution, même pour ceux qui sont plus familiers avec d'autres frameworks comme React ou Svelte.

En rejoignant la communauté Airi, vous pouvez contribuer à façonner l'avenir des compagnons IA, repoussant les limites de ce qui est possible dans les expériences virtuelles interactives. Jetez un œil à leur dépôt GitHub pour en savoir plus sur le développement, les progrès actuels et comment contribuer à cette passionnante initiative open-source.