L'efficacité déraisonnable d'une boucle d'agent LLM avec utilisation d'outils

Description du projet

Ce projet explore l'efficacité d'une boucle d'agent simple pour les LLM avec utilisation d'outils, spécifiquement dans le cadre d'un assistant de programmation IA nommé Sketch. L'idée centrale est une boucle Python de neuf lignes qui alimente continuellement l'entrée utilisateur dans un LLM, traite les appels d'outils issus de la sortie du LLM (ici, principalement des commandes bash), puis renvoie les résultats au LLM.

def loop(llm):
    msg = user_input()
    while True:
        output, tool_calls = llm(msg)
        print("Agent: ", output)
        if tool_calls:
            msg = [ handle_tool_call(tc) for tc in tool_calls ]
        else:
            msg = user_input()

Instructions d'utilisation

L'utilisation principale implique une interaction avec un assistant de programmation IA qui tire parti de cette boucle d'agent. Les utilisateurs fournissent des requêtes ou des questions, et le système, alimenté par un LLM (tel que Claude 3.7 Sonnet) ayant accès à Bash et à d'autres outils spécialisés, tente de résoudre la tâche. Cela peut aller d'opérations Git complexes à la refactorisation de code et à la gestion des erreurs de vérificateur de type. Le système peut être persistant, s'adaptant à l'environnement et pouvant même installer les outils nécessaires ou s'ajuster aux différences de ligne de commande.

Fonctionnalités clés

• Boucle d'agent simple : Une logique de base concise de neuf lignes pour l'interaction LLM-outil.
• Intégration d'outils : Le LLM renvoie une sortie qui correspond à un schéma, permettant les appels d'outils.
• Outil Bash : Outil principal et puissant, permettant au LLM d'exécuter des commandes shell.
• Outils spécialisés : Au-delà de Bash, Sketch intègre des outils supplémentaires pour améliorer la qualité, accélérer les itérations et faciliter les flux de travail des développeurs (par exemple, pour l'édition de texte).
• Persistance et adaptabilité : L'agent peut apprendre et s'adapter à son environnement, comme installer des outils manquants ou s'adapter à différentes options de ligne de commande.
• Résolution de problèmes : Capable de gérer diverses tâches de programmation, des opérations Git aux modifications de code et à la gestion des erreurs.

Utilisateurs cibles

• Développeurs de logiciels : Personnes souhaitant un assistant IA pour rationaliser les tâches de programmation quotidiennes, automatiser les opérations répétitives et aider à résoudre les défis de codage complexes.
• Professionnels DevOps : Ceux qui cherchent à automatiser les tâches d'administration système et le scripting.

Liens du projet

• Article de blog : sketch.dev/blog/agent-loop
• Autre article de blog : philz.dev/blog/agent-loop/

Scénarios d'application

• Opérations Git : Automatiser des commandes Git obscures ou faciliter les fusions.
• Refactorisation de code : Effectuer des modifications de code à grande échelle, telles que le changement d'un type dans une base de code et la résolution des erreurs de vérificateur de type qui en résultent.
• Configuration de l'environnement de développement : Installer automatiquement les outils manquants ou s'adapter à différents utilitaires de ligne de commande.
• Débogage et analyse de logs : Corréler les traces de pile avec les commits Git, effectuer une première passe sur des informations de débogage complexes.
• Automatisation générale : Automatiser les tâches fastidieuses du quotidien, trop spécifiques pour des outils généralistes ou trop instables pour l'automatisation traditionnelle.