Publications marquées avec: chunking

rag‑chunk: Outil CLI pour mesurer et optimiser le découpage RAG

Rag‑chunk est un utilitaire en ligne de commande léger basé sur Python qui permet aux data scientists et ingénieurs ML de tester, mesurer et affiner les stratégies de découpage pour la Génération Augmentée par Requête (RAG). Avec la prise en charge du découpage de taille fixe, de fenêtre glissante, de paragraphe, et même de découpage récursif par caractère, vous pouvez comparer les scores de rappel, ajuster les limites précises en tokens grâce à tiktoken, et exporter les résultats sous forme de tableaux, JSON ou CSV. Cet article décrit l'installation, les principales fonctionnalités, des exemples concrets et des conseils pour choisir la meilleure stratégie pour vos documents markdown. Que vous soyez en phase de prototypage d'un nouveau pipeline RAG ou en réglage fin d'un système de lecture en production, rag‑chunk vous fournit les données nécessaires pour prendre des décisions éclairées.