Publicaciones etiquetadas con: chunking

rag‑chunk: Herramienta CLI para evaluar y optimizar la fragmentación RAG

Rag‑chunk es una utilidad ligera basada en Python que permite a científicos de datos e ingenieros de aprendizaje automático probar, evaluar y refinar estrategias de fragmentación para Retrieval‑Augmented Generation (RAG). Con soporte para fragmentación de tamaño fijo, ventana deslizante, párrafo e incluso partición recursiva por carácter, puedes comparar puntuaciones de recuperación, ajustar los límites basados en tokens con tiktoken y exportar resultados en tablas, JSON o CSV. Este artículo guía a través de la instalación, características clave, ejemplos del mundo real y consejos para elegir la mejor estrategia para tus documentos Markdown. Ya sea que estés prototipando una nueva tubería RAG o afinando un sistema de lectura en producción, rag‑chunk te brinda los datos necesarios para tomar decisiones informadas.