Introduciendo el chunking con IA en semchunk

Isaacus presenta un nuevo modo de chunking impulsado por IA en el algoritmo semántico semchunk, utilizando el modelo Kanon 2 Enricher para enriquecer y segmentar jerárquicamente documentos. En el benchmark Legal RAG QA, este modo logra un aumento del 6% en la corrección de RAG respecto al modo no IA de semchunk, un 8% sobre el algoritmo recursivo de LangChain, un 12% sobre chunking de tamaño fijo y un 15% sobre los modos de chonkie. La técnica preserva mejor las estructuras semánticas y transtextuales, crucial para el rendimiento en sistemas RAG con limitaciones de contexto. Semchunk es de código abierto y se puede instalar fácilmente para integrarlo en aplicaciones.