Introduciendo el chunking con IA en semchunk

Isaacus presenta un nuevo modo de chunking con IA en el algoritmo semántico semchunk, utilizando el modelo de enriquecimiento y segmentación jerárquica Kanon 2 Enricher. Este modo mejora la corrección en sistemas RAG en un 6% respecto al semchunk no IA, un 8% sobre el algoritmo recursivo de LangChain, y hasta un 15% sobre otros métodos como chonkie. La evaluación se realiza en el benchmark Legal RAG QA, destacando cómo un buen chunking preserva contextos críticos en entornos con limitaciones de tokens. Semchunk ahora integra anotaciones estructurales para dividir documentos respetando su jerarquía natural, mejorando el rendimiento downstream en aplicaciones RAG sensibles como el ámbito legal.