업로드된 파일을 청킹 및 임베딩에 적합한 일반 텍스트로 쉽게 변환하는 방법이 필요합니다.

업로드된 문서를 다운스트림 청킹 및 임베딩 워크플로우에 즉시 사용할 수 있는 깔끔한 일반 텍스트로 변환합니다. 이를 통해 수동 복사-붙여넣기나 서식 재지정 없이도 시맨틱 검색, 검색 및 기타 AI 사용 사례를 위해 콘텐츠를 안정적으로 인덱싱할 수 있습니다.

이 기능은 업로드된 파일을 청킹 및 임베딩에 최적화된 표준화된 일반 텍스트 출력으로 변환합니다. 최소한의 추가 전처리만으로 청크로 분할하여 임베딩 모델에 전달할 수 있는 일관된 텍스트를 생성하는 데 중점을 둡니다. 사용자는 하나 이상의 파일을 업로드하고 다운스트림 파이프라인의 기본 출력으로 추출된 텍스트를 받습니다. 결과 텍스트는 검색 가능한 지식 베이스, 검색 증강 생성(RAG) 시스템 및 문서 이해 워크플로우를 구축하는 데 사용할 수 있습니다. 서식 노이즈를 줄이고 콘텐츠를 일반 텍스트로 정규화함으로써 더 예측 가능한 청크 경계와 임베딩 입력을 생성하는 데 도움이 됩니다. 또한 문서를 수동으로 열어 처리 도구에 콘텐츠를 복사할 필요가 없어 수집 과정이 간소화됩니다. 팀은 이 기능을 사용하여 내부 문서, 보고서, 매뉴얼 및 기타 지식 소스를 인덱싱을 위해 빠르게 준비할 수 있습니다. 출력물은 메타데이터와 함께 저장하고 나중에 청킹 전략이 발전함에 따라 재처리하기에 적합합니다. 전반적으로 원본 업로드에서 임베딩 준비가 완료된 텍스트까지의 경로를 가속화하여 검색 및 AI 어시스턴트의 반복 속도를 향상시킵니다.