AI [칼럼] RAG, 도구보단 문화와 시스템이 성패를 좌우한다

오늘날 생성형 AI(Generative AI)는 기업의 생산성을 혁신할 핵심 기술로 자리 잡았다. 특히 기업 내부의 방대한 데이터를 AI가 학습하거나 참조하여 정확한 답변을 생성하는 검색 증강 생성(RAG, Retrieval-Augmented Generation) 기술은 할루시네이션(환각) 현상을 줄이고 데이터 보안을 유지할 수 있다는 점에서 기업들의 가장 큰 관심을 받고 있다. 그러나 높은 기대와 달리, 실제 현업에서 RAG를 성공적으로 도입하고 운영하는 사례는 예상보다 더디게 나타나고 있다. 이는 기술 자체의 문제라기보다, 한국 기업 특유의 문서 작성 문화와 데이터 인프라의 현실적인 한계에서 기인하는 바가 크다. 우선 냉정하게 직시해야 할 점은 한국 기업의 문서 환경이 RAG를 도입하기에 결코 호락호락하지 않다는 사실이다. 서구권의 경우 텍스트 추출이 용이한 형식의 문서 활용이 보편화되어 있는 반면, 국내 기업들은 표와 복잡한 서식이 포함된 워드 프로세서 파일이나 이미지 중심의 PDF 문서를 주로 사용한다. 이러한 비정형 데이터들은 AI가 이해할 수 있는 텍스트로 변환하는 과정에서 구조가 깨지거나 정보가 유실되기 쉽다. 현업 부서가 단순히 좋은 RAG 솔

• 이승훈, (주)코세나 대표이사
• 2026-03-11 10:26