콕스웨이브가 대화형 AI 모델의 ‘긴 맥락(Long-context)’ 처리 과정에서 발생하는 보안 취약점을 규명한 연구 논문으로 국제자연어처리학회(ACL) 2025 메인 컨퍼런스에 채택됐다. 해당 논문은 윤리·편향성·공정성(Ethics, Bias, and Fairness) 트랙에 선정되며, 빠르게 진화하는 생성형 AI 기술의 이면을 드러낸 점에서 학계와 업계의 주목을 받고 있다.

 

이번 연구는 KAIST 김재철 AI 대학원의 이기민 교수와의 협업으로 진행됐다. 이 교수는 구글 리서치 출신으로, ICML, NeurIPS, ICLR 등 주요 학술대회에 다수의 AI 안전성 관련 논문을 발표한 바 있으며, 지난해 콕스웨이브 어드바이저로 합류해 산학 협력에 참여하고 있다.

 

논문은 최근 LLM 분야에서 핵심 기술로 떠오른 ‘맥락 길이 확장’이, 기대와 달리 보안적 측면에서 새로운 리스크를 동반할 수 있음을 입증했다. 연구팀은 최대 128,000개 토큰까지 확장 가능한 모델 환경에서 실험을 진행한 결과, 반복되거나 무작위로 구성된 텍스트 입력만으로도 모델의 안전장치를 무력화할 수 있는 ‘다중샷 탈옥(Many-Shot Jailbreaking)’ 현상을 확인했다. 이는 대화의 내용이나 유해성보다 ‘길이’ 자체가 위험 요소로 작용할 수 있다는 사실을 시사한다.

 

 

특히 LLM이 높은 정렬 수준을 유지하더라도, 길어진 입력 시나리오에서는 응답의 안전성이 무너지며, 기존의 안전 설계가 구조적으로 한계를 드러낸다는 점이 이번 연구의 핵심이다. 연구팀은 이러한 발견이 단순한 취약점 제기 차원을 넘어, 맥락 확장 기술이 빠르게 상용화되고 있는 현재 AI 시장에서 반드시 고려돼야 할 우선 과제라고 지적했다.

 

콕스웨이브는 이번 ACL 채택을 기점으로 자사 생성형 AI 운영 플랫폼 ‘얼라인(Align)’에 보안 및 정렬 기능을 강화할 계획이다. 맥락 기반 생성 모델의 안정성과 일관성을 확보하기 위한 후속 연구도 지속해 나갈 예정이다. 이기민 교수는 “AI 모델의 맥락 처리 능력이 향상될수록 의도치 않은 보안 문제가 발생할 수 있다는 점을 이번 연구로 입증했다”며 “콕스웨이브와 함께 안전한 AI 생태계 구축을 위한 연구를 계속 이어가겠다”고 말했다.

 

콕스웨이브 김주원 대표는 “이번 논문 채택은 단순한 AI 오류 탐지를 넘어, 구조적 위험 요소를 선제적으로 분석해 대응하는 기술력을 인정받은 결과”라며 “검증된 연구 성과를 기반으로, 신뢰 가능한 AI 서비스 운영 기준을 마련하겠다”고 밝혔다.

 

헬로티 서재창 기자 |