KAIST 전기및전자공학부 김준모 교수 연구팀이 대규모 언어모델(LLM)의 안전성을 검증하는 레드팀 기술의 한계를 극복한 새로운 프레임워크 '스테이블-지플로우넷(Stable-GFlowNet)'을 개발했다.

 

생성형 AI의 레드팀(Red Teaming)은 AI가 유해하거나 위험한 답변을 하도록 유도하는 공격 프롬프트를 만들어 숨은 약점을 찾아내는 과정이다. 기존에는 강화학습을 이용해 공격 프롬프트를 생성하는 방식이 주로 사용됐지만 가장 성공률이 높은 한두 가지 공격 방법만 반복 생성하는 '모드 붕괴'가 자주 발생해 다양한 취약점을 충분히 찾지 못하는 한계가 있었다.

 

연구팀은 이를 해결하기 위해 세 가지 핵심 기술을 개발했다. 대조 궤적 균형(CTB) 기법으로 복잡한 계산을 줄이고 학습을 안정화했으며 노이즈 경사 가지치기(NGP)로 불필요한 잡음을 제거하고 중요한 정보만 학습하도록 했다. 유창성 안정화 장치(MKS)를 적용해 사람이 실제 사용할 법한 공격 프롬프트를 생성하도록 유도했다.

 

 

그 결과 스테이블-지플로우넷은 기존 기술이 찾아낸 17개의 고유 공격 유형보다 약 7배 많은 134개의 공격 유형을 발굴하면서도 92%의 높은 공격 성공률을 유지했다. 교차 공격(Cross Attack) 시험에서도 다양한 공격을 효과적으로 방어하며 우수한 일반화 성능을 입증했다. 이번 기술은 AI 안전성 검증뿐 아니라 신약 후보 물질을 생성하는 분자 생성 등 다양한 분야에서도 범용적으로 활용될 가능성을 확인했다.

 

김준모 KAIST 교수는 "이번 기술은 생성형 AI를 실제 서비스에 적용하기 전에 더 폭넓은 위험 요소를 찾아내고 방어할 수 있어 더욱 안전하고 신뢰할 수 있는 AI 개발의 핵심 기반기술이 될 것"이라고 전했다.

 

한편, 이번 연구는 KAIST 권민찬 박사과정이 제1저자로 참여했으며 인공지능 분야 학회인 'ICML 2026'에서 상위 2.2%에 해당하는 스포트라이트 논문으로 선정됐다.

 

헬로티 구서경 기자 |