KAIST 전기및전자공학부 김창익 교수 연구팀이 챗GPT와 같은 대형언어모델(LLM)을 개인이나 기업의 데이터에 맞게 다시 학습시키는 파인튜닝(Fine-tuning) 과정에서 안전성이 훼손되는 문제를 해결하는 '버퍼 앤드 리인포스(Buffer-and-Reinforce)' 학습 프레임워크를 개발했다.

기존에는 AI를 맞춤형으로 학습시키면 새로운 업무 능력은 향상되지만 기존의 안전 규칙이 함께 약화되는 문제가 AI 개인화 시대의 가장 큰 과제로 꼽혀왔다. 연구팀은 AI가 원래 거부해야 할 위험한 요청에도 응답할 수 있는 '탈옥(Jailbreak)' 상태의 AI를 맞춤형으로 학습시키면 오히려 안전성이 크게 훼손되지 않는다는 기존 연구 결과에 주목하고 그 원인을 규명했다.

이를 바탕으로 연구팀은 '완충(Buffer)'과 '안전성 강화(Reinforce)'의 두 단계 학습 기법을 개발했다. 먼저 완충 모듈인 '버퍼로라(BufferLoRA)'를 AI에 임시로 적용해 맞춤형 학습 과정에서 악성 데이터가 AI 본체에 직접 영향을 주지 못하도록 막는 보호막 역할을 하도록 했다. 맞춤형 학습이 끝나면 이 모듈은 제거된다. 이후 안전성 강화 모듈인 '리인포스로라(ReinforceLoRA)'를 적용해 QR 분해 기법을 활용해 사용자가 학습시킨 새로운 기능은 그대로 유지하면서 안전성만 선택적으로 강화했다.

실험 결과 사용자 데이터가 모두 위험한 질문과 답변으로 구성된 극단적인 환경에서도 위험한 답변을 생성하는 비율이 약 8%로 재학습을 하지 않은 기존 모델의 약 18%보다도 낮은 수준을 기록했다. 별도의 안전성 재학습이나 추가적인 계산 비용 증가 없이 맞춤형 성능과 최고 수준의 안전성을 동시에 확보한 것이다.

김창익 교수는 "이번 연구는 누구나 자신의 데이터로 맞춤형 AI를 자유롭게 만들면서도 더욱 안전하게 사용할 수 있도록 하는 핵심 기반 기술"이라며 "AI 안전성이 더욱 강조되는 AI 개인화와 AI 에이전트 시대에 신뢰할 수 있는 AI 서비스 환경을 구축하는 데 크게 기여할 것"이라고 말했다.

이번 연구는 KAIST 함석일 박사과정이 제1저자로 참여했으며 인공지능 분야 세계 최고 권위 학술대회인 ICML 2026에서 전체 투고 논문 중 상위 약 2.2%에만 주어지는 스포트라이트 논문으로 채택됐다. 과학기술정보통신부 정보통신기획평가원(IITP)이 지원하는 'AI Safety 기술개발사업'의 지원으로 수행됐다.

헬로티 구서경 기자 |