KAIST 전기및전자공학부 김준모 교수 연구팀이 대규모 언어모델(LLM)의 안전성을 검증하는 레드팀 기술의 한계를 극복한 새로운 프레임워크 '스테이블-지플로우넷(Stable-GFlowNet)'을 개발했다. 생성형 AI의 레드팀(Red Teaming)은 AI가 유해하거나 위험한 답변을 하도록 유도하는 공격 프롬프트를 만들어 숨은 약점을 찾아내는 과정이다. 기존에는 강화학습을 이용해 공격 프롬프트를 생성하는 방식이 주로 사용됐지만 가장 성공률이 높은 한두 가지 공격 방법만 반복 생성하는 '모드 붕괴'가 자주 발생해 다양한 취약점을 충분히 찾지 못하는 한계가 있었다. 연구팀은 이를 해결하기 위해 세 가지 핵심 기술을 개발했다. 대조 궤적 균형(CTB) 기법으로 복잡한 계산을 줄이고 학습을 안정화했으며 노이즈 경사 가지치기(NGP)로 불필요한 잡음을 제거하고 중요한 정보만 학습하도록 했다. 유창성 안정화 장치(MKS)를 적용해 사람이 실제 사용할 법한 공격 프롬프트를 생성하도록 유도했다. 그 결과 스테이블-지플로우넷은 기존 기술이 찾아낸 17개의 고유 공격 유형보다 약 7배 많은 134개의 공격 유형을 발굴하면서도 92%의 높은 공격 성공률을 유지했다. 교차 공격(
KAIST 전기및전자공학부 김창익 교수 연구팀이 챗GPT와 같은 대형언어모델(LLM)을 개인이나 기업의 데이터에 맞게 다시 학습시키는 파인튜닝(Fine-tuning) 과정에서 안전성이 훼손되는 문제를 해결하는 '버퍼 앤드 리인포스(Buffer-and-Reinforce)' 학습 프레임워크를 개발했다. 기존에는 AI를 맞춤형으로 학습시키면 새로운 업무 능력은 향상되지만 기존의 안전 규칙이 함께 약화되는 문제가 AI 개인화 시대의 가장 큰 과제로 꼽혀왔다. 연구팀은 AI가 원래 거부해야 할 위험한 요청에도 응답할 수 있는 '탈옥(Jailbreak)' 상태의 AI를 맞춤형으로 학습시키면 오히려 안전성이 크게 훼손되지 않는다는 기존 연구 결과에 주목하고 그 원인을 규명했다. 이를 바탕으로 연구팀은 '완충(Buffer)'과 '안전성 강화(Reinforce)'의 두 단계 학습 기법을 개발했다. 먼저 완충 모듈인 '버퍼로라(BufferLoRA)'를 AI에 임시로 적용해 맞춤형 학습 과정에서 악성 데이터가 AI 본체에 직접 영향을 주지 못하도록 막는 보호막 역할을 하도록 했다. 맞춤형 학습이 끝나면 이 모듈은 제거된다. 이후 안전성 강화 모듈인 '리인포스로라(Reinforc
셀렉트스타가 AI Safety팀의 연구 논문 3편이 6일부터 11일까지 서울 코엑스에서 열리는 'ICML 2026' 워크샵에 게재된다고 밝혔다. 첫 번째 논문 'Reliable to Expressive: A Curriculum for Rubric-Following Safety Judges'는 안전성 평가 기준에 맞춰 AI 답변의 위험성을 검증하고 채점하는 LLM 응답 안전성 평가 모델을 제안했다. 커리큘럼 러닝을 도입해 범용적으로 학습된 평가 모델이 금융권 데이터 같은 새로운 도메인 환경에서도 일관된 평가 성능을 발휘함을 입증했다. 두 번째 논문 'Culturally-Adapted Red-Teaming Across East and Southeast Asian Contexts'는 자체 문화 맞춤형 레드티밍 벤치마크 생성 프레임워크 'CAGE'를 아시아권으로 확장 적용한 연구다. 한국어, 크메르어, 일본어, 태국어 사례를 통해 영어권 벤치마크를 단순 직역한 평가만으로는 국가별·문화권별 위험을 충분히 포착하기 어렵다는 점을 분석했다. 세 번째 논문 'Korean Culture into LLM Alignment: Toward Cultural Coherence'는 한
양자컴퓨팅을 활용해 환경 변화에도 안정적으로 작동하는 강인한 인공지능(AI)을 더 효율적으로 학습시키는 기법이 개발됐다. UNIST는 인공지능대학원 윤성환 교수팀이 고려대학교 전기전자공학부 김중헌 교수팀과 함께 양자 알고리즘 기반 강인한 강화학습 기법 ‘QRIM’을 개발했다고 6일 밝혔다. QRIM은 ‘Quantum Robust Inner Minimization’의 약자로, 강인한 강화학습에서 계산 병목으로 꼽히는 최악의 상황 탐색 과정을 양자 알고리즘으로 가속하는 기술이다. 연구팀은 이를 통해 계산 비용을 기존 대비 최대 5분의 1 수준으로 줄이는 데 성공했다. 이번 연구는 세계 3대 인공지능 학회로 꼽히는 국제머신러닝학회(ICML) 2026에 채택됐다. 올해 ICML에 채택된 양자 인공지능 논문 가운데 국내 연구기관이 주도한 논문은 이번 연구가 유일하다고 UNIST는 설명했다. 강화학습은 AI가 시행착오를 거치며 스스로 행동 전략을 찾는 학습 방식이다. 다만 실제 환경이 학습 환경과 달라지면 성능이 급격히 떨어질 수 있다. 예를 들어 맑은 도로 환경만 학습한 자율주행차는 비나 눈으로 노면 상태가 바뀌면 제대로 대응하지 못할 수 있다. 이를 보완하기 위해
이미지, 소리, 텍스트 등 여러 형태의 데이터를 함께 학습하는 멀티모달 AI가 단일 데이터만 학습한 AI보다 더 안정적으로 작동하는 이유가 수학적으로 규명됐다. UNIST는 인공지능대학원 윤성환 교수팀이 멀티모달 인공지능이 단일모달 인공지능보다 더 좋은 성능을 내는 원리를 ‘손실 지형’의 평탄화 관점에서 밝혔다고 26일 밝혔다. 멀티모달 학습은 이미지, 음성, 텍스트처럼 서로 다른 형태의 데이터를 함께 활용해 AI가 같은 대상이나 상황을 더 폭넓게 이해하도록 하는 학습 방식이다. 그동안 멀티모달 AI가 단일모달 AI보다 성능이 뛰어나다는 점은 경험적으로 알려져 있었지만, 실제 딥러닝 학습 과정과 연결해 이를 설명하는 이론적 근거는 부족했다. 연구팀은 여러 모달리티의 데이터를 함께 학습할 경우 손실 지형이 더 평탄해지고, 이로 인해 AI의 강건성이 향상된다는 점을 수학적으로 설명했다. 손실 지형은 AI가 학습 과정에서 겪는 오차와 모델 내부 설정값의 관계를 산과 골짜기처럼 표현한 개념이다. 손실 지형이 뾰족하고 가파르면 학습 데이터와 조금만 다른 입력에도 성능이 흔들릴 수 있다. 반대로 넓고 완만하면 경험하지 못한 새로운 데이터가 들어와도 성능을 안정적으로 유
상호명(명칭) : (주)첨단 | 등록번호 : 서울,자00420 | 등록일자 : 2013년05월15일 | 제호 :헬로티(helloT) | 발행인 : 이종춘, 이준원 | 편집인 : 김진희 |
본점 : 서울시 마포구 양화로 127, 3층, 지점 : 경기도 파주시 심학산로 10, 3층 | 발행일자 : 2012년 4월1일 | 청소년보호책임자 : 김진희 | 대표이사 : 이준원 | 사업자등록번호 : 118-81-03520 | 전화 : 02-3142-4151 | 팩스 : 02-338-3453 | 이메일 : help@hellot.net | 통신판매번호 : 제 2013-서울마포-1032호
copyright(c) HelloT all right reserved
UPDATE: 2026년 08월 19일 17시 52분
