테크노트 멀티모달 AI가 더 안정적인 이유, 수학적으로 밝혀졌다

이미지, 소리, 텍스트 등 여러 형태의 데이터를 함께 학습하는 멀티모달 AI가 단일 데이터만 학습한 AI보다 더 안정적으로 작동하는 이유가 수학적으로 규명됐다. UNIST는 인공지능대학원 윤성환 교수팀이 멀티모달 인공지능이 단일모달 인공지능보다 더 좋은 성능을 내는 원리를 ‘손실 지형’의 평탄화 관점에서 밝혔다고 26일 밝혔다. 멀티모달 학습은 이미지, 음성, 텍스트처럼 서로 다른 형태의 데이터를 함께 활용해 AI가 같은 대상이나 상황을 더 폭넓게 이해하도록 하는 학습 방식이다. 그동안 멀티모달 AI가 단일모달 AI보다 성능이 뛰어나다는 점은 경험적으로 알려져 있었지만, 실제 딥러닝 학습 과정과 연결해 이를 설명하는 이론적 근거는 부족했다. 연구팀은 여러 모달리티의 데이터를 함께 학습할 경우 손실 지형이 더 평탄해지고, 이로 인해 AI의 강건성이 향상된다는 점을 수학적으로 설명했다. 손실 지형은 AI가 학습 과정에서 겪는 오차와 모델 내부 설정값의 관계를 산과 골짜기처럼 표현한 개념이다. 손실 지형이 뾰족하고 가파르면 학습 데이터와 조금만 다른 입력에도 성능이 흔들릴 수 있다. 반대로 넓고 완만하면 경험하지 못한 새로운 데이터가 들어와도 성능을 안정적으로 유

• 이동재 기자
• 2026-06-29 15:51