최신뉴스 메타, 라마 3 오픈소스로 공개....'추론·코드 생성 도약했다'

두 모델, 동급의 오픈소스 모델 중 최고 수준의 성능인 것으로 평가받아 메타가 다양한 목적으로 사용 가능한 최신 대규모 언어모델(LLM) ‘라마 3(Llama 3)’를 오픈소스로 공개했다. 메타의 차세대 대규모 언어모델 라마3는 사전훈련과 미세조정을 마친 80억 개(8B)와 700억 개(70B) 매개변수 모델 두 가지로 공개됐다. 이 두 모델은 현재 동급의 오픈소스 모델 중 최고 수준의 성능인 것으로 평가받는다. ‘대규모 다중작업 언어 이해(MMLU)’를 포함한 다양한 업계 표준 벤치마크에서 높은 성적을 받았으며 추론과 코드 생성, 지시 수행에 있어 전보다 성능이 크게 개선됐다. 라마3의 성능 향상은 모델의 사전 훈련과 사후 훈련 과정을 고도화함으로써 이뤄졌다. 사전 훈련을 위해 데이터셋의 양을 늘리고, 필터링 과정을 거쳐 고품질 데이터만을 선별했다. 라마3는 15조 이상의 토큰으로 훈련되었으며, 이는 라마2 대비 7배 이상 많으며 코드량은 4배 더 많다. 라마3의 사전 훈련에는 일상적인 질문부터 과학, 기술, 공학, 수학(STEM) 분야, 코딩, 역사 지식에 이르기까지 다양한 분야의 데이터셋이 사용되었다. 이를 통해 모델이 보다 여러 영역에서 활용될 수 있

• 서재창 기자
• 2024-04-22 17:55