한국과학기술원(KAIST)은 전산학부 박종세 교수팀과 하이퍼엑셀(전기·전자공학부 김주영 교수 창업기업)이 챗GPT와 같은 생성형 AI에 특화된 고성능·저전력의 신경망처리장치(NPU) 핵심기술을 개발했다고 4일 밝혔다. 챗GPT4나 제미나이 2.5 등 최신 생성형 AI 모델들은 메모리 용량을 많이 필요로 하기 때문에 마이크로소프트나 구글 등 생성형 AI 클라우드 운영기업들은 엔비디아의 그래픽처리장치(GPU)를 수십만장씩 구매하고 있다. NPU는 인공신경망을 이용해 AI 연산에 특화된 반도체로 GPU 대비 저전력으로도 높은 효율을 낼 수 있어 GPU를 대체할 기술로 주목받고 있다. 연구팀은 메모리 사용의 대부분을 차지하는 ‘KV 캐시’(생성형 AI 모델을 작동할 때 성능을 높이기 위해 사용하는 임시 저장 공간)의 양자화를 통해 적은 수의 NPU 디바이스만으로 동일 수준의 AI 인프라를 구성, 생성형 AI 클라우드 구축 비용을 절감할 수 있는 기술을 개발했다. AI 처리 시스템은 보다 뛰어난 추론 서비스를 제공하기 위해 처리해야 하는 요청의 수와 길이가 증가하고, 이 때문에 생성형 AI 모델의 추론 과정에서 생성되는 KV캐시가 커지면서 메모리 병목으로 이어지게 된
데이터브릭스는 구글 클라우드와의 새로운 전략적 제품 파트너십을 18일 발표했다. 이를 통해 최신 제미나이(Gemini) 모델이 데이터브릭스의 데이터 인텔리전스 플랫폼 내에서 네이티브 제품으로 제공된다. 해당 파트너십을 통해 기업들은 데이터브릭스 환경 내에서 고급 보안과 통합된 거버넌스를 바탕으로 자사 데이터를 활용한 AI 에이전트를 직접 구축·배포·확장할 수 있게 된다. 기업들이 자사 고유 데이터를 AI로 활용해 가치를 창출하기 위해서는 답변에 대한 정확성과 보안, 규정 준수를 보장하면서도 운영 복잡성이 낮은 솔루션이 필요하다. 현재 많은 AI 도입 사례는 시스템 간 데이터 이동이나 단편적인 통제 관리로 인해 비효율을 초래하고 있다. 데이터브릭스와 구글 클라우드는 2021년부터 구글 클라우드 상에서의 대규모 데이터 솔루션을 공동 제공해왔으며 이번 파트너십 확대는 이러한 문제를 해결하고자 한다. 데이터브릭스의 통합 데이터 및 AI 플랫폼과 제미나이의 최첨단 모델을 결합함으로써, 기업은 보다 원활하고 안전하게 대규모 AI 솔루션을 구축하고 운영할 수 있다. 구글 제미나이 2.5(Gemini 2.5)는 AI 추론의 새로운 이정표를 세웠다. 또한 제미나이 2.5 프
상호명(명칭) : (주)첨단 | 등록번호 : 서울,자00420 | 등록일자 : 2013년05월15일 | 제호 :헬로티(helloT) | 발행인 : 이종춘 | 편집인 : 김진희 |
본점 : 서울시 마포구 양화로 127, 3층, 지점 : 경기도 파주시 심학산로 10, 3층 | 발행일자 : 2012년 4월1일 | 청소년보호책임자 : 김유활 | 대표이사 : 이준원 | 사업자등록번호 : 118-81-03520 | 전화 : 02-3142-4151 | 팩스 : 02-338-3453 | 통신판매번호 : 제 2013-서울마포-1032호
copyright(c) HelloT all right reserved
UPDATE: 2025년 08월 04일 18시 12분
