AI 시스템의 심리와 행동 분석해 잠재적 위험 사전 감지 인공지능(AI) 분야의 세계적 석학 요슈아 벤지오 캐나다 몬트리올대 교수가 인간 통제를 벗어난 AI 출현에 대비해 새로운 형태의 '과학자 AI' 개발에 나선다. 그는 이를 위해 비영리단체 '로제로(LawZero)'를 설립하고, 안전한 AI 생태계 구축에 본격적으로 나섰다. 요슈아 벤지오 교수는 최근 급속히 발전하고 있는 AI 기술이 인간의 통제 밖으로 벗어날 가능성을 경고해 왔다. 로제로는 이러한 우려를 반영해 AI의 위험성을 예측하고 통제하는 역할을 수행할 독립적인 AI 모델 개발을 목표로 한다. 새롭게 개발될 '과학자 AI'는 기존 AI 모델과 달리 인간 행동을 모방하지 않는다. 대신 다른 AI 시스템의 심리와 행동을 분석해 잠재적 위험을 사전에 감지하고, 이를 억제하는 기능에 초점을 맞춘다. 요슈아 벤지오 교수는 이 AI가 거짓말을 하거나 생존을 추구하지 않고, 솔직하고 속이지 않는 특성을 갖추도록 설계할 것이라고 밝혔다. 그는 대부분의 AI가 인간 행동을 본떠 개발되면서 거짓말이나 속임수 같은 부정적 특성까지 학습할 위험이 있다고 지적했다. 이에 대해 요슈아 벤지오 교수는 "우리는 인간을 모방하
산업 현장의 실질적인 대응 전략과 윤리적 기준 설정 논의 국제인공지능윤리협회(IAAE)가 27일 서울 강남구 구글 스타트업 캠퍼스에서 ‘2025 AI Safety Compass(ASC)’ 컨퍼런스를 성황리에 마쳤다. ‘변화하는 AI 환경에서의 기업 경쟁력 확보’를 주제로 열린 이번 행사는 생성형 AI의 확산과 내년 1월 예정된 ‘AI 기본법’ 시행을 앞두고, 산업 현장의 실질적인 대응 전략과 윤리적 기준 설정을 논의하는 자리였다. 올해로 2회를 맞이한 ASC 컨퍼런스에는 과학기술정보통신부, KISTI, AI안전연구소 등 공공기관과 함께 LGU+, 원티드랩, 셀렉트스타, AI3 등 다양한 AI 기업이 연사로 참여했으며, 금융, 교육, 법률 등 산업군 종사자 130여 명이 참석해 높은 관심을 보였다. 기조 세션의 포문을 연 과학기술정보통신부 공진호 과장은 “AI 패권 경쟁이 심화되는 시점에서 한국은 글로벌 3위권 진입을 위한 전환점을 맞이하고 있다”며, AI 인프라 확충, 인재 양성, 연구개발 강화 등을 핵심 과제로 제시했다. 이어 KISTI 이경하 센터장은 초거대 언어모델을 활용한 과학 연구 자동화의 가능성을 조망하며, AI가 학문적 패러다임을 재편하고 있다고