"허위 정보 가운데 AI가 생성한 콘텐츠가 증가한 것은 빠르게 변화하는 환경 보여줘" 인공지능(AI)이 만들어낸 이미지를 이용한 허위 정보가 지난해 초 이후 급증했다는 연구 결과가 나왔다. 구글과 듀크대 연구팀은 팩트체크 사이트 및 미디어 단체와 최근 공동으로 집필한 논문에서 AI가 생성한 가짜 이미지가 2023년 초 이후 크게 늘어났다고 밝혔다고 미 NBC 방송 등이 29일(현지시간) 보도했다. 연구팀은 팩트체크 매체 스노프스(Snopes)가 진위를 확인했던 1995년 이후 2023년 11월까지 13만6천건의 팩트체크 사례를 분석했다. 논문에 따르면, 지난해 3월 프란치스코 교황이 허리춤이 강조된 흰색 롱패딩을 입은 가짜 사진이 소셜미디어(SNS)에 퍼지기 전만 해도 AI로 생성하는 가짜 이미지는 거의 없었다. 그러나 이후에는 AI가 생성하는 가짜 이미지는 텍스트나 포토샵 등 전통적인 방법으로 만들어지는 허위 정보와 비슷한 수준이 될 정도로 급격히 늘었다. 연구팀은 "허위 정보 가운데 AI가 생성한 콘텐츠가 크게 증가한 것은 빠르게 변화하는 환경을 보여준다"고 분석했다. 알렉시오스 만찰리스 국제팩트체킹네트워크 전 국장은 "생성형 AI 도구로 거의 누구나 온
경찰청, 선거 범죄 비롯해 피싱 범죄, 성 착취물 범죄 등 딥페이크 기반 지능형 범죄에 대처 딥브레인AI가 15일 경찰청과 협력해 딥페이크 범죄 단속을 돕는 딥페이크 탐지 솔루션을 선보였다고 밝혔다. 최근 딥페이크 기술의 고도화로 이를 악용한 범죄 우려가 가중됨에 따라, 딥브레인AI는 경찰청과 함께 이를 효과적으로 대응하는 맞춤형 딥페이크 탐지 솔루션을 개발했다. 경찰청은 이를 활용해 총선을 겨냥한 선거범죄를 비롯한 피싱 범죄와 합성 성 착취물 범죄 등 딥페이크 기반 지능형 범죄에 능동적으로 대처할 방침이다. 딥브레인AI의 딥페이크 탐지 솔루션은 종합탐지, 음성탐지 두 가지로 구성돼 있으며, 각각 이미지와 영상, 음성 탐지를 지원한다. 딥페이크로 의심되는 영상을 시스템에 업로드하고 탐지모델, 탐지구간, 탐지인물 등을 설정하면 진위여부를 즉각 판별한다. 이미지와 영상은 픽셀 단위로 분석하며, 음성은 주파수와 시간, 노이즈 등 다양한 조작 요소를 종합적으로 고려해 판단한다. 통상 5~10분 정도의 탐지 시간이 소요되며, 딥페이크로 판명될 경우 가짜로 표시된다. 판별이 완료되면 변조율과 합성유형 등 범죄에 사용된 기술 정보도 함께 제공한다. 이번 딥페이크 탐지 솔
카카오, 딥페이크 허위 조작 정보 근절 방안의 하나로 제시해 카카오의 인공지능(AI) 이미지 생성 모델 '칼로'에 비가시성 워터마크 기술이 도입됐다. 카카오는 13일 딥페이크 허위 조작 정보 근절 방안의 하나로 이 같은 방안을 시행한다고 밝혔다. 이는 작년 12월 공직선거법 개정으로 4·10 국회의원 총선거 운동 기간인 현재 유권자를 상대로 한 AI 기반 딥페이크 제작·편집·유포·상영·게시가 금지된 데 따른 조처다. 카카오는 인물을 기반으로 한 AI 생성물에 대한 공유가 더 활발히 이뤄지는 만큼, 카카오톡 채널 '칼로 AI 프로필' 기능에 비가시성 워터마크를 먼저 도입했다고 소개했다. 또한, 이미지 생성 웹 기반 전문가 도구인 '칼로.ai'에도 이달 내 비가시성 워터마크가 도입될 예정이라고 덧붙였다. 비가시성 워터마크란 일반 사용자의 눈에는 보이지 않는 워터마크를 적용하는 기술로, 가시적 이미지 훼손 없이 칼로로 생성된 이미지라는 정보를 담는다. 카카오는 사용자가 이미지를 일부 편집하더라도 비가시성 워터마크가 제거되거나 훼손되지 않는다고 설명했다. 카카오는 "이미지 생성 애플리케이션인 '비 디스커버(B^ DISCOVER)'에는 가시성 워터마크를 이미 도입한
AI 발전은 인류에 혜택으로 돌아오지만 이면도 존재한다. 대표적인 예가 딥페이크다. 해커들은 AI와 딥러닝의 발전으로 인해 진짜 같은 가짜 사진, 영상 및 음성을 생성하는 능력을 증가시켰다. AI를 차치하더라도 단기간의 급격한 기술 발전은 딥페이크와 같은 부작용을 낳기도 한다. 이에 정부 및 주요 기업은 AI가 미칠 부정적인 영향에 대비해 다양한 제도와 가이드라인을 만드는 추세다. 반면 이 같은 규제가 도리어 AI 발전 속도를 저해할 수 있다는 목소리도 나오고 있다. 현실로 다가온 딥페이크 위협 지난 1월 미국을 대표하는 팝스타인 테일러 스위프트의 얼굴 사진이 합성된 이미지가 SNS를 통해 확산된 사건이 화제가 됐다. 현재 삭제된 이 이미지는 X, 인스타그램, 레딧 등에서 공유되면서 4700만 조회 수를 기록하기도 했다. 이 끔찍한 합성 이미지를 만드는데 적용된 기술이 딥페이크다. AI 탐지 기업인 리얼리티 디펜더는 이 합성 이미지가 AI 모델을 사용해 생성된 것이라고 확신했다. 딥페이크란 '딥러닝(Deep learning)'과 '가짜(Fake)'란 말의 합성어로, 최근에는 AI 기술을 기반으로 만들어낸 부정적인 창작물로서의 의미가 강하다. 같은 달 또 다른
플랫폼 사업자들, AI 생성물 표시·탐지·삭제 등 자율규제 강화 나서 방송통신위원회(방통위)는 23일 구글, 메타, 네이버, 카카오 등 국내외 플랫폼 사업자들과 딥페이크(Deepfake) 허위 정보 대응 관련 자율규제 강화를 위한 민관협력 회의를 개최했다. 최근 딥페이크 기술을 활용한 유명인 관련 허위 조작정보가 사회관계망서비스(SNS) 등을 통해 확산하면서 실제 사기 피해가 발생하는 등 사회적 문제로 대두되자 사업자가 즉시 취할 수 있는 피해 예방 대책을 논의하기 위한 회의였다. 이날 회의에는 네이버, 카카오, 구글, 메타, 엑스(X, 옛 트위터), 바이트댄스(틱톡) 등 국내외 주요 플랫폼 및 인공지능(AI) 기술 개발사 관계자들이 참석했다. 참석자들은 AI 생성물 표시, 탐지 모니터링, 삭제·차단 조치 등과 관련된 자율규제 현황과 강화 방안 등에 대해 의견을 나눴다. 이상인 방통위 부위원장은 회의를 주재하면서 "딥페이크 허위 정보로 인한 개인 피해와 사회적 혼란을 예방하기 위해서는 플랫폼의 자정 노력이 무엇보다 중요하다"고 강조했다. 특히 올해는 전 세계적으로 주요 선거들이 예정되어 있음을 언급하며 "플랫폼 사업자들은 더욱 적극적이고 선제적인 자율규제에
국회, 작년 12월 본회의에서 딥페이크 금지에 대한 공직선거법 개정안 의결 오는 4월 10일 제22대 국회의원 총선거가 50여일 앞으로 다가온 가운데, 법으로 금지된 딥페이크 게시물이 활개를 치고 있다. 19일 중앙선거관리위원회(선관위)에 따르면 지난달 29일부터 지난 16일까지 19일간 유권자를 상대로 딥페이크를 이용한 선거 운동 행위로 공직선거법을 위반한 게시물은 129건에 달했다. 선관위 측은 "모두 자체 모니터링을 통해 인지한 사례"라면서 "대부분 삭제가 완료됐으나 현재 조치가 진행 중인 건도 있다"고 설명했다. 딥페이크는 세계적으로 악용 사례가 크게 늘며 무엇보다도 가짜 뉴스로 둔갑해 여론을 호도하는 민주주의 최대 위협 요소라는 위기의식이 높아지고 있다. 최근 팝스타 테일러 스위프트가 딥페이크 음란물 피해를 입은 것을 비롯해, 교묘하고 감쪽같은 딥페이크 영상에 속아 사기를 당하는 사건이 국내외에서 연이어 발생했다. 2022년에는 지방선거를 앞두고 윤석열 대통령이 당시 국민의힘 박영일 남해군수 후보를 지지하는 가짜 영상이 사회관계망서비스(SNS)를 통해 확산하면서 정치적 논란이 되기도 했다. 이에 국회는 작년 12월 본회의에서 선거일 90일 전부터 유
과기정통부 장관 주재 새로운 디지털 질서 정립을 위한 26개 관계부처 회의 개최 파급력 높은 8개 핵심쟁점 집중 관리…3월까지 범부처 디지털 신질서 정립 추진계획 수립 정부가 디지털 시대의 핵심쟁점 8개를 선별해 집중적으로 관리하고 3월까지 ‘범부처 디지털 신질서 정립 추진계획’을 발표한다고 밝혔다. 과학기술정보통신부(이하 과기정통부)는 30일 과기정통부 장관 주재 제2차 새로운 디지털 질서 정립 관계부처 회의(이하 관계부처 회의)」를 개최했다. 과기정통부는 이번 회의가 ‘새로운 디지털 질서’의 기본방향인 ‘디지털 권리장전’을 토대로 구체적인 디지털 질서 정립 추진방안을 논의하기 위해 마련됐다고 밝혔다. 논의에 앞서 과기정통부는 디지털 심화 시대에 범정부 대응현황을 확인하는 ‘디지털 심화대응 실태진단’을 관계부처에 공유했다. 이번 실태진단은 디지털 권리장전 제1차 관계부처 회의(10.30) 이후 약 2개월 간 진행됐다. 관계부처는 이번 실태진단을 통해 인공지능 개발·활용에 따른 저작권 문제, 디지털 서비스(키오스크 등) 접근성 등 소관부처를 중심으로 대응 중인 17개 분야, 52개 쟁점·현안을 도출했다. 정책연구, 해외사례 분석, 전문가 자문 등을 통해 쟁점
딥브레인AI가 제작 편의성을 개선한 AI추모서비스 '리메모리2'를 출시했다고 22일 밝혔다. 리메모리는 고인이 된 가족의 얼굴과 목소리, 표정 등을 사실 그대로 구현한 'AI고인'을 제작하는 AI추모서비스다. 이 서비스는 AI를 활용한 신개념 추모 문화를 제시하며 지난 CES 2023에서 가상·증강현실(Virtual & Augmented Reality) 부문 혁신상을 수상하기도 했다. 리메모리2는 모델이 직접 스튜디오에 방문해 약 3시간 정도의 촬영과 인터뷰를 진행해야 했던 기존 서비스와 달리, 사진 한 장과 10초 분량의 음성만으로도 AI 휴먼을 제작하는 '드림아바타' 솔루션을 탑재했다. 이를 통해 고인을 AI로 구현할 수 있게 돼 서비스 적용 범위가 한층 더 넓어졌다. 리메모리2는 구현하고자 하는 모델에 대한 생애 스토리를 가족들에게 전달받아 문구를 제작한다. 400자 기준 1분 정도의 시간이 소요되며 AI고인으로 제작된 영상은 PC와 모바일, 태블릿, 키오스크 등 영상을 실행할 수 있는 모든 기기에서 확인할 수 있다. 딥브레인AI는 고인과 재회를 돕는 AI추모서비스의 대중화를 위해 합리적인 가격으로 리메모리2를 선보였다. 특히 AI고인의 모습으로
딥브레인AI, SaaS형 딥페이크 탐지 솔루션 출시 국내 생성형 인공지능(AI) 전문 기업 딥브레인AI(대표 장세영)가 클라우드 환경에서 운영되는 서비스형 소프트웨어(SaaS) 기반의 딥페이크 탐지 솔루션을 출시했다고 12일 밝혔다. 딥브레인AI는 최근 가짜 뉴스와 불법 음란물, 금융 범죄 등 각종 신종 범죄의 수단으로 딥페이크가 악용되는 사례가 늘어남에 따라, 이에 대응하는 탐지 기술에 대한 접근성을 높이고자 이번 SaaS형 딥페이크 탐지 솔루션을 공개했다. SaaS 도입 이전에는 제한된 접근성으로 국내 일부 관공서 등지에서 한정적으로 활용됐으나, 이젠 누구나 손쉽게 장소에 구애받지 않고 딥페이크 영상, 이미지, 음성 등의 탐지가 가능해질 전망이다. 딥브레인AI는 글로벌 탑티어 수준의 생성형 AI 아바타 제작 솔루션과 내부 축적된 다량의 딥러닝 기반 AI 휴먼 데이터를 토대로 딥페이크 탐지 솔루션을 제작해 완성도를 높였다. ▲종합탐지 ▲음성탐지 2가지 서비스를 제공하며, 한국어를 비롯해 영어, 중국어, 일본어 등 4개 언어를 지원한다. 종합탐지 서비스는 조작된 이미지와 동영상을 탐지한다. 우선 가상 얼굴 생성 기능인 ‘페이스 제너레이션(Face Genera
장소에 구애받지 않고 딥페이크 영상, 이미지, 음성 등 탐지 가능해져 딥브레인AI가 클라우드 환경에서 운영되는 서비스형 소프트웨어(SaaS) 기반의 딥페이크 탐지 솔루션을 출시했다고 12일 밝혔다. 딥브레인AI는 최근 가짜 뉴스와 불법 음란물, 금융 범죄 등 각종 신종 범죄의 수단으로 딥페이크가 악용되는 사례가 늘어남에 따라, 이에 대응하는 탐지 기술에 대한 접근성을 높이고자 SaaS형 딥페이크 탐지 솔루션을 공개했다. SaaS 도입 이전에는 제한된 접근성으로 국내 일부 관공서 등지에서 한정적으로 활용됐으나, 이젠 누구나 손쉽게 장소에 구애받지 않고 딥페이크 영상, 이미지, 음성 등의 탐지가 가능해질 전망이다. 딥브레인AI는 글로벌 탑티어 수준의 생성형 AI 아바타 제작 솔루션과 내부 축적된 다량의 딥러닝 기반 AI 휴먼 데이터를 토대로 딥페이크 탐지 솔루션을 제작해 완성도를 높였다. 종합탐지, 음성탐지 두 가지 서비스를 제공하며, 한국어를 비롯해 영어, 중국어, 일본어 등 네 개 언어를 지원한다. 종합탐지 서비스는 조작된 이미지와 동영상을 탐지한다. 우선 가상 얼굴 생성 기능인 ‘페이스 제너레이션’과 특정인의 얼굴로 교체하는 ‘페이스 스왑’, ‘립싱크’ 등
'가장 우려되는 2024 사이버 보안 위협' 발표 글로벌 인터넷 보안 기업 노드VPN이 4일 2024년 새해에 가장 우려가 되는 사이버 보안 위협 다섯 가지를 발표했다. 대규모 다크웹 해커 포럼에서 수집한 데이터를 바탕으로 노드VPN의 전문 연구팀이 분석해 발표한 보안 위협은 ▲누드 사진이나 영상 불법 배포 ▲해커의 인공지능(AI) 적극 활용 ▲신규 해커 수 증가 ▲불법 개인정보 판매 증가 ▲새로운 생체 인증 우회법 발견이다. 유출된 누드 사진이나 영상이 다크웹에서 유행 온라인 암거래 시장인 다크웹(Dark Web) 게시판을 분석한 결과, 온리팬, 인스타그램 및 기타 콘텐츠 공유 플랫폼을 통해 유출된 누드 사진이나 영상에 달린 댓글은 무려 평균 1850개에 달했으며, 이는 댓글 수 기준 상위 20위의 게시물인 것으로 나타났다. 누드 사진이나 영상에 대한 해커들의 적극적인 관심과 활발한 의견 교환으로 미루어 보았을 때, 2024년 새해에는 불법 유출된 이미지와 심지어 딥페이크(Deepfake) 기술을 기반으로 한 불법 이미지 생성 및 유출이 더 늘어날 것이라는 전망이다. 이를 피하기 위해, 노드VPN은 소셜 미디어를 통한 이미지와 영상 공유를 멈추고 안전한 보
‘딥페이크, 사후 프라이버시…’ 늘어나는 쟁점, AI 윤리가 기술 개발 기준점 돼야 법무법인 원의 이유정 변호사가 생성형 AI 관련 기업들이 더 자유롭고 편안하게 기술을 개발할 수 있도록 하기 위해선 정부가 신속히 최소한의 가이드라인을 만들어야 한다고 촉구했다. 이유정 변호사는 The AI Forum 2023(TAF 2023)에서 생성형 AI 시대에 고민해봐야 할 여러 문제들에 대한 생각을 나누며 이같이 말했다. 이유정 변호사는 “인공지능 기술의 진보는 매우 빠른 속도로 이뤄지고 있지만, 그에 비해 인공지능 윤리와 법과 규제에 대한 논의는 매우 천천히 뒤따라가고 있다”며, “우리나라도 오래전부터 인공지능 기본법을 발의한다는 얘기가 나왔지만 아직 통과되지 않고 있다”고 지적했다. 저작권, 딥페이크, 사후 프라이버시 등 다양한 인공지능 관련 쟁점에 대해 이 변호사는 “인공지능은 기존 법 체계로 해결할 수 없는 문제들이 많다”며, “현재 우리의 법 체계는 인간 중심의, 국가를 단위로 한 법 체계이기 때문에 근본적으로 다양한 한계를 안고 있다”고 설명했다. 또한 “인공지능 기술을 사전적으로 규제하려면 예측이 가능해야 하는데 인공지능 기술이 예측할 수 없을 만큼 빠르
IoT 공격·서비스형 랜섬웨어 위협·피싱·스미싱·딥페이크 등 급증하는 사이버 이슈 해결법 내놔 레노버가 기술 고도화에 따른 보안 이슈에 대응하는 전략을 제안했다. 최근 연결성 측면에서 솔루션으로 급부상하고 있는 IoT를 대상으로 사이버 공격을 감행한 사례가 급증하고 있다. 또 대상 정보를 강제 암호화한 후 복호화를 대가로 금품을 요구하는 서비스형 랜섬웨어(Ransomware-as-a-Service) 수법, 피싱 및 스미싱, 인공지능(AI) 기반 사이버 공격 및 딥페이크, 공급망 대상 공격 등 보안 이슈가 산업 내 뜨거운 감자다. 이에 기관 및 기업은 보안 정책 수립과 보안 관련 투자를 지속하고 있다. 보안 영역은 산업 성장성과 결부돼 필수 요소로 자리잡았다. 이 배경에서 레노버가 사이버 보안 전략을 산업에 제시했다. 데이터 무결·기밀·가용성을 유지하고, 잠재 위험을 최소화하기 위한 엔드포인트 보호가 필수라는 게 골자다. 레노버는 엣지에서의 AI 기반 실시간 데이터를 분석하는 엣지 보안을 강조했다. 이를 통해 대역폭 절약, 데이터 가로채기 등 위협을 줄일 수 있다고 언급했다. 여기에 종랍 리스크 평가 및 예측, 보안 사고 대응 계획 수립, 백업 및 재해 복구
금융보안원 '금융분야 합성데이터 활용 세미나'서 '비정형데이터 기반 금융권 합성데이터 활용 전략' 소개 CN.AI(이하 씨앤에이아이)는 20일 금융보안원이 주최한 '금융분야 합성데이터 활용 세미나'에 참석해 금융권 내 빠른 적용과 효과가 기대되는 AI 합성데이터 적용 가능 분야들을 소개했다고 21일 밝혔다. 합성데이터는 데이터 부족문제를 해결하기 위해 가상으로 생성한 AI학습용 데이터다. 이날 발표에서 윤정석 씨앤에이아이 개발실장은 이미 금융권 내 인증·결제, 안내 및 상담 등의 고객대상 업무에서부터 신용평가, 사기방지, 외환시장 및 자본시장 거래 등 금융산업의 많은 분야에 있어 AI기술들이 빠르게 활용되고 있다고 설명했다. 이어 합성데이터는 이러한 AI금융 생태계 확산을 위한 기능 고도화는 물론 각종 취약점들을 보완할 수 있는 핵심기술로 그 활용을 위한 적극적 논의가 필요하다고 강조했다. 특히 이미지 분야 합성데이터 생성에 대한 경쟁력을 기반으로 ▲안면인식 활용 지불 시스템 및 고객 통계 시스템 구축해 마케팅 성과 창출 ▲딥페이크(Deep Fake)나 샬로우페이크(Shallow Fake) 탐지를 통한 금융 거래 취약점 방지 ▲AI휴먼을 활용한 발표·교육·고
인공지능에 대한 관심이 여느 때보다 뜨겁다. 인공지능 기술을 구현하기 위해 빠질 수 없는 요소가 있다면 바로 데이터다. 데이터의 수집부터 가공, 활용까지 이어지는 데이터 라이프 사이클 전 주기를 관리하고 서비스하는 인공지능 데이터 전문 기업 인피닉이 2023 국제인공지능대전(AI EXPO KOREA)에서 자사 솔루션을 선보였다. 인피닉은 CES 2022에서 스마트 리테일 기술로 혁신상 두 개 부문을 수상했다. 인피닉의 관계자를 만나, 솔루션에 대한 자세한 소개와 기술개발 현황 등에 대해 들어봤다. “이번 전시회 인피닉 부스에서는 데이터 라이프 사이클 관리 솔루션 ‘데이터 스튜디오’와, 센서 퓨전이라고 하는 독자적인 데이터 기술, 민감 정보 데이터 보호 솔루션 ‘하이디’를 전시하고 있습니다.” 센서 퓨전은 카메라 센서와 3차원 공간 정보를 획득하는 라이다 센서, 두 개의 센서를 통해 각각 획득한 데이터를 통합, 보정(Calibration)해 정확도를 높이고, 보정된 결과를 영상으로 투사(Projection)하는 기술이다. Q. 올해 초 CES에서도 센서 퓨전 기술을 선보였는데… “ CES 2023에서 선보인 센서 퓨전에서 한층 업그레이드, 센서 퓨전 데이터에서