가트너(Gartner)가 2029년까지 대부분의 개인정보 침해 사고가 개인식별정보(PII)의 직접적인 유출이 아니라 AI가 개인에 대해 생성한 추론에서 비롯될 것으로 전망했다.
가트너는 개인정보 보호 위험의 무게중심이 데이터 노출에서 AI 알고리즘의 추론으로 옮겨가고 있다고 진단했다. 기업들이 규제와 비용 부담을 이유로 개인 데이터 보유량을 줄이는 동안 위협 행위자들은 AI를 활용한 추론 기반 공격을 수행할 수 있게 됐다. 생성형 AI와 머신러닝 기술이 발전하면서 익명·집계 데이터에서도 개인의 건강 상태나 행동 패턴 같은 민감 정보를 유추하는 것이 가능해졌다.
바트 빌렘센(Bart Willemsen) 가트너 수석 애널리스트는 “개인정보 침해 양상이 데이터 유출에서 인사이트 유출로 바뀌고 있다”며 “그동안 기업들은 개인정보를 보호하는 데 주력해 왔지만 AI는 이제 기존 데이터 통제에 구애받지 않고도 개인의 심층적인 인사이트까지 재현할 수 있다”고 말했다. 이어 “개인정보 보호 위험은 데이터 노출보다 AI 알고리즘이 개인에 대해 추론하는 내용에서 더 많이 발생하고 있다”고 덧붙였다.
추론 기반 공격은 실제 기록이 유출되지 않더라도 AI가 도출한 결론을 통해 개인 민감 정보를 드러낼 수 있다는 점에서 기존 탐지 체계의 사각지대에 놓인다. 빌렘센 애널리스트는 “추론 공격은 기존 탐지 체계에 포착되지 않는 경우가 많아 더욱 위험하다”며 “이는 데이터 무결성을 훼손하고 탐지와 설명 및 완화가 어려운 개인정보 침해 위험을 초래한다”고 설명했다.
이에 따라 보안 리더는 개인 데이터를 보호하는 데 그치지 않고 AI 시스템이 개인에 관한 인사이트를 어떻게 생성하고 활용하며 이를 바탕으로 어떻게 행동하는지까지 관리해야 하는 과제를 안게 됐다. 가트너는 기업들이 AI 프로필의 오류와 편향 및 무단 생성 위험에 대한 대응을 강화하면서 2028년까지 데이터 무결성 보호 지출이 기밀성 보호 투자와 같은 수준에 이를 것으로 내다봤다.
빌렘센 애널리스트는 “개인정보를 데이터 보호의 문제로만 인식하는 기업은 AI 생성 추론으로 인한 개인정보 침해 사고에 갈수록 취약해질 것”이라며 “향후 개인정보 보호 위험은 기업의 데이터 저장 방식보다 AI의 데이터 해석 방식에 더 크게 좌우될 것”이라고 말했다.
이에 가트너는 추론 기반 개인정보 보호 위험에 대응하기 위한 조치도 함께 권고했다. 우선 AI 개발과 배포 전 과정에 프라이버시 중심 설계(privacy by design) 원칙을 적용하고 알고리즘 편향성과 과적합 및 의도치 않은 추론 위험을 정기적으로 점검해 개인정보 보호 프로그램에 AI 거버넌스를 내재화할 것을 제안했다. 또 차등 프라이버시 기술과 합성 데이터 및 개인정보 보호형 머신러닝 등 개인정보 보호 강화 기술(PET)을 도입해 데이터를 보호된 상태로 처리하고 재식별 위험을 낮추도록 했다.
더불어 데이터 수집을 반드시 필요한 범위로 제한하고 엄격한 접근 통제와 적시 삭제를 통해 추론 기반 공격에 악용될 수 있는 정보를 최소화하는 수명주기 관리도 강조했다. 아울러 간접적인 악용 패턴과 추론 기반 위협을 식별할 수 있도록 고급 모니터링과 이상 징후 탐지 및 시나리오 계획 역량에 투자할 것을 권고했다. 마지막으로 AI의 추론 수행 가능 영역과 불가능 영역을 명확히 정의해 문서화하고 정기 감사하며 민감 데이터에 조치를 취하기 전에 AI가 생성한 추론을 검증하는 ‘휴먼 인 더 루프(human in the loop)’를 의무화하도록 했다.
헬로티 구서경 기자 |
