생성형 AI 열풍이 산업 전반을 뒤흔드는 가운데, 이제 기업 경쟁력은 단순한 AI 도입 여부가 아니라 ‘어떻게 활용하느냐’에서 갈리고 있다. 한국마이크로소프트 백인송 이사는 “AI 시대의 승자는 상위 5% 기업이 될 가능성이 높다”며, 업무 인프라·데이터 전략·보안 체계까지 연결된 ‘AI 활용 구조’의 중요성을 강조했다. 특히 최근 시장은 생성형 AI를 넘어 독립적으로 업무를 수행하는 ‘에이전트 AI’ 중심으로 빠르게 이동하고 있으며, 이에 따라 SaaS 산업 구조와 기업 조직 운영 방식까지 변화하고 있다는 분석도 제기됐다. AI는 단순 생산성 도구를 넘어 기업 가치와 조직 생존 전략 자체를 바꾸는 핵심 인프라로 자리 잡고 있다.
‘에이전트 AI’ 시대, 지금 기업 현장에서 벌어지는 일
불과 2~3년 전까지만 해도 기업들의 관심은 ‘생성형 AI를 도입할 것인가’에 머물러 있었다. ChatGPT가 등장하던 초기만 해도 AI는 문서를 요약하고 보고서를 작성하거나 간단한 질의응답을 수행하는 수준의 도구로 인식됐다. 하지만 지금 시장의 분위기는 완전히 달라졌다. 이제 AI는 단순히 질문에 답하는 수준을 넘어 스스로 행동하고 업무를 수행하는 ‘에이전트 AI(Agent AI)’ 시대로 이동하고 있다.
한국마이크로소프트 백인송 이사는 이러한 변화를 설명하며 글로벌 IT 시장의 흐름 자체가 바뀌고 있다고 진단했다. 그는 특히 미국의 대표 기술 애널리스트 메리 미커(Mary Meeker)의 AI 보고서를 사례로 들며 “AI는 인터넷 혁명 이상의 속도로 산업을 재편하고 있다”고 강조했다. 메리 미커는 1990년대 인터넷 시대를 정확하게 예측했던 인물로 유명하다. 당시 전자상거래와 온라인 플랫폼, 디지털 네트워크의 폭발적 성장을 예견했던 그의 통찰은 현재 AI 시장에서도 다시 주목받고 있다.
실제로 AI 확산 속도는 기존 플랫폼 시대와 비교 자체가 어려운 수준이다. 백 이사에 따르면 GPT 기반 서비스는 불과 2년 만에 전 세계 사용자 8억 명 규모로 성장했다. 1억 명 사용자 확보에는 단 3개월밖에 걸리지 않았다. 페이스북이 같은 규모까지 7년, 스마트폰이 대중화되기까지 15년 가까운 시간이 필요했던 점을 감안하면 사실상 산업 역사상 가장 빠른 기술 확산 속도라는 평가가 나온다.
이 같은 변화는 단순한 기술 유행 수준이 아니다. AI는 이제 국가 경쟁력과 산업 패권을 좌우하는 전략 자산으로 인식되고 있다. 과거 소프트웨어 경쟁이 플랫폼 중심이었다면 지금은 물류, 국방, 제조, 공급망 관리까지 AI가 직접 연결되는 구조다. 기업 역시 단순히 AI를 사용하는 단계를 넘어 “AI가 실제로 조직 안에서 어떤 역할을 할 것인가”를 고민하기 시작했다.
특히 최근 가장 주목받는 영역은 에이전트 AI다. 생성형 AI가 사용자의 질문에 대한 결과를 제공했다면, 에이전트 AI는 사용자의 의도와 선호를 파악해 독립적으로 행동한다. 예를 들어 사용자가 스마트폰으로 “햄버거 주문해줘”라고 말하면 AI는 단순 추천이 아니라 사용자의 과거 주문 데이터와 선호 브랜드, 결제 방식, 배달 앱까지 종합적으로 판단해 실제 주문까지 수행한다. 즉 AI가 단순 보조자가 아니라 ‘실행 주체’로 이동하는 셈이다.
기업 현장에서는 이 변화가 더욱 극적으로 나타나고 있다. 이제 AI는 회의 요약이나 보고서 작성 수준을 넘어 업무 흐름 자체를 자동화하기 시작했다. 기업들은 단순 생산성 향상을 넘어 “AI를 통해 조직 전체의 운영 방식을 바꿀 수 있는가”를 경쟁력의 핵심으로 보기 시작했다.
SaaS 위기론부터 엔비디아 반격까지…AI 시장은 왜 더 커지고 있나
에이전트 AI의 등장은 시장에 엄청난 충격을 안겼다. 특히 기존 SaaS(서비스형 소프트웨어) 산업은 직접적인 타격 가능성이 제기됐다. 많은 전문가들은 “AI가 사람 대신 업무를 수행하게 되면 결국 기존 SaaS 서비스의 역할도 줄어드는 것 아니냐”는 의문을 제기했다.
실제로 시장은 즉각 반응했다. 오픈AI와 클로드 계열 서비스가 새로운 AI 업무 기능을 공개했을 당시 글로벌 빅테크 기업들의 주가는 급락했다. 마이크로소프트 역시 하루 만에 약 10% 가까운 하락세를 기록할 정도로 시장 충격이 컸다. 투자자들은 AI가 기존 업무용 소프트웨어 시장 자체를 붕괴시킬 가능성을 우려했다.
하지만 엔비디아 CEO 젠슨 황의 해석은 달랐다. 그는 당시 인터뷰에서 매우 상징적인 비유를 내놓았다. “부엌에 로봇이 들어왔다고 냄비나 국자가 사라지는 것은 아니다”라는 설명이었다. AI가 업무를 자동화하더라도 결국 다양한 업무 도구와 플랫폼은 더 많이 사용될 수밖에 없다는 논리다. 오히려 AI는 24시간 동안 SaaS 서비스를 활용하며 훨씬 더 많은 데이터를 생성하고, 그 데이터는 다시 새로운 비즈니스 가치를 만든다는 것이다.
이 시각은 현재 시장 흐름과도 맞아떨어진다. 실제 기업들은 AI 자체보다 AI와 연결되는 업무 플랫폼과 데이터 환경 구축에 더 집중하고 있다. 단순히 AI 챗봇 하나를 도입한다고 조직 경쟁력이 올라가는 시대는 끝났다는 의미다.
특히 기업용 AI 시장은 일반 소비자용 생성형 AI와 전혀 다른 방향으로 진화하고 있다. 기업들은 단순 답변 품질보다 △보안 △업무 연동 △데이터 관리 △협업 구조 △업무 자동화 수준을 더 중요하게 보기 시작했다. 이는 AI 경쟁의 기준이 ‘모델 성능’에서 ‘업무 생태계 구축 능력’으로 이동하고 있음을 보여준다.
결국 시장은 AI 때문에 축소되는 것이 아니라, AI를 중심으로 다시 재편되고 있는 셈이다. 그리고 그 과정에서 살아남는 기업은 단순 AI 사용자보다 AI 중심 업무 구조를 먼저 설계한 기업이 될 가능성이 높다.
“코드 절반 이상을 AI가 만든다”…개발 조직의 현실
AI가 가장 빠르게 산업 구조를 바꾸고 있는 분야는 단연 소프트웨어 개발 영역이다. 특히 글로벌 빅테크 기업에서는 이미 AI가 개발 조직의 핵심 생산 도구로 자리 잡고 있다.
백인송 이사는 엔트로픽(Anthropic) 보고서를 인용하며 “컴퓨터 사이언스 분야는 이론적으로 AI가 약 94%까지 수행 가능한 수준에 도달했다”고 설명했다. 다만 실제 산업 현장 적용은 약 33% 수준인데, 이는 정책과 규제, 보안, 책임 문제 등 현실적 제약 때문이라는 분석이다.
그럼에도 변화 속도는 매우 빠르다. 마이크로소프트 사티아 나델라 CEO는 이미 지난해 인터뷰에서 “윈도우와 오피스 제품군 코드의 약 30%를 AI가 작성하고 있다”고 언급했다. 이후 그 비율은 40% 수준까지 증가한 것으로 알려졌다. 현재 업계에서는 사실상 절반 이상의 반복형 코딩 업무가 AI 기반으로 진행되고 있다는 분석도 나온다.
이 변화는 채용 시장에도 직접 영향을 미쳤다. ChatGPT와 코덱스(Codex)가 등장한 이후 신규 개발자 채용 수요는 급격하게 감소했다. 특히 반복적인 개발 업무나 단순 유지보수 영역은 AI가 빠르게 대체하고 있다. 실제 미국 빅테크 기업들은 2023년 이후 대규모 구조조정을 단행했고, 최근 마이크로소프트는 창사 이후 처음으로 희망퇴직을 발표하기도 했다.
반면 역설적으로 최고급 AI 인재의 가치는 폭등하고 있다. AI를 활용해 고차원 문제를 해결할 수 있는 시니어 개발자와 설계 인력은 오히려 몸값이 천정부지로 상승하는 상황이다. 특정 AI 연구 인재 영입을 위해 수천억 원 규모의 계약이 거론되는 사례까지 등장하고 있다.
이는 결국 AI 시대 인재 시장의 양극화를 의미한다. 단순 반복 업무 중심 인력 수요는 줄어들지만, AI를 설계하고 통제하며 전략적으로 활용할 수 있는 인재는 더욱 중요해지고 있다. 기업 역시 “얼마나 많은 인력을 보유했는가”보다 “AI와 함께 일할 수 있는 조직인가”를 경쟁력 기준으로 보기 시작했다.
디지털 워크플레이스 없는 AI 도입은 실패할 가능성이 높다
많은 기업들이 AI 도입에만 집중하지만, 실제 현장에서는 AI 이전에 먼저 구축해야 하는 것이 존재한다. 바로 ‘디지털 워크플레이스’다.
백인송 이사는 “디지털 워크플레이스가 갖춰지지 않은 상태에서 AI를 도입하면 기대한 성과를 얻기 어렵다”고 강조했다. 이는 단순한 IT 인프라 문제가 아니다. 조직 내부의 협업 방식과 데이터 흐름, 업무 문화 전체가 AI 친화적으로 바뀌어야 한다는 의미다.
대표적인 예가 협업 환경이다. 오늘날 기업 업무는 단일 조직 내부에서만 이루어지지 않는다. 다양한 외부 파트너와 공급망, 프로젝트 협업 구조가 동시에 연결된다. 이 과정에서 이메일, 메신저, 캘린더, 클라우드 저장소, 그룹웨어, 문서 협업 시스템이 유기적으로 연동되지 않으면 AI 역시 업무 흐름을 제대로 이해할 수 없다.
마이크로소프트는 이러한 구조를 기반으로 코파일럿(Copilot)을 설계하고 있다. 코파일럿은 단순 검색 AI가 아니라 Microsoft 365 환경 안에서 이메일, Teams 대화 기록, 엑셀, 워드, 일정 데이터 등을 통합 분석해 업무 문맥 자체를 이해한다. 예를 들어 “지난주 팀장이 보낸 이메일 중 내가 놓친 내용을 정리해줘” 같은 요청이 가능한 이유도 바로 업무 데이터 인덱스를 기반으로 움직이기 때문이다.
이는 일반 생성형 AI와 가장 큰 차별점이다. ChatGPT나 일반 소비자용 AI는 사용자의 업무 데이터를 알지 못한다. 반면 기업용 AI는 조직 내부 데이터와 연결되면서 실제 업무 파트너 역할을 수행하게 된다.
특히 최근 기업 경쟁은 ‘누가 더 좋은 AI 모델을 쓰는가’가 아니라 ‘누가 더 많은 업무 데이터를 AI와 연결했는가’로 이동하고 있다. 결국 디지털 워크플레이스 구축은 AI 시대의 새로운 기본 인프라가 되고 있다.
AI 시대 최대 리스크는 보안…기업 데이터가 가장 위험하다
AI 시대의 가장 큰 화두 중 하나는 생산성이 아니라 보안이다. 실제 기업 현장에서는 AI 활용이 늘어날수록 데이터 유출과 정보 통제 문제가 더 심각해지고 있다.
백인송 이사는 특히 일반 소비자용 생성형 AI 사용에 대해 강한 경고 메시지를 던졌다. 현재 상당수 글로벌 AI 서비스는 사용자가 입력한 데이터를 학습에 활용하고 있다. 문제는 많은 사용자가 이를 정확히 인식하지 못한 채 기업 기밀과 전략 문서를 입력하고 있다는 점이다.
실제 최근 정부 과제 제안서나 사업 전략 문서들이 지나치게 유사해지는 현상도 나타나고 있다. 기업들은 경쟁력 확보를 위해 AI를 활용하지만, 동시에 자신들의 아이디어가 시장 전체에 ‘평균화’되는 결과를 초래할 수도 있다는 의미다.
더 위험한 것은 에이전트 AI다. 실제 사례를 보면, 한 글로벌 AI 연구 책임자는 에이전트 AI를 자신의 이메일과 연결했다가 AI가 스스로 이메일을 삭제해버리는 사고를 경험했다. 또 미국의 한 렌터카 기업에서는 AI 에이전트가 기업 데이터를 삭제하는 사건까지 발생했다.
기업 입장에서는 단순한 시스템 오류가 아니라 치명적 리스크가 될 수 있다. 특히 중소·중견기업은 직원 개인 단위로 AI 도구를 자유롭게 사용하는 경우가 많아 보안 사각지대가 더 크다는 지적이다.
AI 시대 보안은 더 이상 IT 부서만의 문제가 아니다. 데이터 접근 권한, 민감 정보 관리, 업무 로그 추적, AI 사용 정책까지 조직 운영 전반이 연결된다. 결국 AI 경쟁력은 단순 활용 능력이 아니라 “얼마나 안전하게 활용할 수 있는가”까지 포함하는 개념으로 바뀌고 있다.
AI 도입보다 중요한 건 ‘왜 쓰는가’에 대한 질문
AI 시장은 지금도 하루 단위로 변하고 있다. 하지만 수많은 기업들이 여전히 “우리도 AI를 도입해야 한다”는 압박감 속에서 움직이고 있다. 문제는 방향이다.
백인송 이사는 기업들이 가장 먼저 고민해야 하는 질문으로 “왜 AI를 쓰려 하는가”를 제시했다. 단순히 경쟁사가 쓰기 때문인지, 직원들이 원하기 때문인지, 혹은 실제 해결해야 할 문제와 연결되는지부터 점검해야 한다는 의미다.
AI 시대 경쟁력은 더 이상 특정 솔루션 하나로 결정되지 않는다. 데이터 전략, 클라우드 환경, 협업 구조, 보안 체계, 조직 문화, 변화 관리까지 모두 연결된다. 그리고 이 기반이 갖춰진 기업만이 AI를 생산성과 혁신으로 연결할 수 있다.
결국 AI 시대의 상위 5% 기업은 단순히 최신 기술을 빠르게 도입한 조직이 아니다. 데이터를 자산으로 이해하고, 업무 구조를 디지털화하며, AI를 조직 운영 전략 전체와 연결한 기업이다. AI는 이제 새로운 소프트웨어가 아니다. 기업 운영 방식 자체를 다시 설계하는 시대가 시작되고 있다.
헬로티 임근난 기자 |
* 이 글은 ‘AI TECH 2026 컨퍼런스’에서 한국마이크로소프트 백인송 이사가 발표한 내용을 재구성하여 정리한 것입니다.
