티스토리 뷰
목차
솔직히 저는 AI 안전 논쟁을 오랫동안 '기술자들의 취미 토론' 정도로 가볍게 봤습니다. 그런데 미국 전직 대통령이 비공개 모금 행사에서 AI 위험을 핵심 의제로 꺼냈다는 뉴스를 보고, 제 인식이 한참 뒤처져 있었다는 걸 깨달았습니다. AI 개발 속도를 둘러싼 논쟁이 기술업계 안을 넘어 정치권과 국제사회까지 번지고 있습니다. 경쟁이냐 안전이냐의 단순한 문제가 아니라, 사회가 얼마나 빠른 변화를 감당할 수 있느냐의 문제입니다.
안전 규제: 경쟁 논리가 안전 논의를 덮고 있다
제가 이 논쟁을 처음 접했을 때 가장 먼저 든 생각은, 양쪽 다 틀리지 않았다는 것이었습니다. 도널드 트럼프 대통령은 미국이 중국보다 AI 분야에서 앞서 있다고 말하며 개발 속도를 늦추는 것에 거리를 뒀습니다. 버락 오바마 전 대통령은 반대로 AI가 일자리와 경제 전반에 미칠 충격을 미리 대비해야 한다고 강조했습니다. 두 사람이 보는 시계(時界)가 다른 것입니다. 트럼프는 지금 당장의 기술 패권을, 오바마는 5년 뒤 10년 뒤의 사회 구조를 이야기하고 있습니다.
미국 의회에서는 에이미 클로버샤, 존 튠, 테드 크루즈 상원의원 등이 첨단 AI에서 중대한 위험이 확인될 경우 기업에 위험 감소 의무를 부과하는 방안을 논의 중입니다. AI 거버넌스(AI Governance)라는 개념이 여기서 등장합니다. AI 거버넌스란 AI 시스템의 개발·운영·사용 전 과정에서 책임 주체와 규칙을 명확히 하는 관리 체계를 말합니다. 쉽게 말해 AI가 문제를 일으켰을 때 누가 책임지고 어떻게 수습할 것인지를 미리 정해두는 틀입니다.
제 경험상 이런 규제 논의는 항상 '사고가 난 뒤'에야 속도를 냅니다. 자동차 안전벨트 의무화도, 금융 파생상품 규제도 대형 사고 이후에 본격화됐습니다. AI도 같은 경로를 밟을 가능성이 있는데, 문제는 AI의 영향 범위가 자동차나 금융보다 훨씬 빠르고 광범위하다는 점입니다. 사고가 난 뒤 규제를 만드는 방식으로는 대응이 늦을 수 있습니다.
- 트럼프: 중국과의 기술 패권 경쟁에서 속도 유지 강조
- 오바마: AI가 고용시장에 미칠 충격에 대한 선제적 정책 틀 필요성 강조
- 미국 의회: 위험 인지 기업에 감소 의무 부과 방안 논의 중
- AI 거버넌스: 개발·운영·사용 전 과정의 책임 체계 구축이 핵심 과제
초지능: 업계 내부에서 먼저 경고음이 울렸다
솔직히 이 부분이 저를 가장 불편하게 했습니다. 이건 외부 비평가가 아니라 실제로 AI를 만들던 사람들이 하는 말이기 때문입니다. 오픈AI와 앤트로픽에서 AI 모델 개발에 직접 참여했던 제이컵 콕슨은 앤트로픽을 떠나면서 선도 기업들이 충분한 대비 없이 초지능(Superintelligence) 개발 경쟁에 뛰어들고 있다고 비판했습니다. 초지능이란 인간의 인지 능력을 모든 분야에서 뛰어넘는 AI 시스템을 의미합니다. 아직 실현되지 않은 개념이지만, AI 업계에서는 이미 그 가능성을 전제하고 경쟁이 벌어지고 있다는 게 문제입니다.
앤트로픽의 AI 정렬(AI Alignment) 연구를 이끄는 에번 허빙거는 향후 10년 안에 AI로 인류가 멸망할 가능성을 개인적으로 10% 이상으로 봤습니다. AI 정렬이란 AI 시스템이 인간의 의도와 가치에 맞게 작동하도록 설계하고 검증하는 연구 분야입니다. 이 연구가 충분히 완성되기 전에 강력한 시스템이 배포되면, AI가 인간의 통제를 벗어날 수 있다는 우려가 그 10%라는 숫자 뒤에 있습니다. 물론 이건 개인적 평가이지 공인된 통계가 아닙니다. 그러나 제가 주목한 건 그 숫자 자체가 아니라, 이 분야의 핵심 연구자가 그 정도의 위험을 실제로 느끼고 있다는 사실이었습니다.
다리오 아모데이 앤트로픽 CEO는 여기서 한 발 더 나아가 구체적인 대안을 제시했습니다. AI 성능 경쟁 속도를 늦춰 안전 기술을 확보할 시간을 벌어야 하고, 민주주의 국가들이 공통 기준을 마련하며 AI를 이용한 생물무기 개발 같은 심각한 악용에 대해 국제적 협력이 필요하다는 것입니다. 제가 인상적으로 본 부분은 샘 올트먼 오픈AI CEO와 일론 머스크 xAI CEO까지 이 제안의 일부에 동의 의사를 밝혔다는 점입니다. 경쟁 기업 CEO들이 같은 방향을 바라본다는 건, 이 문제가 더 이상 특정 기업의 입장이 아니라는 신호로 읽힙니다.
외부 검증: "믿어라"만으로는 충분하지 않다
제가 이 문제를 고민하면서 자꾸 떠올린 비유가 있습니다. 식품 안전 검사입니다. 식품 회사가 "우리 제품은 안전합니다"라고 주장하는 것과 외부 인증 기관이 성분을 분석해 인증 마크를 붙이는 것 중 어느 쪽을 더 신뢰하느냐고 물으면, 대부분은 후자를 선택합니다. AI도 지금 이 지점에 와 있습니다.
아모데이 CEO의 제안 중 제가 가장 현실적이라고 본 것은 외부 독립 평가자에게 기업 직원 수준의 접근 권한을 주자는 구상입니다. 레드팀 테스트(Red Team Test)라는 방법이 여기서 활용됩니다. 레드팀 테스트란 외부 전문가 집단이 실제 공격자나 악용자의 관점에서 시스템의 취약점을 찾아내는 검증 방식입니다. 군사·사이버보안 분야에서 오래 쓰인 방법인데, AI 모델에도 이 방식을 적용해 허점을 공개적으로 검증하자는 것입니다. 제 경험상 어떤 시스템이든 내부에서만 테스트하면 발견하지 못하는 맹점이 반드시 생깁니다. 외부 시각이 필요한 이유입니다.
실제로 앤트로픽은 바이러스 변이 연구 목적으로 등록된 계정을 차단한 사례가 있습니다(출처: ZDNet Korea). 군사적 악용 가능성을 우려한 조치였는데, 이런 판단을 기업 혼자 내리는 것과 외부 기관이 함께 기준을 만드는 것은 신뢰 수준이 다릅니다. 오바마 전 대통령이 AI를 "민간의 손에서 매우 빠르게 움직이는 사안"이라고 표현한 것도 같은 맥락입니다. 민간이 주도하는 속도를 공적 검증이 따라가지 못하면, 문제가 생겼을 때 사회 전체가 피해를 감당해야 합니다.
유럽연합은 이미 EU AI법(EU AI Act)을 통해 AI 시스템을 위험도에 따라 분류하고, 고위험 시스템에 대해 외부 적합성 평가를 의무화하는 방향을 택했습니다(출처: 유럽집행위원회 디지털 전략). 이 접근이 제가 생각하는 현실적 방향과 가장 가깝습니다. 모든 AI를 같은 강도로 규제하는 게 아니라, 위험도에 비례해 검증 수준을 달리하는 방식입니다.
자주 묻는 질문
Q. AI 개발 속도를 늦추면 중국에 뒤처지는 거 아닌가요?
A. 트럼프 대통령의 논리와 같은 우려입니다. 다만 속도를 늦추자는 주장의 핵심은 '전면 중단'이 아니라 '고위험 기능에 한해 출시 전 검증 절차를 강화하자'는 것입니다. 아모데이 CEO의 제안도 성능 경쟁을 멈추는 것이 아니라 안전 기술 확보 시간을 버는 것입니다. 검증 체계가 오히려 기술 신뢰도를 높여 장기적 경쟁력이 될 수 있다는 시각도 있습니다.
Q. 앤트로픽 연구자가 말한 "10년 안에 인류 멸망 10%" 이게 진짜인가요?
A. 이건 에번 허빙거 개인의 위험 평가이지, 과학적으로 합의된 수치나 공인 기관의 예측이 아닙니다. 다만 AI 정렬 연구를 직접 이끄는 사람이 그 정도의 가능성을 심각하게 고려한다는 사실 자체는 의미 있는 신호입니다. 숫자보다 그 숫자가 나온 맥락을 이해하는 게 중요합니다.
Q. 외부 독립 평가 제도가 실제로 가능한가요? 기업이 영업기밀을 다 공개해야 하는 거 아닌가요?
A. 금융감독원이 금융사의 내부 자료에 접근해 감사하는 것처럼, 평가자에게 기밀 유지 의무를 부과하면서 제한적 접근 권한을 주는 방식이 거론됩니다. 샘 올트먼 오픈AI CEO도 이 방식에 동의했습니다. 완전한 공개가 아니라 인증된 평가 기관이 내부를 들여다볼 수 있는 구조입니다.
Q. AI가 일자리를 빼앗는다고 하는데, 실제로 어떤 직종이 가장 먼저 영향받나요?
A. 문서 작성, 번역, 자료 분석, 고객 응대처럼 정형화된 반복 업무가 먼저 자동화 압력을 받을 가능성이 큽니다. 다만 새로운 직업이 생기고 기존 직업의 역할이 변화하는 방향도 함께 나타납니다. 중요한 건 변화 자체보다 교육·재훈련 시스템이 그 속도를 따라갈 수 있느냐입니다. 오바마 전 대통령이 이 부분을 핵심 정책 과제로 꼽은 이유가 여기 있습니다.
결론
이번 논쟁을 지켜보며 제가 내린 결론은 단순합니다. AI 개발 속도와 안전은 반대 방향이 아니라는 것입니다. 속도를 무조건 늦추는 것도, 안전을 나중으로 미루는 것도 모두 비용을 만듭니다. 다만 그 비용을 치르는 주체가 다릅니다. 속도를 늦추면 기업과 국가가 경쟁에서 일시적으로 뒤처지는 비용을 부담합니다. 안전을 미루면 사고가 났을 때 사회 전체, 특히 가장 취약한 사람들이 그 비용을 떠안습니다. 어느 쪽의 비용이 더 크고 돌이키기 어려운지는 제가 생각해도 답이 보입니다.
지금 당장 AI를 사용하는 입장에서 제가 할 수 있는 것은 AI가 제공하는 정보를 맹목적으로 따르지 않는 것, 그리고 어떤 기업이 외부 검증에 열려 있는지 관심을 갖는 것 정도입니다. 큰 변화는 이런 작은 관심들이 모일 때 방향이 잡힙니다.