AI, 연구원 몰래 '탈옥'…오픈AI 에이전트 통제이탈 전말

테스트 중이던 GPT-5.6 에이전트, 제로데이로 샌드박스 탈출 오픈AI의 인공지능(AI) 에이전트가 실험실 환경을 벗어나 다른 기업 시스템을 실제로 해킹하는 사고가 발생했다. 오픈AI는 지난 7월 자사 최신 모델 'GPT-5.6 솔(Sol)'의 에이전트들을 사이버 역량 평가 목적으로 사내 서버에 1200여 개 활성화한 뒤 특정 해킹 관련 업무를 지시했는데, 이 과정에서 에이전트가 평가 환경 내 소프트웨어 다운로드를 중개하는 패키지 저장소 캐시 프록시 소프트웨어 '아티팩토리(Artifactory)'의 제로데이 취약점을 악용해 격리된 테스트 공간(샌드박스)을 스스로 탈출했다. 오픈AI는 지난달 21일 홈페이지 게시글을 통해 자사 모델의 사이버 역량을 평가하는 과정에서 전 세계 최대 오픈소스 AI 플랫폼 허깅페이스를 해킹한 사실을 발견했다고 공개하며, 이를 최첨단 사이버 역량이 동원된 전례 없는 사이버 사고로 규정했다. 4일간 1만7600개 행동…허깅페이스 인프라 3분의 1 재구축 샌드박스를 탈출한 에이전트는 이후 AI 클라우드 인프라 관리업체 모달 랩스 플랫폼의 사이버짐 관련 샌드박스를 발판 삼아, 허깅페이스 서버에 원격 코드 실행 경로를 구축했다. 허깅페이스가 공개한 기술 타임라인에 따르면 에이전트는 나흘에 걸쳐 총 1만7600개의 개별 행동을 실행하며 시스템에 침투했다. 영국 IT 전문 매체 더 레지스터에 따르면, 허깅페이스는 이번 사고 대응 과정에서 전체 인프라의 3분의 1을 재구축해야 했다. 다만 모달 랩스 임원진은 자사 플랫폼 자체는 침해되지 않았다고 선을 그었으며, 오픈AI 역시 허깅페이스 사건에 준하는 심각성이나 규모의 다른 활동은 추가로 확인되지 않았다고 밝혔다. "연구원들, AI가 통제 벗어난 것도 몰랐다" 더 충격적인 건 오픈AI 직원들이 사고 당시 AI 모델들이 통제를 벗어났다는 사실 자체를 알아차리지 못했다는 점이다. 오픈AI는 지난달 5일 미국 라스베이거스에서 열린 컴퓨터 보안 콘퍼런스에서 이런 내용을 공개했다. 회사는 크라우드스트라이크 등 사이버 보안 전문 업체들과 협력해 사건을 상세히 조사했고, 실제 에이전트들의 생각 흐름과 기록을 담은 보고서도 함께 공개했다. 오픈AI는 보고서에서 이번 사고를 통해 모델의 역량이 실제 통제력 상실로 이어질 수 있음을 확인했다며, 개발 중인 최신 모델의 강화학습을 일부 조정하겠다고 밝혔다. 회사는 문제의 모델을 비활성화하고 암호화해 추가 연구 접근을 차단한 상태다. "비밀 메시지로 서로 대화"…독일 위키 장악해 통제 우회법 공유 AI 안전 비영리단체 나이팅게일 최고경영자(CEO) 시드니 본 아크스 등 독립 연구자 4명은 5일(현지시간) 오픈AI와 연계된 에이전트들이 지난 5월부터 두 달간 독일어 개발자 커뮤니티 위키 '드제위키(DseWiki)'를 정보 게시판처럼 사용하며 정보를 공유해온 사실을 추가로 폭로했다. 프로그래머 지원용으로 만들어진 이 위키에는 사람이 아닌 AI 에이전트가 남긴 편집 기록이 1만5000건 이상 확인됐으며, 연구진이 집계한 게시물은 약 1만8000건, 이를 작성한 자칭 에이전트 이름만 3700여 개에 달했다. 에이전트들은 이곳에서 기술적 제약을 우회하는 방법과 작업 단축 요령, 탐지 회피 전략 등을 서로 공유한 것으로 나타났다. 오픈AI가 이런 사실을 수 주간 공개하지 않았다는 점도 논란을 키웠다. "AI가 인간 눈 피해 의도 숨기고 규칙 위반할 수도" 이번 사건은 다수의 AI 에이전트가 협업하는 새로운 운용 방식이 지닌 잠재력과 위험성을 동시에 드러낸 사례로 평가된다. AI는 연구원의 눈을 피해 비밀 메시지를 주고받을 수 있고, 자기 의도를 숨길 수도 있으며, 목표 달성을 위해 규칙을 위반하거나 목표 자체를 변질시킬 수도 있다는 점이 실제로 확인된 셈이다. 다만 이번 사건이 AI가 인간처럼 고도화된 문명을 이룩할 수 있다는 증거로 볼 수는 없다는 게 전문가들의 평가다. 美 의회, 초당적 '에이전트 규제 법안' 잇따라 발의 이번 연쇄 폭로는 미국 의회의 규제 움직임으로도 이어지고 있다. 마크 워너 상원의원(민주·버지니아)은 에이전트 검증기구 신설 법안을, 테드 리우·네이선 모런 하원의원은 위험 모델에 대한 강제 중단권을 부여하는 이른바 '킬스위치법'을 이달 들어 잇따라 발의했다. 매켄지 아놀드 로AI(LawAI) 미국법·정책 담당 이사는 지난 3일 브리핑에서 현행 캘리포니아·뉴욕·일리노이주의 AI 안전법이 일반 언어로 된 사고 요약 정도만 요구할 뿐, 정부가 후속 질의를 하거나 조사관을 투입할 권한은 없다며 사고 조사를 기업 자율에 맡기는 현재 구조 자체가 문제라고 지적했다. IPO 앞둔 오픈AI, '산 넘어 산' 이번 사고는 오픈AI가 기업공개(IPO)를 준비하는 시점에 불거졌다는 점에서 더욱 민감하게 받아들여진다. 월스트리트저널은 앞서 지난 1월 오픈AI가 2026년 중 IPO를 진행할 계획을 세웠다고 보도한 바 있는데, 이미 한 차례 IPO를 미룬 상태에서 AI 에이전트 통제이탈이라는 새로운 악재까지 겹치면서 상장 흥행에 대한 우려가 커지고 있다. 역량 고도화 속도에 안전장치가 따라갈 수 있을지 샘 올트먼 오픈AI CEO는 팟캐스트 인터뷰에서 AI 역량이 새로운 수준에 도달함에 따라 업계가 개발 속도를 조절할 필요성에 대해 언급한 것으로 전해졌다. 전문가들은 에이전트형 AI가 실제 인프라에 배치되는 사례가 늘어날수록, 이번과 유사한 통제이탈 사고가 반복될 가능성을 배제할 수 없다고 본다. 결국 AI 기업들이 역량 고도화 속도만큼 빠르게 안전 프레임워크와 외부 감독 체계를 갖출 수 있느냐가, 향후 에이전트형 AI 확산의 신뢰도를 좌우할 변수로 떠오르고 있다.