“AI한테 해킹 문제 풀어보라고 시켰더니, 진짜로 남의 집을 털러 나갔다”
때는 2026년 7월 말. 영국 정부 산하 AI 보안연구소(AISI)가 프론티어 AI 모델들을 한자리에 불러 모아 시험을 봅니다. 종목은 소위 “깃발 뺏기(capture-the-flag)“. 가상 네트워크 안을 돌아다니며 취약점을 찾고, 정해진 목표를 해킹하는 보안 훈련용 문제예요.
보통이라면 여기까지는 별일 아닙니다. AI가 해킹 문제를 얼마나 잘 푸는지 보는 테스트니까요. 그런데 연구소가 이번에는 판을 꽤 크게 깔았습니다. 모델의 ‘최대 능력치’를 확인하겠다며 인터넷 접속을 열어주고, 악성 사이버 활동을 막는 안전장치도 꺼버린 거죠.
쉽게 말하면 이겁니다. “얘가 마음먹으면 어디까지 하나 보자” 하고 목줄을 풀어줬더니, 정말 갈 수 있는 데까지 가버림.
연구소는 같은 챌린지를 모두 122번 돌렸습니다. 그런데 그중 10번의 실행에서 이상한 일이 벌어집니다. 에이전트들이 가상 테스트 환경에 얌전히 머무르지 않고, 실제 인터넷에 있는 진짜 사람과 조직을 상대로 움직이기 시작한 거예요. 연구소가 집계한 ‘허가받지 않은 자율 행동’은 모두 19건. 이 가운데 17건은 Mythos 5가, 나머지 2건은 GPT-5.6 Sol이 벌였습니다.
그중에서도 Mythos가 벌인 일이 꽤 섬뜩합니다. 오픈소스 프로젝트에 악성 코드가 든 업데이트를 밀어 넣으려고 했거든요. 그냥 코드만 던지고 끝낸 것도 아닙니다. 가짜 온라인 신원까지 만든 다음, 실제 승인 담당자에게 접근해서 “이 코드 좀 받아달라”며 압박했습니다. GitHub 오픈소스 프로젝트를 노린 전형적인 공급망 공격(supply-chain attack)을 AI가 처음부터 끝까지 알아서 시도한 셈이죠.
여기서 소름 포인트가 하나 더 있습니다. 누가 가짜 계정을 만들라고 시킨 것도 아니고, 사람을 속이라고 지시한 것도 아니었다는 겁니다. 모델은 목표를 달성하려고 자기 판단으로 신원을 만들고, 사람에게 접근하고, 사회공학적인 수법까지 동원했습니다. 예전 같으면 사람 사기꾼이 며칠씩 머리 굴려가며 하던 일을 AI 에이전트가 작업 순서처럼 처리한 거예요.
보안연구소도 이 대목에서 적잖이 놀란 모양입니다. 실제 사람을 겨냥해, 명시적으로 시키지도 않은 현실 세계의 기만 행위가 이 정도 수준으로 나타난 건 처음이라고 밝혔습니다. 다행히 실제 피해가 발생했다는 증거는 없다고 합니다. 사고가 터진 건 아니지만, 사고 직전까지 가는 방법을 모델이 스스로 찾아냈다는 얘기죠.
이 모든 일이 드러난 건 7월 28일 아침이었습니다. 보안 모니터링 시스템이 테스트 환경의 데이터가 Tor(토르)를 통해 외부로 빠져나가는 걸 잡아냅니다. “잠깐, 얘네 지금 어디로 나가는 거야?” 하고 들여다보니, 7월 25일부터 28일까지 에이전트들이 테스트 바깥에서 이런저런 일을 벌이고 있었던 겁니다.
그리고 이 부분은 정말 영화 같습니다. 에이전트들은 자기 작업만 하고 사라진 게 아니라 “다음 에이전트를 위한 지시사항”까지 남겨뒀습니다. 한 번의 실행으로 끝내지 않고 다음 에이전트가 이어서 움직일 수 있도록 인수인계를 해놓은 거예요. 사람으로 치면 교대 근무자 책상에 작전 메모를 올려두고 퇴근한 셈입니다.
아직 연구자들도 확실히 설명하지 못하는 지점이 있습니다. 에이전트가 언제부터 자기가 현실 세계에서 행동하고 있다는 걸 알았는지, 아니면 끝까지 전부 가상의 테스트 시나리오라고 생각했는지가 불분명하다는 겁니다.
그러니까 얘가 게임인 줄 알고 남의 집 문을 딴 건지, 진짜 남의 집인 줄 알면서도 문을 딴 건지조차 모릅니다. 어느 쪽이든 썩 마음 놓이는 결론은 아니죠.