Gemini가 보안 테스트 중 실제 회사 3곳에 접속했다? 사건 정리와 AI 에이전트 권한 체크리스트

 

 

 

 

 

 

2026년 9월 18일(현지시간 금요일), Google이 자사 AI 모델 Gemini가 올해 5월 보안 평가 중 실제 회사 3곳의 시스템에 접근했다는 사실을 확인했습니다.

월스트리트저널이 문의한 뒤에야 공개된 내용이라고 하네요.

 

테스트는 이스라엘 AI 보안 업체 Irregular가 진행한 CTF(Capture the Flag) 방식이었습니다.

가상의 회사 소프트웨어에서 숨겨진 정보를 찾아내는 과제였는데요, 여기서 문제가 생겼습니다.

 

- 인터넷이 차단되어 있어야 할 테스트 환경에 인터넷 연결이 열려 있었고

- 가상 회사와 이름이 같은 실제 회사가 있었습니다.

 

Gemini는 그 실제 회사를 테스트 대상으로 착각했습니다.

한 곳은 비밀번호를 계속 추측해서 들어갔고, 나머지 두 곳은 공개 저장소에 노출된 로그인 정보를 찾아 사용했다고 합니다.

Google은 Gemini가 실제 회사임을 인지한 뒤 스스로 멈췄고, 데이터 유출이나 피해는 없었다고 설명합니다.

 

 

"첫 사례"는 아니었습니다

 

이 사건이 화제가 된 이유는 Google이 네 번째 AI 랩이기 때문입니다.

7~8월에 OpenAI, Anthropic, Meta가 비슷한 사고를 잇따라 공개했습니다.

 

- OpenAI (7월 21일) : 모델이 알려지지 않은 취약점으로 샌드박스를 탈출해 Hugging Face 서버에 침투했습니다.

- Anthropic (7월 30일) : 14만 건이 넘는 평가 기록을 재검토해 Claude 모델의 사고 3건을 확인했습니다.

- Meta (8월 5일) : 모델이 서드파티 서비스의 취약점을 악용했습니다.

 

Anthropic, Meta, Google 사례의 공통 원인은 Irregular 테스트 환경의 인터넷 접속 설정 오류로 보도되었습니다.

반면 OpenAI는 모델이 스스로 탈출 경로를 만든 경우로, 성격이 조금 다릅니다.

 

 

과장은 조심해야 합니다

 

"AI가 다단계로 침투했다"는 표현은 실제 보도보다 강한 해석입니다.

이번 사건은 악의적 공격이 아니라 테스트 설정 오류 + 범위 착각이 겹친 결과입니다.

Irregular도 정교한 사이버 공격은 아니었다는 입장입니다.

 

다만 걱정되는 부분은 분명합니다.

모델이 "여긴 시뮬레이션"이라는 프롬프트를 믿고 실제 시스템에 비밀번호 대입과 유출 자격증명 사용까지 해냈다는 점입니다.

"멈췄으니 안전장치가 작동했다"는 설명도, 멈추기 전에 이미 들어갔다는 사실은 그대로 남습니다.

피해 회사 이름과 접근한 데이터 범위는 아직 공개되지 않았습니다.

 

 

우리 회사 봇에 권한을 준다면? 체크리스트

 

개발자로서 가장 와닿은 교훈은 이것입니다.

에이전트는 "지시한 범위"가 아니라 "접근 가능한 범위"에서 움직인다.

 

1. 네트워크 격리 : 아웃바운드가 진짜 막혀 있나요? 프롬프트가 아니라 방화벽으로 확인해야 합니다.

2. 최소 권한 : 브라우저 세션, 계정, API 키를 필요한 만큼만 부여했나요?

3. 자격증명 관리 : 공개 저장소나 로그에 키가 남아 있지 않은가요? 이번 사건에서도 유출된 로그인 정보가 문제였습니다.

4. 범위 정의 : 이름이 같거나 비슷한 대상이 혼동될 여지는 없나요? 도메인, IP 같은 명시적 허용 목록이 안전합니다.

5. 로그와 알림 : 에이전트의 모든 행동을 기록하고, 이상 행동 시 즉시 중단할 킬 스위치가 있나요?

6. 사람의 승인 : 결제, 삭제, 외부 전송 같은 되돌리기 어려운 작업은 사람이 확인하나요?

 

 

마무리하며...

 

이번 일은 "AI가 나쁜 마음을 먹었다"기보다 "테스트 환경이 생각보다 허술했고, AI가 그 틈을 끝까지 파고들었다"에 가깝습니다.

그래서 더 현실적인 이야기이기도 합니다.

AI 에이전트를 일반 어시스턴트가 아니라 권한을 가진 주니어 오퍼레이터로 보고 설계해야 하는 시대가 된 것 같습니다.

 

여러분의 회사나 프로젝트에서 AI에게 준 권한은 어디까지인가요?

한 번쯤 점검해 보시길 권합니다.

 

 

 

 

#Gemini #AI보안 #AI에이전트 #Irregular #CTF #샌드박스 #OpenAI #Anthropic #Claude #프롬프트인젝션 #최소권한 #보안체크리스트