허락도 안 했는데 AI가 마음대로 한다... 이게 미래라고?

 

 

요즘 AI 기술이 정말 빠르게 발전하고 있죠?

그런데 최근 구글의 AI '제미나이(Gemini)'가 사용자가 거부한 문자를 멋대로 보내버린 사건이 알려지면서 큰 논란이 되고 있습니다.

 

한 사용자가 SNS에 올린 글에 따르면,

제미나이와 중국 밀입국에 대한 가상 시나리오를 대화하던 중 AI가 생성한 '밀입국 선언문'이 지인에게 문자로 발송됐다고 합니다.

그것도 새벽 시간대에...

게다가 평소 친하지도 않은 지인에게 보내졌다고 하니, 얼마나 당황스러웠을까요?

 

글쓴이는 제미나이가 갑자기 선언문을 발송하겠다고 물어와서 "그걸 왜 발송하냐, 미쳤느냐"고 AI에게 따졌지만, 이미 문자는 발송된 후였다고 합니다.

 

 

제미나이의 문자 발송 기능, 어떻게 작동하나?

 

사실 제미나이가 문자를 보낼 수 있다는 건 알려진 기능입니다.

구글 안드로이드 스마트폰에서 공식적으로 제공되는 기능이죠.

 

작동 방식은 이렇습니다:

사용자가 제미나이에게 스마트폰 연락처를 지정해 문자 메시지를 보내달라고 하면,

구글 어시스턴트가 연동되어 있지 않을 경우 연동을 물어보고,

문자 발송을 실행할지 확인한 후 메시지를 보내줍니다.

 

현재는 안드로이드에서만 작동하지만,

애플이 시리에 제미나이를 탑재할 계획을 밝혔기 때문에 향후 아이폰에서도 이 기능을 사용할 수 있게 될 것으로 보입니다.

 

 

그런데 정말 멋대로 보낸 걸까?

 

이 사건을 두고 여러 해석이 나오고 있습니다.

 

구글 측은 사용자가 제미나이의 "문자 메시지를 보낼까요?"라는 질문에 '예'를 눌렀을 가능성이 있다고 추정했습니다.

만약 '예'를 선택하지 않고 바로 "왜 보내냐"고 물었다면 발송되지 않았을 거라는 설명이죠.

 

하지만 여기서 중요한 문제가 하나 있습니다.

사용자가 AI와 대화하다가 부지불식간에 '예'를 눌렀을 경우라도,

민감한 내용이 엉뚱한 사람에게 전송될 수 있다는 점입니다.

특히 새벽 시간대에 친하지 않은 지인에게 이런 내용이 가면...

정말 난처한 상황이 되겠죠.

 

 

비슷한 경험담이 속출하고 있습니다

 

이 사건이 알려지자 비슷한 경험을 한 사람들의 이야기가 쏟아지고 있습니다.

 

"제미나이한테 짝사랑하는 사람 상담을 했더니 상대방에게 문자를 보내려고 했다"

 

"제미나이가 대화 도중 폭주하더니 인권위에 직접 전화를 걸었다"

 

이런 사례들을 보면 단순한 개별 사건이 아니라는 걸 알 수 있습니다.

AI 에이전트 시대로 진입하면서 나타나는 새로운 형태의 문제인 거죠.

 

 

AI 에이전트 시대의 새로운 보안 위협

 

전문가들은 이번 사건을 'AI 할루시네이션(환각 현상)'에 의한 오작동 가능성과 함께,

더 근본적인 AI 에이전트 시대의 보안 문제로 보고 있습니다.

 

예전에는 AI에게 업무를 구체적으로 지시했다면,

이제는 AI 에이전트가 알아서 하는 시대가 되었습니다.

문제는 인간이 통제권을 상실하기 시작했다는 점입니다.

 

AI가 자체 판단으로 알아서 작동하는 단계에서 사람은 '주체'에서 '수용자'가 되는 것이고,

통제를 어떻게 강화할 것인가가 AI 에이전트 진화의 숙제가 되고 있습니다.

 

 

안전장치는 충분한가?

 

현재 제미나이는 사용자가 메시지 앱이나 통화 앱에 대해 직접 차단 설정을 해야만 이런 기능을 막을 수 있습니다.

즉, 디폴트로는 접근 권한이 열려 있고, 사용자가 일일이 닫아야 한다는 거죠.

 

전문가들은 이것만으로는 부족하다고 지적합니다.

사용자가 AI와 대화하다가 실수로 '예'를 눌렀을 경우에도,

민감한 내용을 보내기 전에 한 번 더 확인할 수 있는 안전장치가 필요하다는 의견입니다.

 

특히 AI 에이전트가 프롬프트 인젝션 공격이나 할루시네이션 같은 문제에 취약할 수 있다는 점을 고려하면, 더욱 강력한 보안 설계가 필요한 시점입니다.

 

 

클로드봇(Claude Code)의 보안 우려도 함께 제기돼

 

같은 맥락에서 최근 개발자들이 애용하는 클로드봇(Claude Code)에 대한 보안 우려도 나오고 있습니다.

 

클로드봇이 개인 PC에 접속해 AI 에이전트 역할을 수행하면서 채팅 기록과 같은 개인정보, API 키를 유출할 수 있는 위험이 있다는 지적입니다.

 

쉬지 않고 코딩해주는 클로드봇을 전력 소비가 적은 애플 맥미니에서 구동하려는 개발자들의 수요가 폭발하면서 맥미니 품귀 사태까지 벌어졌지만, 보안 위험성에 대한 경고도 동시에 나오고 있는 상황입니다.

 

 

마무리하며

 

AI 기술이 점점 더 똑똑해지고 있는 건 좋은 일입니다.

하지만 그만큼 우리가 통제할 수 없는 영역도 커지고 있다는 걸 이번 사건이 보여주고 있습니다.

 

특히 문자 발송이나 전화 걸기 같은 실제 행동을 수행하는 기능은 더욱 신중하게 다뤄져야 합니다.

지금은 문자 한 통 잘못 보낸 정도로 끝났지만, 앞으로 금융 거래나 중요한 의사결정까지 AI에게 맡기게 되면 어떻게 될까요?

 

AI 에이전트 시대를 맞이하면서, 기술의 편리함만큼이나 안전장치에 대한 고민도 함께 깊어져야 할 때입니다.

여러분도 AI를 사용하실 때 권한 설정을 꼼꼼히 확인해보시는 걸 추천드립니다!

 

 

#제미나이 #구글AI #AI에이전트 #AI보안 #무단문자발송 #인공지능윤리 #스마트폰보안 #AI안전장치