텍스트 없이 '소리'만 듣고 말을 배운 AI, Block의 Dessa

 

 

트위터 창업자 잭 도시(Jack Dorsey)가 이번엔 음성 AI를 들고 나왔습니다. 10월 23일, 잭 도시가 X(구 트위터)에 직접 글을 올리며 공개한 Dessa(데사) 라는 모델입니다.

 

그런데 이 모델... 그냥 "말하는 챗봇"이 아니더라고요. 텍스트를 단 한 줄도 보지 않고, 사람들의 대화 소리만 듣고 말을 배웠다고 합니다.

 

 

Dessa란?

 

Dessa는 Block 내부의 작은 AI 연구실에서 만든 음성 모델입니다. Block은 Square, Cash App을 운영하는 핀테크 회사인데요, 이 연구실은 토론토의 딥러닝 스타트업 'Dessa' 출신 멤버들이 세웠고, Ragavan Thurairatnam이 이끌며 잭 도시에게 직접 보고하는 구조라고 합니다. 연구원 6명에 인턴 몇 명... 생각보다 아주 작은 팀이에요.

 

- Full-duplex(전이중) 모델 전화 통화처럼 듣는 동시에 말할 수 있는 모델입니다. 상대가 말하는 도중에 맞장구를 치거나, 자연스럽게 끼어드는 게 가능하다는 뜻이죠.

 

- Speech-to-Speech, 텍스트 없음 기존 음성 AI는 대부분 "음성 → 텍스트 → LLM → 텍스트 → 음성" 순서로 동작합니다. Block은 이 과정에서 목소리에 담긴 감정, 한숨, 망설임 같은 정보가 다 버려진다고 지적했어요. 그래서 Dessa는 사전학습된 모델도, 텍스트도 없이 처음부터 사람 대화 음성만으로 학습했다고 합니다.

 

- 학습 규모가 의외로 작다 LLM보다 수백 배 적은 단어로 언어를 익혔고, 학습은 NVIDIA GB200 NVL72 랙 1개로 해냈다고 합니다. (LLM은 C++이랑 Angular까지 배워야 하니 공평하진 않다는 농담도 덧붙였더라고요 ㅎㅎ)

 

- MacBook에서 로컬 실행 MacBook M4 Max 이상의 일반 소비자용 컴퓨터에서 로컬로 돌릴 수 있다고 합니다. 클라우드 없이 내 기기에서 돌아가는 음성 AI라니... 개발자 입장에서 이 부분이 제일 눈에 들어왔습니다.

 

 

무엇이 그렇게 '인간 같다'는 걸까?

 

Block 설명에 따르면 Dessa는 감정, 비꼼, 웃음, 짜증, 슬픔을 알아듣고 표현할 수 있다고 합니다. 특히 재미있는 건 따로 가르치지 않은 행동이 저절로 나왔다는 점이에요.

 

- 농담을 들으면 문장 중간에 웃음이 터진다

- "조금 작게 말해줘" 하면 목소리 크기를 조절한다

- 무엇을, 언제, 어떤 목소리와 말투로 말할지 스스로 결정한다

 

공개된 데모 영상들도 꽤 화제였습니다. 일 끝나고 피곤하다고 말하는 대목에서는 정말 피곤한 목소리로 바뀌고, Block 직원과 스무고개 같은 추측 게임을 하는 영상에서는 금세 정답을 맞히더라고요. 어떤 영상에서는 거의 울먹이는 듯한 감정 표현까지 나와서... 솔직히 좀 소름이 돋았습니다.

 

다만 TechCrunch는 이 감정 표현이 내부적으로 일종의 태그로 조절되는 건지는 아직 분명하지 않다고 짚었습니다. ElevenLabs v4 같은 모델은 감정 태그로 표현을 제어하는데, Block은 "감정이 모델 자체에 내장되어 있다"고 주장하는 차이가 있어요.

 

 

X 반응은? 극찬과 공포가 반반

 

연구실 리더 Thurairatnam은 이번 발표를 "음성 분야의 GPT-3 모멘트" 라고 표현했습니다.

 

반면 우려의 목소리도 컸어요.

 

- "너무 사람 같아서 무섭다"

- "아는 사람 목소리와 말투로 스팸·사기 전화가 끝없이 걸려 올 것"

- "결국 속이는 용도로만 쓰일 것 같다"

 

우리나라처럼 보이스피싱 피해가 큰 곳에서는 더 남의 일 같지 않습니다. 지금까지는 "말투가 좀 어색한데?"로 걸러낼 수 있었다면, 웃음과 한숨, 자연스러운 끼어들기까지 되는 AI 앞에서는 그 마지막 방어선마저 무너질 수 있으니까요.

 

 

Block도 위험을 알고 있다

 

그래서인지 Block은 Dessa를 바로 공개하지 않았습니다. 현재는 일반 공개가 없고, 소수의 AI 안전 연구자에게 먼저 접근 권한을 주고 있어요. 소리만으로 말을 배운 모델은 처음 가보는 영역이라, 자신들이 예상하지 못한 위험을 외부 시선으로 찾아달라는 취지라고 합니다. 일반 사용자는 대기열(waitlist)에 등록해 두는 방식이고요.

 

 

음성 AI 경쟁은 이미 치열합니다

 

사실 '듣고 말하는 동시 대화' 시장은 이미 붐비고 있습니다. OpenAI는 7월 ChatGPT에 GPT-Live를 넣었고, 마이크로소프트도 17개 언어를 지원하는 MAI Realtime을 내놨죠. Dessa는 후발주자지만 "텍스트 없이, 작은 자원으로, 로컬에서" 라는 전혀 다른 카드를 들고 나온 셈입니다.

 

Block 입장에서도 계산이 있어 보여요. Square는 이미 음성 AI로 매장 주문을 받고 있는데, 기기에서 직접 돌아가는 자체 음성 모델이 생기면 훨씬 저렴하게 더 많은 서비스를 만들 수 있으니까요.

 

 

마무리하며...

 

Dessa는 "AI가 내 기분을 들을 수 있는가?"라는 질문에 꽤 그럴듯한 답을 내놓은 모델입니다. 감정을 알아듣는 음성 비서, 외로운 어르신의 말벗, 자연스러운 상담원... 가능성은 정말 무궁무진해 보여요.

 

하지만 기술이 사람에 가까워질수록 "지금 통화하는 상대가 사람인가?" 를 구별하기가 점점 어려워집니다. Block이 안전 연구자부터 문을 연 것도 그 때문이겠죠.

 

아직 직접 써볼 수는 없지만, 대기열이 풀리면 꼭 한 번 대화해 보고 싶네요. 그때는 MacBook에서 로컬로 돌려보고 후기를 다시 남겨보겠습니다!

 

 

 

#Dessa #데사 #Block #잭도시 #JackDorsey #음성AI #보이스AI #FullDuplex #SpeechToSpeech #온디바이스AI #딥페이크 #보이스피싱 #AI안전 #GPT3모멘트