모기 잡는 데 큰 모델을 부를 필요는 없었다

이 글은 개인 공부 기록이며 투자 조언이 아닙니다. 저는 라이선스 있는 투자 자문가가 아닙니다. 아래 발언은 제가 영상에서 들은 대로 옮긴 것이고, 그림과 해석은 제가 붙인 것입니다. 자동 자막을 받아 정리했습니다. 자막이 영어 기술 용어와 서비스 이름을 많이 뭉개서, 확실하지 않은 이름은 옮기지 않고 무엇을 하는 물건인지만 적었습니다. "무엇을 사라"는 대목과 개별 종목의 방향 전망은 옮기지 않았습니다. 궁금하시면 원본을 보셔야 합니다. 원본 영상: IT 혁명 연대기와 AI 버블 - 막수다방 · JEV, DOTS, LLM, 가상머신. 모델에서 에이전트로. - 막수다방

이 글에 나오는 종목을 사거나 팔라는 뜻은 없습니다. 암호화폐는 따로 들고 있습니다.

알상무 채널에는 "막수다방"이라는 코너가 있습니다. 막 수다를 떠는 방송이라는 뜻입니다. 음성만 들어도 되는 방송이라 팟캐스트나 라디오처럼 편하게 들으면 된다고 진행자가 처음에 말합니다.

이번에 들은 두 편은 둘 다 AI 이야기였습니다. 하나는 IT 혁명의 역사를 거슬러 올라가며 "AI가 버블이냐"를 묻는 편이고, 하나는 요즘 많이 들리는 문장 두 개를 뜯어보며 "모델에서 에이전트로"를 설명하는 편입니다.

저는 AI한테 코드를 짜 달라고 해서 작은 봇을 만들고, 그걸 집에 있는 맥미니에서 돌립니다. 그래서 주식 이야기보다 이쪽이 훨씬 귀에 잘 들어왔습니다. 들으면서 "어, 이거 내 얘기인데" 싶은 대목이 여러 번 있었습니다.

세 번의 혁명, 핵심은 연결이었다

진행자는 살면서 3, 40년 사이에 IT 혁명이 세 번이나 있었다고 했습니다. 2000년, 2001년부터는 게임 회사에서 일하며 그 변화를 안에서 겪었다고 합니다. 순서를 정리하면 이렇습니다.

1997~98년쯤   인터넷 혁명   PC방, 정액제 전용선. 집과 집이 연결됨
2009~10년쯤   모바일 혁명   아이폰. 개인과 개인이 제대로 연결됨
2022~23년쯤   AI 혁명       오픈AI가 챗GPT를 대중에게 공개

대략 10년 간격입니다. 그런데 진행자는 세 번째가 앞의 둘과 구조가 다르다고 봤습니다.

인터넷 혁명, 모바일 혁명의 핵심은 연결이었거든요.

AI 혁명은 그 연결 고리가 사실 없어요.

AI 비서와 내가 연결되고 AI끼리 연결되는 것 같긴 한데, 내가 다른 사람과 새롭게 연결되는 느낌은 없다는 겁니다.

진행자는 인터넷 혁명이 모바일 혁명보다 훨씬 큰 변화였다고 단호하게 말했습니다. 아예 없던 세상, 온라인이라는 새 영역을 만들었기 때문입니다. 신대륙이 아니라 새 행성을 발견한 것 같았다고 했습니다. 모바일은 그 연장선이었고요.

"이것도 돼, 저것도 돼" 회사들이 무너졌다

닷컴 버블을 안에서 본 이야기가 재미있었습니다. 그때는 매출 구조와 상관없이 회원 수, 하루 방문자, 동시 접속자만으로 회사 값을 매겼다고 합니다. 게임 회사 동료들끼리, 게임은 정액제든 아이템이든 돈이라도 버는데 저 회사들은 뭘로 돈을 벌기에 저렇게 투자를 많이 받느냐고 이야기했다고요.

그리고 무너진 회사들의 공통점을 이렇게 말했습니다.

원래 필요했는데 인터넷이란 기술이 없어서 안 되던 서비스가 아니라 인터넷이 들어왔는데 야 이것도 돼. 저것도 돼. 이런 회사들이 주로 다 무너졌던 거 같아요.

저는 이 문장을 메모장에 따로 적어 두었습니다. 봇을 만들 때 제일 자주 빠지는 함정이 이거라서요. AI가 코드를 잘 짜 주니까 "이것도 되네, 저것도 되네" 하면서 만들기 시작한 것들이 있었습니다. 대부분 끝을 못 봤습니다. 끝까지 간 건 원래 불편해서 꼭 필요했던 도구들이었습니다.

모바일 혁명 때의 기억은 공포였다고 합니다. 이미 돈을 잘 벌던 회사도 흐름을 못 따라가면 1, 2년 만에 사라지는 걸 봤다고요.

와 이거 시류를 못 따라가면 정말 잘되던 회사도 아무 잘못도 없는데 망해 버릴 수 있구나.

그리고 그때 10년 차였던 사람들이 지금 회사를 이끌고 있을 테니, 지금의 큰 투자에는 그 두려움도 섞여 있다고 봤습니다.

지금의 어떤 흔히 말하는 과잉 투자 막 그렇게 하고 있는 측면에는 저는 이 두려움도 있다고 생각을 해요.

숫자가 아니라 사람의 기억으로 투자를 설명하는 건 처음 들어 봤습니다.

일하는 도구와 쓰는 물건

이 편에서 제일 중요한 틀은 이거였습니다. 기술 혁명 뒤의 산업은 두 쪽으로 나눠 봐야 한다는 겁니다.

생산 도구      일하는 방식을 바꾸는 것 (이메일, 업무용 웹 소프트웨어, 인터넷 뱅킹)
소비자 제품    사람들이 직접 쓰고 노는 것 (포털, 쇼핑, 게임, 메신저, 스트리밍)

진행자의 정리로는 인터넷 혁명은 둘 다 바꿨고, 모바일 혁명은 거의 소비자 제품 쪽만 바꿨습니다. 모바일이 왔다고 일하는 방법이 크게 바뀌지는 않았다는 겁니다.

그럼 AI는 어느 쪽이냐. 진행자는 지금의 AI가 생산 도구에 머물러 있다고 봤습니다. 업무 밖에서는 쓸 데가 별로 없다는 거죠.

애초에 대부분의 소비자는 비서가 필요하지 않고 아직 AI가 필요하지 않은 거예요.

AI가 아무리 똑똑하다고 해도 나 대신 놀아줄 순 없는 일이잖아요.

AI를 두고 숙제도 잘 도와주는 신기한 것 정도로 보는 사람과 세상이 아예 천지개벽할 거라고 보는 사람의 간격이 유난히 큰 것도 이것 때문이라고 했습니다. 일에 쓰는 사람에게만 크게 보인다는 겁니다. 안드레 카파시도 비슷한 글을 썼다고 소개했습니다.

저는 여기서 좀 찔렸습니다. 저도 AI를 거의 일하는 도구로만 씁니다. 봇의 코드를 짜고, 버그를 찾고, 영상 자막을 정리하는 데 씁니다. 그런데 정작 제 봇들 대부분은 돌아갈 때 AI를 안 씁니다. 숫자를 읽고 비교해서 알림을 보내는 평범한 코드입니다. AI는 도구를 만드는 도구였지, 도구 안에 들어가 있지는 않았습니다.

그래서 버블이냐

진행자의 결론은 이렇습니다.

AI는 버블은 아니고 더 확장될 거다. 지금의 답답함을 벗어날 거다. 지금의 답답함은 생산 도구에 머물러 있기 때문이다.

닷컴 때와 다른 점으로는, 이번에는 이미 돈을 벌던 회사들이 다시 달리고 있다는 걸 들었습니다. 카카오 대표를 지낸 분이, 인터넷은 새 땅이었지만 AI는 기존에 있던 땅을 더 잘 쓰는 것에 가깝다는 취지의 글을 썼다는 이야기도 했습니다.

다만 소비자 제품으로 넘어가는 길은 지금 방식이 아닐 거라고 했습니다. 진행자가 본 길은 물리적인 AI입니다. 처음 꺼낼 때부터 로봇 같은 거창한 게 아니라고 선을 그었습니다. 당장 노트북이나 손에 든 스마트폰에라도 들어와서, 그 기계 안에서 직접 돌아야 한다는 겁니다. 로봇이나 자동차는 그 뒤에 예로 한 번 나왔습니다.

얘가 내 로컬 머신에 들어와 있어야 돼요. 그니까 인터넷을 끊어도 돼야 된다고요.

그 예로 AI 모델을 아예 칩에 구워 넣는 방식을 들었습니다. 지금은 모델이 숫자 덩어리로 메모리에 올라가 있어서 계속 메모리를 오가야 하는데, 칩에 새겨 버리면 그럴 필요가 없다는 겁니다.

좋은 메모리를 단 기존 방식     1초에 230 토큰
모델을 칩에 구운 방식          1초에 17,000 토큰

진행자는 이 숫자를 말한 뒤 "숫자는 다를 수 있지만"이라고 덧붙이면서, 그래도 상대가 안 된다고 했습니다. 이 편은 AMD가 이런 칩 회사를 인수했다는, 아무도 관심 없던 기사 제목 한 줄에서 출발했습니다.

그리고 이런 생각이 맞다면, 지금처럼 데이터 센터를 크게 짓는 쪽에만 눈이 쏠린 게 맞는지 묻습니다. 버블은 아니지만 관성으로 한 방향으로 달리는 건 좀 걱정된다는 게 진행자의 표현이었습니다. 방송 끝에는 "무슨 개소리냐고 하실 수도 있습니다. 저도 그렇게 생각하고요"라고 덧붙였습니다.

모델이란 무엇인가부터

두 번째 편은 기초부터 시작합니다. 모델이 뭐냐는 질문에 진행자는 이렇게 답했습니다.

어떤 입력값을 받아서 내부의 어떤 판단 로직을 통해서 처리를 해서 원하는 출력값을 내보내는 장치라고 생각합니다.

예전 모델은 사람이 로직을 짰고, AI 모델은 사람이 데이터만 넣어 주면 기계가 로직을 만든다는 차이입니다.

그리고 AI 모델 세 가지를 "정보를 어떻게 보느냐"로 비교했습니다. 이 설명이 지금까지 들은 것 중에 제일 쉬웠습니다.

CNN          주변 정보를 먼저 본다       이미지 판별 (사진 검색, 사진 분류)
RNN          들어오는 순서를 본다         번역 (2017~18년쯤 번역이 쓸 만해짐)
트랜스포머    모든 정보를 모든 정보와 비교   LLM

고양이 사진에서 눈 옆에는 눈 정보가 있지 갑자기 콧구멍이 있지 않으니 주변을 먼저 보고, 말은 단어의 순서가 중요하니 순서를 본다는 겁니다. 그리고 LLM이 올라가 있는 트랜스포머는 이렇습니다.

들어오는 정보를 모든 정보에 대해서 모든 정보랑 비교해서 봐요.

당연히 성능이 좋습니다. 대신 대가가 있습니다. 계산을 너무 많이 하고, 전기를 많이 먹고, 중간 결과(KV 캐시)와 큰 모델을 계속 메모리에 올려 둬야 해서 메모리를 엄청나게 씁니다.

주관식 말고 객관식

첫 번째 문장은 어떤 회사가 내놓은 모델이 "LLM이 아니다"라는 것이었습니다. 모델 이름은 자막이 뭉개서 확실하게 못 옮기겠습니다. 무엇을 하는 모델인지는 분명했습니다.

LLM은 주관식으로 답합니다. 고객이 환불 메일을 보내면 내용을 요약하고, 이 사람이 화가 난 것 같다고 길게 풀어 줍니다. 이 모델은 객관식으로 답합니다. 보기를 미리 주고 고르게 합니다.

보기  1. 환불해 줘야 함
      2. 그냥 넘겨도 됨
      3. 사람이 한번 확인해야 함

답    1번 85% · 2번 10% · 3번 5%

진행자에 따르면 만든 쪽은 기존 LLM보다 100배 넘게 싸고 400배 넘게 빠르다고 주장한다고 합니다.

그러니까 엄청 빨리 엄청 싸게 필요한 정보만 딱 줄게.

별것 아닌 것 같은데, 나오자마자 크게 인기를 끌었고 유료 AI 모델 중 가장 빨리 성장했다고 발표했다고 합니다. 진행자는 이게 사람들이 이미 품고 있던 불만을 건드렸다고 봤습니다.

아니, 이거 이렇게 별거 아닌 일에 이렇게까지 전기를 쓰고 돈을 써야 돼.

모기 잡는 데 큰 칼을 뽑느냐는 옛말을 꺼내면서, 이걸 LLM 만능주의가 깨지는 신호로 읽었습니다. 물론 이 모델도 LLM에서 파생된 것이라는 말이 있고, LLM으로 비슷한 성능을 내는 서비스도 나오고 있다고 같이 말했습니다. 그래도 만든 사람들 스스로 "LLM이 아니다"라고 내세웠다는 점이 중요하다고 했습니다.

이 대목은 제 봇들을 떠올리게 했습니다. 봇이 하는 판단 중에는 "새로운 것인가 아닌가", "알릴 것인가 말 것인가"처럼 사실상 객관식인 것이 많습니다. 그런 자리에 꼭 길게 생각하는 큰 모델을 불러야 하는지, 이번에 처음 따져 보게 됐습니다.

에이전트, 그리고 가상 머신

두 번째 문장은 오픈AI의 에이전트가 "오픈AI의 제일 좋은 모델을 바탕으로 하고, 가상 머신에서 돌아가는 에이전트"라는 것이었습니다. 이것도 자막이 이름을 여러 가지로 뭉개서, 이름 대신 뜻만 적습니다.

진행자는 단어를 하나씩 풀었습니다.

• 에이전트는 AI 모델을 판단 로직으로 삼아 실제로 일을 해서 결과를 주는 프로그램입니다. 모델을 꼭 하나만 쓰는 것도 아니고, 상황에 맞게 여러 모델을 골라 쓰기도 합니다.
• 가상 머신은 서버 한 대를 여러 사람이 쪼개 쓰면서, 각자 자기 컴퓨터 한 대를 통째로 쓰는 것처럼 느끼게 하는 것입니다. 컴퓨터 한 대에 여러 사람이 로그인하면 각자 바탕 화면이 뜨는 것과 비슷하다고 했습니다.

왜 가상 머신에서 돌리느냐. 이유는 두 가지였습니다.

첫째, 서버는 24시간 켜져 있습니다. 내 컴퓨터에서 돌던 AI는 내 컴퓨터가 꺼지면 같이 멈춥니다.

둘째, 내 컴퓨터를 통째로 내주지 않아도 됩니다. 오픈클로 같은, 내 컴퓨터에서 직접 도는 에이전트가 인기였지만 설정도 골치 아프고, 무엇보다 내 컴퓨터의 모든 자료를 에이전트가 무방비로 본다는 게 걸림돌이었다고 합니다.

24시간 도는 에이전트인데 내가 원하지 않는 정보는 접근을 못 하는

첫 번째 이유는 제가 몸으로 겪은 것이라 반가웠습니다. 제 봇들이 맥미니에서 도는 이유가 딱 그것입니다. 그런데 집에 있는 진짜 기계는 전원이 빠지면 멈춥니다. 실제로 그런 일이 몇 번 있었고, 다시 켜도 제가 로그인하기 전까지 봇들이 안 올라와서 한참 멈춰 있었습니다. 지금은 꽂으면 자동으로 켜지고 원격으로 로그인할 수 있게 해 뒀습니다. 남이 관리하는 서버실이 해 주는 일을 집에서 하나씩 손으로 메우고 있는 셈입니다.

싸움의 자리가 바뀌었다

두 문장을 묶어서 진행자가 내린 해석은 이렇습니다.

지금까지의 인공지능 회사들의 발표는 다 모델에 대한 발표였어요.

우리 모델 점수가 몇이고, 몇 배 빠르고, 더 긴 글을 처리한다는 발표였습니다. 그런데 요즘은 그 모델을 써서 이런 것까지 할 수 있다는 걸 보여 주는 쪽으로 옮겨 갔다는 겁니다. 진행자는 이걸 모델 자체보다 모델을 감싸는 틀(하네스)이 더 발달한 것이라고 표현했습니다.

그런데 에이전트 싸움이 되면 이야기가 달라진다고 했습니다. 야구 경기 표를 될 때까지 예매하라고 시켰다고 해 봅시다. 에이전트에게 필요한 건 좋은 모델만이 아닙니다.

로그인도 해야 되죠. 그리고 판단도 해야 되죠. 그리고 결제도 해야 되잖아요. 그리고 내 취향도 알아야 돼요.

이게 없으면 에이전트는 할 때마다 "어떤 카드로 결제할까요, 로그인은 어떻게 할까요" 하고 계속 물어봐야 합니다. 그래서 LLM을 제일 잘 만드는 회사가 에이전트도 제일 잘 만들 거라고는 생각하지 않는다고 했습니다. 로그인과 결제와 취향 정보를 오래 다뤄 본 큰 서비스 회사들이 강점이 있을 거라는 겁니다. 페이스북이 내놓은 비슷한 에이전트가 결제를 붙여서 나온 것도 그 예로 들었습니다.

마지막으로, 큰 모델이 하던 일을 훨씬 작은 전용 모델들이 나눠 맡게 되면 LLM 쓰는 양이 줄 수도 있다고 했습니다. 쓰기가 좋아지면 오히려 더 늘어난다는 역설도 있긴 하다고 짚었지만, 기본으로는 줄어드는 쪽으로 보고 얼마나 줄어들지는 잘 모르겠다고 했습니다. 계산을 줄이는 연구들이 계속 나오고 있고, 아예 방법이 바뀌면 많은 게 바뀔 수 있다고요.

제가 가져간 것

두 편을 듣고 제 노트에 남긴 건 세 줄입니다.

1. "이것도 돼"로 시작한 건 무너진다. 원래 필요했던 것만 남는다.
2. 객관식 판단에 주관식 모델을 부르지 않는다.
3. 24시간 켜져 있는 기계는 공짜가 아니다.

첫 번째는 봇을 새로 만들기 전에 묻는 질문이 됐습니다. 이게 AI가 짜 주니까 만들고 싶은 건지, 원래 불편해서 필요했던 건지.

두 번째는 바로 해 볼 수 있는 일입니다. 제 봇들 안에서 "예, 아니오"나 "1, 2, 3번"으로 끝나는 판단을 찾아서, 거기에 정말 생각하는 모델이 필요한지 다시 볼 생각입니다.

세 번째는 이미 하고 있던 일에 이름을 붙인 것입니다. 집 맥미니를 늘 켜 두려고 손으로 메우던 일이, 큰 회사들이 가상 머신으로 풀고 있는 문제 가운데 하나였습니다.

진행자는 방송 끝에 회사 분석이나 수익률 이야기는 자기가 드릴 수 없다고 했습니다. 대신 서비스를 많이 만들어 본 사람으로서 중요한 지점이나 흐름이 바뀌는 대목이 보이면 그때그때 정리해 주겠다고 했습니다. 저도 딱 그 정도로 들었습니다. 맞고 틀리고를 떠나서, 같은 뉴스를 보는 눈금 하나를 더 얻은 기분입니다.