1편 인터뷰에서 이렇게 말했다.
나는 인간이잖아. 24시간 일할 수 없어. 근데 ai 직원들은 토큰만 있으면 24시간 일하잖아. 아 그러면서 보니까 또 느낀 거는 정말 토큰 경쟁인 것 같아. 이런 걸 만들어서도 제대로 돌리려면 토큰이 많아야 돼. … 이제 돈은 권력은 토큰인 것 같고
6편에서는 12일 동안 실행 7,258회, 밤에도 돌고 하루 20시간 넘게 일한다고 적었다. 그만큼 토큰이 든다. 그래서 마지막 편은 그 토큰을 셌다. 6편과 같은 12일, 10월 28일부터 11월 8일까지다.
12일 동안 쓴 토큰
| 항목 | 12일 합계 |
|---|---|
| AI 직원 실행 | 7,258회 |
| 토큰 기록이 남은 실행 | 4,060회 |
| 읽은 토큰 (입력) | 88억 8,300만 |
| 그중 이미 읽은 걸 다시 읽은 토큰 (캐시) | 86억 6,700만 (97.6%) |
| 쓴 토큰 (출력) | 3,890만 |
표의 토큰은 기록이 남은 4,060회만 더한 값이다.
AI가 일하는 방식을 알면 이 숫자가 이해된다. AI 직원은 메시지 하나를 받을 때마다 자기 지침, 스킬, 지금까지 나눈 대화, 열어 본 파일을 처음부터 다시 읽는다. 그다음에 답을 쓴다. 그래서 읽는 양이 쓰는 양보다 훨씬 많다. 12일 동안 읽은 토큰이 쓴 토큰의 228배다. 쓴 건 0.4%다.
실행 한 번에 읽는 토큰은 가운데 값이 54만 개다. 답으로 쓰는 토큰은 한 번에 3천 개 남짓이다.
읽은 토큰의 97.6%는 캐시였다. 캐시는 바로 전에 읽은 앞부분을 공급자가 기억해 두었다가 다시 쓰는 것이다. 지침과 지난 대화는 매번 같으니 대부분 캐시로 읽힌다. 공개 API 가격표도 캐시로 읽는 토큰은 새로 읽는 토큰보다 훨씬 낮은 값으로 매긴다. 같은 일을 시켜도 캐시가 깨지면 토큰 값이 크게 뛴다.
콘솔의 회사 현황 화면이다. 최근 7일 기준으로 시간당 2,547만 토큰을 읽고, 캐시 적중률은 97.5%다. 목표는 95%로 잡아 두었다. 맨 위 '이전보다 48%'는 이전 콘솔에서 잰 기준선, 시간당 4,900만 토큰과 비교한 값이다. 오른쪽 아래 칸은 일을 하나 끝내는 데 든 토큰을 돈으로 환산한 값이라 가렸다.
한 번에 읽는 양이 줄었다
| 기간 | 실행 한 번에 읽은 토큰 (가운데 값) | 캐시 비율 |
|---|---|---|
| 첫 5일 (10월 28일~11월 1일) | 76만 | 97.9% |
| 다음 7일 (11월 2일~11월 8일) | 45만 | 97.2% |
실행 한 번이 읽는 양이 41% 줄었다. 6편에서 본 것처럼 그 사이 하루 작업 수는 그대로였다. 같은 일을 더 가볍게 읽고 했다.
첫 5일은 콘솔을 옮기고 고치는 일이 몰렸던 때다. 지금은 대화가 길어지면 직원이 압축할지, 새로 시작할지 스스로 판단한다. 대화가 20만 토큰을 넘으면 콘솔이 그 판단을 하라고 알려 준다. 매번 처음부터 다시 읽으니 대화가 길수록 한 번 일하는 값이 비싸지기 때문이다.
누가 많이 쓰나
최근 7일 토큰의 84%를 세 직원이 썼다. 콘솔을 개발하는 지훈이 39.3%, 회사 전체를 최적화하는 현우가 29.3%, 릴스와 블로그를 맡은 서아가 15.1%다. 이 글을 쓴 직원이 서아다.
일의 종류마다 토큰 무게가 다르다. 지훈과 현우는 코드와 긴 기록을 읽고 고친다. 계정을 발급하고 회수하는 다온은 토큰 3.5%로 일 50건을 끝냈다. 지훈이 일 하나에 쓰는 토큰의 3분의 1이 안 된다. 토큰이 모자라면 무거운 일부터 멈춘다.
한도는 두 개다
토큰은 구독 계정으로 쓴다. 지금 쓰는 구독 계정은 여섯 개다. Claude 둘, Codex 셋, Gemini 하나다. 계정마다 한도가 두 개 있다. 5시간마다 초기화되는 한도와 일주일마다 초기화되는 한도다.
계정별로 얼마나 썼는지 보는 화면이다. 세 계정은 일주일 한도의 절반 넘게 썼고, 세 계정은 20% 아래다. 11월 5일부터 남은 기록에서 5시간 한도가 다 찬 적이 두 번 있었다. 주간 한도는 가장 많이 쓴 계정이 85%까지 갔다.
계정이 여럿이면 어느 계정에 일을 맡길지가 문제다. 처음에는 콘솔이 남은 퍼센트만 보여 줬는데, 그러면 작은 요금제 계정이 여유 있어 보였다. 지금 콘솔에 넣은 규칙은 이렇다.
- 퍼센트끼리 비교하지 않는다. 요금제가 다르면 같은 50%라도 남은 양이 다르다. 가장 작은 요금제 몇 개분이 남았는지로 바꿔서 비교한다.
- 초기화가 가까운 계정부터 쓴다. 주간 한도는 초기화되면 남은 양이 사라진다. 남은 양을 초기화까지 남은 날로 나눠, 하루에 쓸 수 있는 양이 많은 계정에 먼저 맡긴다.
- 긴 일은 5시간 한도가 넉넉한 계정에 맡긴다. 5시간 한도를 다 쓰면 주간 한도가 남아 있어도 초기화될 때까지 멈춘다. 5시간 한도 하나는 대개 주간의 10~20%다.
- 고르게 쓰고 있는지 본다. 화면 위 계정 막대에 '초기화까지 고르게 썼다면 지금 남아 있어야 할 양'을 눈금으로 그었다. 막대가 눈금보다 짧으면 너무 빨리 쓰고 있는 것이다.
이 규칙은 내가 매번 고르지 않는다. 일을 나누는 1번 칸 직원이 실행할 때마다 계정별 남은 양과 초기화 시각을 받아 보고, 이 기준으로 어느 칸에 맡길지 정한다.
내 토큰을 세어 보려면
AI 도구를 하나만 써도 토큰은 같은 방식으로 든다. 콘솔에 넣은 기준을 혼자 쓰는 도구에 옮기면 이렇다.
- 쓰는 도구의 사용량 화면에서 입력, 캐시, 출력을 나눠 본다. 대부분이 입력이고, 그 입력의 대부분이 캐시면 정상이다.
- 캐시 비율이 낮으면 지침이나 앞부분을 자주 바꾸고 있지 않은지 본다. 앞부분이 바뀌면 캐시가 깨진다.
- 대화가 길어지면 요약해서 새로 시작한다. 길수록 한 번 묻는 값이 비싸진다.
- 구독 한도는 5시간과 주간을 같이 본다. 주간이 남아도 5시간이 차면 멈춘다.
- 계정이 둘 이상이면 초기화가 가까운 계정부터 쓴다.
계정별 남은 양을 붙여 넣고 이렇게 부탁하면 된다.
제가 쓰는 AI 구독 계정의 남은 사용량입니다. 오늘 어느 계정부터 쓸지 정해 주세요.
1. 계정마다 요금제, 5시간 한도 남은 %, 주간 한도 남은 %, 주간 초기화까지 남은 시간을 적었습니다.
2. 요금제가 다르면 남은 %를 그대로 비교하지 말고, 가장 작은 요금제 몇 개분이 남았는지로 바꿔 주세요.
3. 주간 남은 양을 초기화까지 남은 날로 나눠 하루에 쓸 수 있는 양을 계산해 표로 보여 주세요.
4. 하루에 쓸 수 있는 양이 많은 계정부터 순서를 매겨 주세요.
5. 5시간 한도가 20% 아래인 계정은 긴 작업에서 빼고, 짧은 질문에만 쓰라고 표시해 주세요.
연재를 마치며
1편에서 일이 늘어서 AI 직원 사무실을 만들었다고 썼다. 2편은 첫 콘솔이 무너진 이야기, 3편은 신입 AI 직원을 길들인 이야기, 4편은 판단만 결재로 받는 방식, 5편은 내 생활을 맡긴 이야기, 6편은 그 결과를 숫자로 셌다.
마지막으로 토큰을 세어 보니 1편에서 한 말이 숫자로 남았다. 12일 동안 88억 개를 읽었다. 직원들은 내가 자는 동안에도 일하지만, 토큰이 떨어지면 멈춘다. 그래서 콘솔은 남은 토큰을 보고 일을 나눈다.
처음부터 읽으려면 1편 AI 덕분에 일이 늘었다부터 보면 된다.