흔치 않은 언어 사용자가 AI에 더 많은 돈을 낸다

무슨 일이 있었나요?

베트남 기술 매체가 덜 흔한 언어를 쓰는 사람들이 AI 사용에 돈을 더 많이 낸다고 보도했습니다. AI는 이런 언어를 다룰 때 영어나 인기 있는 언어보다 토큰을 더 많이 씁니다. 토큰은 글이나 소리를 잘게 나눈 작은 조각입니다. 토큰이 많아지면 문서나 대화 기록을 담을 공간이 줄고, 답변 하나를 만드는 데도 일이 더 많이 듭니다.

핵심 숫자

• 언어 연구 단체 CLEAR의 조사에서, 인터넷에서 가장 많이 쓰는 20개 언어 중 가장 비싼 언어는 가장 싼 언어보다 토큰이 1.5배에서 5배 더 필요했습니다.
• 조사 대상을 200개 언어로 넓히자, 하나의 AI 모델 안에서 토큰 비용 차이가 17배까지 벌어졌습니다.
• CLEAR는 이런 추가 비용을 '숨겨진 토크나이저 세금'이라고 부릅니다.

왜 이런 차이가 생길까요?

토크나이저는 글, 그림, 소리를 토큰이라는 작은 조각으로 나누는 도구입니다. 문맥 창은 AI가 한 번에 다룰 수 있는 정보의 최대량이며, 보통 토큰 수로 잽니다. 글자 체계도 영향을 줍니다. 버마어, 티베트어, 크메르어처럼 토크나이저가 거의 보지 못한 문자를 쓰는 언어는 거의 모든 AI 모델에서 크게 불리합니다.

왜 중요할까요?

토큰을 많이 쓰면 비용이 오르고, 답변이 느려지고, AI가 대화 앞부분을 기억할 공간도 줄어듭니다. 영어를 쓰지 않는 사람과 스타트업이 특히 큰 영향을 받습니다. 전문가들은 완전한 평등은 어려울 수 있지만, 큰 차이는 설명하고 줄여야 한다고 말합니다. 한 전문가는 AI 기업들이 언어별 비용 비교를 공개해야 한다고 제안합니다.

앞으로 지켜볼 점

• 큰 AI 기업들이 언어별 비용 보고서를 공개할지
• 기업들이 가장 큰 피해를 보는 언어에 측정 가능한 개선을 할지
• 기업들이 직원의 생산성을 토큰 사용량으로 재는 것을 멈출지
• 어려운 일에는 비싼 모델을, 쉬운 일에는 싼 모델을 쓰는 방식이 더 많은 기업으로 퍼질지