AI 이용료, 언어에 따라 최대 5배…CLEAR 연구 '토크나이저 세금' 지적

같은 내용을 AI에 입력해도 언어에 따라 모델이 처리해야 하는 토큰 수가 크게 다르며, 이 차이가 곧 비용 격차로 이어진다는 연구가 나왔다. 언어 공정성 연구 연합 CLEAR(Coalition for Language Equity in AI Research)는 인터넷에서 많이 쓰이는 상위 20개 언어만 비교해도 가장 비싼 언어가 가장 싼 언어보다 토큰을 1.5–5배 더 쓴다고 밝혔다. 분석 대상을 200개 언어로 넓히면 한 모델에서는 격차가 17배까지 벌어졌다. 이 연구를 보도한 매체 Rest of World(26일 기사)와 Computerworld(28일 기사)에 따르면 CLEAR는 이를 ’토크나이저 세금(tokenizer tax)’이라고 불렀다.

토큰이 곧 요금

토큰은 AI 모델이 글을 처리하는 단위이고, 토크나이저는 글을 이 단위로 쪼개는 도구다. Computerworld는 대부분의 대규모 언어 모델(LLM) 제공업체가 토큰 수로 요금을 매긴다고 설명했다. 토큰이 많이 필요한 언어는 같은 내용에 더 많은 돈이 든다. 실리콘리포트는 비효율적인 토큰화가 개발자 비용 증가, 응답 지연 증가, 문서와 대화 기록을 담을 수 있는 유효 컨텍스트 용량 감소로 이어진다고 전했다.

CLEAR는 Rest of World가 인용한 자료에서 “벵갈루루의 스타트업은 모든 프롬프트와 응답마다 추가 요금을 낼 수 있지만, 오스틴의 경쟁사는 그렇지 않다”고 적었다. 또 “토크나이저 불평등은 누가 AI 경제에 참여할 수 있는지를 제약한다”고 밝혔다. Computerworld는 연구가 “수억 명이 같은 지능에 영어 요금의 몇 배를 청구받고 있다”고 표현했다고 전했다.

어떤 언어가 불리한가

Rest of World에 따르면 CLEAR는 OpenAI 토크나이저 API로 “사람들은 사용하는 언어와 관계없이 AI의 혜택을 받아야 한다”는 문장을 영어와 말라얄람어로 쪼개 비교했다. 영어는 알아볼 수 있는 단어 단위로 나뉜 반면 말라얄람어는 단어마다 여러 조각으로 갈라졌다.

연구는 학습 과정에서 거의 접하지 못한 문자 체계를 쓰는 언어가 거의 모든 모델에서 가장 불리했다고 밝혔다. Rest of World는 버마어, 티베트어, 티피나그, 크메르어, 라오어, 올치키 문자를 꼽았다. 반면 화자가 적고 웹 자료도 거의 없는 아스투리아스어는 라틴 문자를 쓰고 이탈리아어 같은 로망스어와 가까워 상대적으로 유리했다. 사용 인구보다 문자 체계가 큰 영향을 준다는 뜻이다. Computerworld는 라틴 문자 언어는 화자가 적어도 유리한 경우가 많다고 전했다.

한국어에 대한 수치는 이 보도들에 없다. Rest of World는 한국어·일본어·중국어·힌디어의 토큰 수를 제시하지 않았고, 이 기사도 한국어의 격차를 추정하지 않는다.

업계 반응

액티베이트 AI(Activate AI)의 공동창업자 프라튜시 초두리는 비영어권 언어에서는 문맥과 대화 기록을 담을 공간이 줄어든다고 지적했다. 그는 언어 효율을 제품 요건으로 삼아야 하며, AI 연구소들이 언어별 성적표를 공개해야 한다고 말했다고 Rest of World는 전했다.

마야리서치(Maya Research)의 디만스 레디 최고경영자(CEO)는 토큰 가격이 빠르게 내려가고 있어 직접적인 비용 영향은 시간이 갈수록 줄어들 것이라고 말했다. 다만 그는 격차 자체를 해소하려면 AI 연구소들이 이런 언어와 문자를 더 잘 다루도록 앞으로의 토크나이저를 의도적으로 설계해야 한다고 덧붙였다.

확인되지 않은 부분

보도들은 17배 격차가 나온 모델의 이름을 밝히지 않았다. Rest of World는 연구가 “지난달” 나왔다고 전했으나 보고서 제목과 공개 날짜는 확인하지 못했다. 이 기사는 연구 원문을 열람하지 못한 채 Rest of World의 기사와 이를 인용한 Computerworld, 실리콘리포트 보도를 근거로 했다. Rest of World 본문은 웹 요약 도구를 거쳐 확인했다.