少数言語の利用者ほどAIに多くの費用を払っている

何が起きたのか

ベトナムのテック記事が、少数派の言語を使う人ほどAIの利用料金が高くなると報じました。英語など人気の言語に比べて、AIモデルは同じ内容を扱うのに多くのトークンを使います。その結果、資料や会話の履歴を置ける余地が減り、一回の回答にも多くの処理がかかります。このため、こうした利用者は不利な立場に置かれています。

数字で見る差

• AI研究で言語の平等を訴えるCLEARの調査では、オンラインで使われる上位20言語のうち、最も高い言語は最も安い言語の1.5倍から5倍のトークンを必要とした。
• 調査対象を200言語に広げると、同じAIモデル内でのトークン費用の差は17倍に広がった。
• CLEARはこの追加の費用を「隠れたトークナイザー税」と呼んでいる。

トークンとは何か

トークナイザーは、文章・画像・音声を「トークン」と呼ばれる小さな部品に分けます。コンテキストウィンドウは、AIが一度のやり取りで扱える情報の最大量で、通常はトークンで測ります。文字の種類も関係します。ビルマ語、チベット語、クメール語のように、トークナイザーがあまり見たことのない文字を使う言語は、ほとんどのAIモデルで大きく不利になります。

なぜ大切なのか

トークンが多く使われると、料金が上がり、返答が遅くなり、AIが会話の前半を覚えておける量も減ります。その影響は、新興企業や英語を話さない人々に及びます。専門家は、完全な平等は難しいかもしれないが、大きな差は説明され、減らされるべきだと述べています。ある専門家は、AIの開発企業が言語ごとの費用比較を公開すべきだと提案しています。

今後注目すべき点

• 大手AI企業が言語ごとの費用報告を公開するかどうか。
• 影響を最も受けている言語について、企業が測定できる改善を行うかどうか。
• 企業が従業員の生産性の指標としてトークン使用量を使うのをやめるかどうか。
• 難しい作業には高価なモデル、簡単な作業には安価なモデルを組み合わせる方法が、より多くの企業に広がるかどうか。