CN — TechNode
テンセント、100万トークンのコンテキストに対応したHy4モデルの重みを公開
AI1分で読めます
Tencent(テンセント)は、主力AIモデル「Hy4」の重み(モデルの中身のデータ)を公開しました。開発者は、これをダウンロードして自分たちの環境で動かせるようになります。
何が起きたのか
テンセントは金曜日に、主力AIモデルHy4の重みを公開しました。Hy4は11月4日に最初に発表されたモデルです。今回の公開で、開発者は誰でもモデルをダウンロードして、自分のコンピューターやサーバーに入れて使えるようになりました。ライセンスはApache 2.0で、商用利用や改変も認められています。
主な数字と事実
- 文脈の長さ(一度に扱える情報量)は約100万トークンです。
- 言語部分の総パラメータ数は7,700億、1回の処理で使われるのは490億です。
- テキスト、画像、動画を理解できます。
- 前のプレビュー版より、指示への従い方、長い文章の理解、長時間の作業、研究などが良くなったとされています。
- vLLMとSGLangでの導入手順、微調整の資料、安全性評価カードも提供されています。
もう少し詳しく
Hy4は「混合エキスパート(MoE)」という仕組みを使っています。これは、多くの専門家役のかたまりを用意し、質問ごとに必要な一部だけを働かせる方法です。そのため、全体は大きくても、1回に使う計算量を抑えられます。また、より小型のHy4 flashモデルも先に公開されていました。
なぜ大切なのか
大きなAIモデルの重みが公開されると、企業や研究者が自由に試し、改良できます。特に、長い文章や多くの種類の情報を扱えることは、仕事や開発の場で役立ちやすいです。ゲーム開発や事務作業など、幅広い分野での利用も期待されています。
今後注目したいこと
- 開発者がどれくらいHy4を導入し、どんなアプリを作るか
- 実際の性能が、テンセントの説明どおりかどうか
- 安全性の評価や、公開後の問題の報告
用語解説
- Tencent
- 中国の大手IT企業で、ゲーム、SNS、クラウドなど幅広い事業を行っています。
- Hy4
- テンセントが作った主力のAIモデルです。文章、画像、動画を理解できます。
- vLLM
- 大きなAIモデルを速く動かすための、ソフトウェアの仕組みです。