SenseTime、層を再利用して処理を深める90億パラメータのAIモデルをオープンソース公開

何が起きたのか

SenseTimeは10月30日に、「SenseNova Loop-9B-Preview」を公開しました。このモデルは文章と画像を入力でき、文章で答えを出します。文書の理解、プログラミング、外部ツールを使う作業に対応します。ポイントは、同じ処理のかたまりを2回使って計算を深くしていることです。モデルの重みをコピーして増やしてはいません。

主な数字と事実

• パラメータ数は約90億です。
• 共有の処理ブロック（デコーダ層24個）を2回実行します。
• 学習の設定では、最大262,144トークンの長さの入力に対応します。
• 学習データには、文章、画像、コード、ツール利用の例が含まれます。
• モデルの重み、推論（動かし方）の手順、学習の手引きが公開されています。ライセンスはApache 2.0です。

初めての人向けの説明

AIモデルは、多くの「層」を重ねて情報を処理します。一般に層を増やすと賢くなりますが、その分だけ重みが増え、保存や動作に大きな力が必要になります。今回のモデルは、同じ層を繰り返し使うことで、重みを増やさずに処理の道筋を長くしています。

なぜ重要なのか

無料で公開されたモデルなので、研究者や開発者が自分で試し、改良できます。少ない重みで深い処理を行えるなら、小さめの計算機でもAIを動かしやすくなる可能性があります。ただし、この記事は性能の比較結果までは示していません。

今後注目したい点

• 実際に使った人が、性能や速さをどう評価するか。
• 「Preview（試用版）」から正式版へ進むかどうか。
• 同じ仕組みを使う別のモデルが出てくるかどうか。