EXPLORINEER
vi

Lưu trữ — US — turtlesai

Reka Flash 3: Mô hình suy luận 21B với hiệu suất ấn tượng

Reka đã công bố phiên bản mở mã nguồn Reka Flash 3, một mô hình ngôn ngữ đa dạng với 21 tỉ tham số, được thiết kế cho các nhiệm vụ như trò chuyện và cuộc gọi chức năng. Nó vượt trội về hiệu suất so với các giải pháp độc quyền, hỗ trợ đến 32.000 mã thông báo, phù hợp cho các ứng dụng yêu cầu thời gian thực nhanh. Tuy nhiên, mặc dù hiệu quả, nó có hạn chế trong việc xử lý các nhiệm vụ kiến thức lớn.

Điểm chính

  • Reka Flash 3 là một mô hình mã nguồn mở với 21 tỷ tham số.
  • Nó cho thấy hiệu suất cạnh tranh với các mô hình độc quyền như o1-mini của OpenAI.
  • Hỗ trợ độ dài ngữ cảnh lên đến 32,000 token, lý tưởng cho nhiều ứng dụng.
  • Được tối ưu hóa cho độ trễ thấp và triển khai trên thiết bị địa phương.
  • Quá trình huấn luyện bao gồm huấn luyện trước trên dữ liệu đa dạng, điều chỉnh với hướng dẫn chất lượng cao và học bổ trợ.
  • Vượt trội hơn so với các mô hình trước trên AIME-2024 và đạt điểm COMET 83.2 trên WMT'23.
  • Đạt điểm 65.0 trên MMLU-Pro, cho thấy có thể cần tích hợp với tìm kiếm web cho các nhiệm vụ đòi hỏi kiến thức.
  • Hướng dẫn cơ chế độc đáo cho quản lý tư duy sử dụng thẻ, điều khiển các bước tư duy trong quá trình tạo ra đầu ra.
  • Kích thước mô hình nén có thể giảm xuống 11 GB trong khi vẫn duy trì hiệu suất cao, một sự hiệu quả đáng kể so với các mô hình lớn hơn.
  • Được thiết kế chủ yếu cho tiếng Anh nhưng cho thấy một số khả năng đa ngôn ngữ; sự phù hợp và huấn luyện vẫn là các lĩnh vực cần cải thiện trong tương lai.
  • Phiên bản thử nghiệm và trọng lượng mô hình có thể tải xuống sẵn dưới bản quyền Apache 2.0 cho các nhà phát triển.

Vì sao quan trọng

  • Việc phát hành Reka Flash 3 phản ánh sự phát triển hiện tại của trí tuệ nhân tạo theo hướng mã nguồn mở và dễ tiếp cận. Tính đến năm 2025, các ứng dụng ít độ trễ đóng một vai trò quan trọng trong triển khai trí tuệ nhân tạo, đặc biệt là trong lĩnh vực edge computing. Khả năng đa nhiệm của mô hình này phản ánh sự chuyển đổi của ngành công nghiệp về các mô hình ngôn ngữ linh hoạt phục vụ cho nhiều ứng dụng khác nhau. Các dự án mã nguồn mở có ảnh hưởng đáng kể đến tốc độ phát triển trí tuệ nhân tạo và sự tiếp cận công cụ tiên tiến cho các nhà nghiên cứu.

Reka Flash 3 đại diện cho một tiến bộ lớn trong các mô hình ngôn ngữ đa phương tiện, kết hợp các tính năng sáng tạo với hiệu suất cao, mời gọi sự khám phá và tiềm năng ứng dụng trong cảnh quan trí tuệ nhân tạo.