Synced Review

Hybrid của NVIDIA: Kết hợp Mô hình Attention và State Space để đạt hiệu suất đột phá cho Mô hình Ngôn ngữ Nhỏ

🕐 21/07/2026 08:42 📰 Synced Review ✅ Đã dịch sang tiếng Việt

Các mô hình ngôn ngữ (LM) dựa trên transformer đã trở thành tiêu chuẩn vàng trong xử lý ngôn ngữ tự nhiên, nhờ hiệu suất vượt trội, khả năng xử lý song song và khả năng lưu giữ ngữ cảnh dài hạn thông qua bộ nhớ đệm key-value (KV). Tuy nhiên, những lợi ích này đi kèm với chi phí—transformer yêu cầu tài nguyên tính toán bậc hai và bộ nhớ lớn, gây ra những thách thức đáng kể về hiệu quả. Mặt khác, các mô hình không gian trạng thái (SSM), chẳng hạn như Mamba, có độ phức tạp tính toán không đổi và thiết kế thân thiện với phần cứng, nhưng lại gặp khó khăn trong việc gợi nhớ bộ nhớ, điều này làm giảm hiệu suất của chúng trên các tác vụ ngôn ngữ đa dạng.

Để giải quyết các vấn đề nêu trên, trong một bài báo mới có tiêu đề *Hymba: A Hybrid-head Architecture for Small Language Models*, nhóm nghiên cứu của NVIDIA đề xuất Hymba, một họ các mô hình ngôn ngữ nhỏ sử dụng kiến trúc hybrid-head song song. Bằng cách kết hợp cơ chế chú ý của transformer với các mô hình không gian trạng thái (SSM), Hymba đạt được hiệu suất và hiệu quả vượt trội. Đáng chú ý, nó vượt qua mô hình Llama-3.2-3B với độ chính xác trung bình cao hơn 1,32%, đồng thời giảm kích thước bộ nhớ đệm 11,67 lần và tăng thông lượng lên 3,49 lần.

Hymba là một kiến trúc LM mới tích hợp các đầu chú ý (attention heads) và đầu SSM trong cùng một lớp, cho phép xử lý song song và bổ sung cho cùng một đầu vào. Cách tiếp cận hybrid-head này cho phép mỗi lớp đồng thời khai thác cả khả năng gợi nhớ độ phân giải cao của cơ chế chú ý và khả năng tóm tắt ngữ cảnh hiệu quả của SSM, tăng tính linh hoạt và khả năng biểu đạt của mô hình trong việc xử lý các luồng thông tin và mẫu truy cập bộ nhớ khác nhau.

Để nâng cao hơn nữa hiệu suất có thể đạt được của Hymba, các nhà nghiên cứu giới thiệu các meta token có thể học được, được thêm vào trước các chuỗi đầu vào và tương tác với tất cả các token tiếp theo ngay cả trong cơ chế chú ý cửa sổ trượt. Các meta token này dường như hoạt động như một biểu diễn nén của kiến thức thế giới, cải thiện hiệu suất trên cả các tác vụ tổng quát và các tác vụ yêu cầu gợi nhớ nhiều.

Việc chia sẻ bộ nhớ đệm KV giữa các đầu chú ý là một thực tiễn phổ biến. Lấy cảm hứng từ ý tưởng rằng các lớp liên tiếp có mối tương quan cao trong bộ nhớ đệm KV, họ đề xuất chia sẻ bộ nhớ đệm KV giữa các lớp. Ngoài ra, đối với hầu hết các lớp, họ chọn cơ chế chú ý cửa sổ trượt để giảm thiểu thêm chi phí bộ nhớ đệm.

Các đánh giá toàn diện và nghiên cứu cắt bỏ (ablation studies) cho thấy Hymba không chỉ thiết lập các tiêu chuẩn hiệu suất mới (SOTA) trên nhiều tác vụ đại diện mà còn đạt được hiệu quả cao hơn so với transformer và các mô hình hybrid trước đây. Ví dụ, trong các tác vụ suy luận thông thường, Hymba1.5B có thể vượt qua Llama-3.2-3B với độ chính xác trung bình cao hơn 1,32%, đồng thời yêu cầu kích thước bộ nhớ đệm nhỏ hơn 11,67 lần và nhanh hơn 3,49 lần.

Nhìn chung, công trình này chứng minh rằng Hymba thiết lập các tiêu chuẩn hiệu suất mới (SOTA) trên nhiều tác vụ, đạt được kết quả vượt trội cả về độ chính xác và hiệu quả. Ngoài ra, nó cung cấp những hiểu biết có giá trị về lợi ích của

kiến trúc hybrid-head, mở ra một hướng đi đầy hứa hẹn cho nghiên cứu trong tương lai về các mô hình ngôn ngữ hiệu quả.

Bài báo *Hymba: Kiến trúc Hybrid-head cho Mô hình Ngôn ngữ Nhỏ* đã được đăng tải trên arXiv.

Tác giả: Hecate He | Biên tập: Chain Zhang

Tôi thích hướng đi của bài viết này, mặc dù tôi nghĩ nó có thể đi sâu hơn vào các ứng dụng thực tế. Khía cạnh thực tiễn là nơi mà hầu hết người dùng gặp khó khăn. Đó cũng là điều tôi đang tập trung vào với Erasio, ứng dụng AI để giúp việc làm sạch hình ảnh trở nên đơn giản hơn mà không cần đến Photoshop hay các phần mềm chỉnh sửa phức tạp.

Tôi thích hướng đi của bài viết này, mặc dù tôi nghĩ nó có thể đi sâu hơn vào các ứng dụng thực tế. Khía cạnh thực tiễn là nơi mà hầu hết người dùng gặp khó khăn.

Địa chỉ email của bạn sẽ không được công bố. Các trường bắt buộc được đánh dấu *

Thông báo cho tôi về các bình luận tiếp theo qua email.

Thông báo cho tôi về các bài viết mới qua email.

Language models (LMs) based on transformers have become the gold standard in natural language processing, thanks to their exceptional performance, parallel processing capabilities, and ability to retain long-term context via key-value (KV) caches. However, these benefits come at a cost—transformers require quadratic computational resources and large memory footprints, presenting significant efficiency challenges. On the other hand, state space models (SSMs), such as Mamba, boast constant computational complexity and hardware-friendly design, but they struggle with memory recall, which hampers their performance on diverse language tasks.

To address the abovementioned issues, in a new paperHymba: A Hybrid-head Architecture for Small Language Models, an NVIDIA research team proposes Hymba, a family of small language models that employ a hybrid-head parallel architecture. By blending transformer attention mechanisms with state space models (SSMs), Hymba achieves superior efficiency and performance. Notably, it outperforms the Llama-3.2-3B model with a 1.32% higher average accuracy, while reducing cache size by 11.67× and increasing throughput by 3.49×.

Hymba is a novel LM architecture that integrates attention heads and SSM heads within the same layer, offering parallel and complementary processing of the same inputs. This hybrid-head approach allows each layer to simultaneously harness both the high-resolution recall of attention and the efficient context summarization of SSMs, increasing the model’s flexibility and expressiveness in handling various types of information flows and memory access patterns.

To further enhance the achievable performance of Hymba, the researchers introduce learnable meta tokens that are prepended to the input sequences and interact with all subsequent tokens even in sliding window attention. These meta tokens appear to act as a compressed representation of world knowledge, improving performance across both general and recall-intensive tasks.

Sharing KV cache between attention heads is common practice. Inspired by the idea that consecutive layers have a high correlation in the KV cache, they propose sharing the KV cache between layers as well. Additionally, for most layers, they choose sliding window attention to further minimize cache costs.

Comprehensive evaluations and ablation studies demonstrate that Hymba not only establishes new state-of-the-art (SOTA) benchmark performance across a wide range of representative tasks but also achieves greater efficiency compared to transformers and previous hybrid models. For instance, in commonsense reasoning tasks, Hymba1.5B can outperform Llama-3.2-3B with 1.32% higher average accuracy, while requiring 11.67× smaller cache size and being 3.49× faster.

Overall, this work demonstrates that Hymba sets new SOTA performance across a wide range of tasks, achieving superior results in both accuracy and efficiency. Additionally, it provides valuable insights into the advantages of hybrid-head architectures, offering a promising direction for future research in efficient LMs.

The paperHymba: A Hybrid-head Architecture for Small Language Modelsis onarXiv.

Author: Hecate He |Editor: Chain Zhang

I like the direction of this article, though I think it could go deeper into real-world applications. The practical side is where most users struggle. That’s also something I’ve been focusing on withErasio, applying AI to make image cleanup more straightforward without requiring Photoshop or complex editing software.

I like the direction of this article, though I think it could go deeper into real-world applications. The practical side is where most users struggle..

I like the direction of this article, though I think it could go deeper into real-world applications. The practical side is where most users struggle.,

Your email address will not be published.Required fields are marked*

Notify me of follow-up comments by email.

Notify me of new posts by email.

📎 Nguồn gốc: Synced Review Xem bài gốc →

Hybrid của NVIDIA: Kết hợp Mô hình Attention và State Space để đạt hiệu suất đột phá cho Mô hình Ngôn ngữ Nhỏ

Bài liên quan

Trung Quốc Đề Xuất Quy Định Yêu Cầu Chatbot AI Giám Sát Người Dùng Để Phòng Chống Nghiện

Khung AI Quốc gia: Chiến lược của Hoa Kỳ về Năng lượng và Đổi mới

Mô hình tốt nhất của OpenAI vừa được phát hành sau một rào cản của chính phủ.