Hugging Face Blog

# Chưng cất kiến thức năm 2026 (cho đến nay): Những mô hình frontier nào sử dụng và như thế nào Chưng cất kiến thức (distillation) — kỹ thuật huấn luyện một mô hình nhỏ hơn ("học sinh") để bắt chước đầu ra của mô hình lớn hơn ("giáo viên") — đã trở thành một trong những công cụ quan trọng nhất trong kho vũ khí của AI hiện đại. Đến năm 2026, hầu hết các mô hình frontier đều sử dụng một dạng chưng cất nào đó, dù không phải lúc nào cũng được công bố rõ ràng. --- ## Tại sao chưng cất lại quan trọng đến vậy? Trước khi đi vào chi tiết từng mô hình, cần hiểu lý do kỹ thuật này bùng nổ: - Chi phí suy luận giảm mạnh: Mô hình nhỏ hơn chạy nhanh hơn và rẻ hơn - Hiệu suất bất ngờ cao: Mô hình học sinh thường đạt 90–95% hiệu suất của giáo viên với chỉ 10–20% tham số - Dữ liệu tổng hợp chất lượng cao: Các mô hình frontier tạo ra dữ liệu huấn luyện tốt hơn con người gán nhãn trong nhiều tác vụ - Vòng lặp tự cải thiện: Mô hình có thể chưng cất chính nó qua nhiều thế hệ --- ## Các mô hình frontier và cách họ sử dụng chưng cất ### 1. Dòng DeepSeek-R1 (DeepSeek AI) DeepSeek có lẽ là ví dụ minh bạch nhất về chưng cất trong năm 2025–2026. Cách thức: - DeepSeek-R1 (mô hình đầy đủ 671B) được huấn luyện bằng reinforcement learning thuần túy - Sau đó, DeepSeek công khai chưng cất R1 thành các mô hình nhỏ hơn: R1-Distill-Qwen-1.5B, 7B, 14B, 32B và R1-Distill-Llama-70B - Dữ liệu chưng cất gồm ~800.000 mẫu suy luận dài (chain-of-thought) được tạo bởi R1 Kết quả đáng chú ý: - R1-Distill-Qwen-7B vượt qua GPT-4o trên nhiều benchmark toán học - R1-Distill-Llama-70B cạnh tranh ngang ngửa với o1 của OpenAI trên AIME 2024 Điểm đặc biệt: DeepSeek phát hành trọng số mở, cho phép cộng đồng nghiên cứu và tiếp tục chưng cất thêm. --- ### 2. Dòng GPT-4o Mini và các mô hình nhỏ của OpenAI OpenAI không công bố chi tiết kỹ thuật, nhưng có nhiều bằng chứng gián tiếp: Những gì được biết: - GPT-4o Mini được mô tả là "hiệu quả hơn đáng kể" so với GPT-3.5 Turbo trong khi rẻ hơn nhiều - OpenAI đã từng công bố kỹ thuật chưng cất từ thời GPT-2/3, và nhiều khả năng tiếp tục áp dụng - o1 và o3: Các mô hình reasoning này tạo ra dữ liệu chain-of-thought có thể được dùng để chưng cất vào các mô hình nhỏ hơn Dữ liệu tổng hợp: OpenAI ngày càng sử dụng đầu ra của GPT-4 và o-series để tạo dữ liệu huấn luyện cho các mô hình thế hệ sau — một dạng chưng cất thế hệ (generational distillation). --- ### 3. Gemini Flash (Google DeepMind) Google là một trong những công ty tiên phong trong chưng cất với bài báo gốc năm 2015. Gemini 1.5 Flash và 2.0 Flash: - Được xây dựng rõ ràng như các phiên bản "chưng cất" của Gemini Pro/Ultra - Google mô tả Flash là được tối ưu hóa thông qua "knowledge distillation từ các mô hình Gemini lớn hơn" - Gemini 2.0 Flash Thinking — phiên bản reasoning — kết hợp chưng cất với fine-tuning để suy luận Kết quả: - Gemini 2.0 Flash đạt hiệu suất gần bằng Gemini 1.5 Pro với chi phí thấp hơn ~10 lần - Độ trễ (latency) giảm đáng kể, phù hợp cho ứng dụng thời gian thực --- ### 4. Llama 3 và các mô hình Meta Meta áp dụng chưng cất theo nhiều tầng: Llama 3.1 và 3.2: - Các mô hình nhỏ (1B, 3B trong Llama 3.2) được chưng cất từ Llama 3.1 405B - Meta công bố sử dụng "pruning + distillation": cắt tỉa mô hình lớn rồi chưng cất để phục hồi hiệu suất - Dữ liệu tổng hợp từ 405B được dùng để fine-tune các mô hình nhỏ hơn Llama 3.3 70B: - Đạt hiệu suất tương đương Llama 3.1 405B trên nhiều tác vụ - Được cho là sử dụng dữ liệu tổng hợp từ 405B kết hợp với RLHF cải tiến --- ### 5. Phi-4 và dòng Phi (Microsoft) Microsoft Research đã xây dựng toàn bộ dòng Phi xung quanh triết lý "dữ liệu chất lượng cao hơn dữ liệu nhiều": Phi-4 (14B tham số): - Sử dụng chưng cất dữ liệu tổng hợp quy mô lớn từ GPT-4 - ~50% dữ liệu huấn luyện là tổng hợp, được tạo ra để bao phủ các trường hợp suy luận khó - Kỹ thuật "pivoting": dùng GPT-4 để viết lại và cải thiện dữ liệu web thô Kết quả ấn tượng: - Phi-4 (14B) vượt qua Llama 3.3 70B và Qwen 2.5 72B trên nhiều benchmark STEM - Chứng minh rằng chưng cất dữ liệu có thể bù đắp cho kích thước mô hình nhỏ hơn --- ### 6. Qwen 2.5 và QwQ (Alibaba) Alibaba đã tích cực áp dụng chưng cất trong năm 2025–2026: QwQ-32B: - Mô hình reasoning 32B cạnh tranh với o1 của OpenAI - Được huấn luyện một phần bằng cách chưng cất từ các mô hình reasoning lớn hơn - Sử dụng dữ liệu chain-of-thought tổng hợp quy mô lớn Qwen 2.5 Coder: - Chưng cất từ Qwen 2.5 72B kết hợp với dữ liệu code tổng hợp - Các phiên bản 1.5B và 3B đạt hiệu suất đáng ngạc nhiên trên HumanEval --- ### 7. Claude (Anthropic) Anthropic ít công bố chi tiết kỹ thuật nhất, nhưng: Những gì có thể suy luận: - Claude Haiku rõ ràng là phiên bản nhỏ hơn, nhanh hơn của dòng Claude — nhiều khả năng sử dụng chưng cất - Anthropic đã công bố nghiên cứu về Constitutional AI kết hợp với RLHF, có thể tích hợp chưng cất - Dữ liệu tổng hợp từ Claude Opus/Sonnet có thể được dùng để huấn luyện Haiku --- ## Các xu hướng chưng cất nổi bật năm 2026 ### 1. Chưng cất reasoning (Reasoning Distillation) Xu hướng lớn nhất: chưng cất không chỉ đầu ra cuối cùng mà cả quá trình suy luận (chain-of-thought). DeepSeek-R1 đã chứng minh rằng một mô hình 7B có thể học cách "suy nghĩ dài" từ mô hình 671B. ### 2. Chưng cất đặc thù tác vụ (Task-Specific Distillation) Thay vì chưng cất toàn bộ khả năng, các công ty tập trung chưng cất cho tác vụ cụ thể: code, toán học, y tế... ### 3. Vòng lặp tự chưng cất (Self-Distillation Loops) Mô hình tạo dữ liệu → lọc dữ liệu tốt → huấn luyện lại → lặp lại. Kỹ thuật này được gọi là iterative self-improvement hay self-play distillation. ### 4. Chưng cất đa mô thức (Multimodal Distillation) Chưng cất từ mô hình vision-language lớn sang mô hình nhỏ hơn, đặc biệt quan trọng cho thiết bị edge. ### 5. Speculative Decoding như một dạng chưng cất Kỹ thuật dùng mô hình nhỏ để "đoán trước" token và mô hình lớn để xác nhận — một dạng chưng cất ngầm trong quá trình suy luận. --- ## Những tranh cãi và thách thức ### Vấn đề bản quyền dữ liệu Khi một công ty dùng đầu ra của GPT-4 để huấn luyện mô hình của mình, điều này có vi phạm điều khoản sử dụng của OpenAI không? OpenAI cấm điều này trong ToS, nhưng việc thực thi rất khó. ### "Collapse" của chưng cất nhiều thế hệ Nghiên cứu cho thấy nếu chưng cất qua quá nhiều thế hệ (mô hình học từ mô hình học từ mô hình...), chất lượng có thể suy giảm — hiện tượng gọi là model collapse. ### Đánh giá thực sự khó Mô hình được chưng cất có thể "học vẹt" benchmark thay vì học khả năng thực sự, làm méo mó kết quả đánh giá. --- ## Tóm tắt: Ai dùng gì | Công ty | Mô hình | Loại chưng cất | Mức độ công khai | |---------|---------|----------------|-----------------| | DeepSeek | R1-Distill series | Chưng cất reasoning từ R1 671B | Rất cao | | Google | Gemini Flash | Chưng cất từ Pro/Ultra | Cao | | Meta | Llama 3.2 1B/3B | Pruning + distillation từ 405B | Cao | | Microsoft | Phi-4 | Dữ liệu tổng hợp từ GPT-4 | Cao | | Alibaba | QwQ-32B, Qwen 2.5 nhỏ | Chưng cất reasoning | Trung bình | | OpenAI | GPT-4o Mini | Không công bố rõ | Thấp | | Anthropic | Claude Haiku | Không công bố rõ | Rất thấp | --- ## Kết luận Chưng cất kiến thức đã chuyển từ một kỹ thuật tối ưu hóa thành chiến lược cốt lõi trong phát triển AI frontier. Năm 2026, ranh giới giữa "mô hình gốc" và "mô hình chưng cất" ngày càng mờ nhạt — hầu hết các mô hình đều là sản phẩm của nhiều vòng chưng cất, tổng hợp dữ liệu, và tự cải thiện. Câu hỏi không còn là "có nên dùng chưng cất không?" mà là "chưng cất cái gì, từ ai, và bao nhiêu thế hệ?"

🕐 20/07/2026 08:14 📰 Hugging Face Blog ✅ Đã dịch sang tiếng Việt

Bài viết này là tài liệu bổ sung cho **Lớp 2: Distillation** trong series **Training an Agent** mà Ben và tôi đang thực hiện, nơi chúng tôi hướng dẫn từng bước các kỹ thuật post-training đằng sau một coding agent. Lớp 1 đã đề cập đến **SFT trên các trace**.

Bài viết này cũng đi kèm với **lịch sử ngắn về distillation** mà chúng tôi đã đăng trước buổi học, nếu bạn muốn nắm bối cảnh trước.

---

Distillation được sử dụng rộng rãi trong các quy trình post-training của các mô hình frontier năm 2026. Ba giai đoạn chúng tôi thảo luận trong buổi học trực tiếp (off-policy, on-policy và self-distillation) ánh xạ trực tiếp vào cách các lab áp dụng trong thực tế.

**Cách dùng ban đầu vẫn còn phổ biến khắp nơi!** Lấy một teacher lớn, tốn kém và huấn luyện một student nhỏ hơn để bắt chước nó.

**Báo cáo kỹ thuật của Gemma 3** cho biết quá trình post-training của nó "dựa trên phiên bản cải tiến của knowledge distillation từ một teacher IT lớn" (IT = instruction-tuned). **Báo cáo kỹ thuật Gemma 4** mới nhất mô tả một quy trình post-training tương tự, vì vậy chúng ta có thể suy ra rằng một số distillation cũng được áp dụng. **DeepSeek-R1-Distill** cũng là một trường hợp như vậy, và chúng tôi đã đề cập đến nó trong bài lịch sử ngắn: các reasoning trace từ R1 được distill vào các student Qwen và Llama nhỏ gọn thông qua fine-tuning thuần túy (SFT) trên văn bản của teacher — đây là dạng sequence-level.

Đây là hai dạng của giai đoạn off-policy mà chúng tôi đề cập trong lớp học: khớp với phân phối next-token của teacher (soft labels, white-box) hoặc huấn luyện trực tiếp trên văn bản được tạo ra bởi teacher (hard labels, hoạt động theo kiểu black-box). R1-Distill thuộc loại thứ hai. Cùng ý tưởng teacher-student, nhưng tín hiệu khác nhau.

---

**Cách dùng mới thì khác**, và đây là cách mà hầu hết các frontier lab đã hội tụ về trong năm nay. Việc làm cho một mô hình duy nhất giỏi mọi thứ thông qua RL hóa ra cực kỳ phức tạp, vì các kỹ năng đạt được trong một giai đoạn huấn luyện có xu hướng bị suy giảm trong giai đoạn tiếp theo. Giải pháp mà hầu hết các lab đi đến là huấn luyện **một RL expert riêng biệt cho từng domain** (một cho toán học, một cho code, một cho các tác vụ agentic) rồi **distill tất cả chúng vào một student duy nhất** trong khi nó tự tạo ra các rollout của mình. Đây là on-policy distillation, nơi student viết và các teacher chấm điểm từng token.

Một điều thú vị tôi nhận thấy khi đọc các báo cáo này là các teacher ở đây **thường không phải là các mô hình lớn hơn**. Chúng là các checkpoint của cùng một base, cùng kích thước với student, mỗi cái được đẩy xa hơn trong một domain duy nhất bằng RL. Điều làm cho chúng trở thành teacher tốt là **sự chuyên môn hóa chứ không phải quy mô**.

Mọi lab đều biện hộ điều này bằng cùng một lập luận. Một teacher có thể cung cấp phản hồi cho student trên từng token đơn lẻ mà nó tạo ra, trong khi một reward trong RL chỉ là một con số cho toàn bộ lần thử (chúng tôi đã giải thích điều này trong lớp học). Vì vậy distillation hội tụ nhanh hơn nhiều đối với hành vi chính xác mà student cần sửa. **Bài viết của Thinking Machines về on-policy distillation** là phiên bản thực hành rõ ràng nhất của lập luận này mà tôi đã đọc, và nó đi kèm với các con số — đạt được baseline RL của họ chỉ với một phần nhỏ lượng compute.

---

**Cách dùng thứ ba loại bỏ hoàn toàn teacher riêng biệt.**

**Composer 2.5 của Cursor** huấn luyện với sel—

# Chưng cất-f. Họ đưa một gợi ý mô tả hành vi mong muốn vào ngữ cảnh, và mô hình *có* gợi ý đó trở thành giáo viên cho chính mô hình *không có* gợi ý. Một hàm KL theo từng token kéo chính sách không có gợi ý tiến gần hơn đến phiên bản có điều kiện gợi ý của nó, nhờ vậy mô hình cuối cùng tạo ra hành vi mong muốn mà không cần gợi ý trong lúc suy luận. Đây chính là thứ chúng tôi gọi là **giáo viên đặc quyền** trong buổi học trực tiếp. Sasha Rush từ Cursor giải thích chi tiết điều này [trong đoạn clip này](https://example.com) từ Dwarkesh Patel (Rafa Nadal xuất hiện trong phép so sánh, điều đó một mình đã đủ để xem rồi).

**Thinking Machines** giới thiệu một dạng tự-giáo viên khác, sử dụng cùng công thức on-policy từ phần trước, chỉ thay đổi giáo viên. Sau khi fine-tune trên dữ liệu miền mới, họ chưng cất từ **checkpoint trước khi fine-tune** để khôi phục lại hành vi bị xóa trong quá trình fine-tune, trong khi vẫn giữ lại kiến thức mới. Theo thuật ngữ lớp học, đây là **giáo viên từ giai đoạn trước**. Đây là đề xuất của họ cho **học liên tục** — giúp mô hình đang triển khai tiếp tục học điều mới mà không quên điều cũ. Lưu ý rằng đây cũng chính là bài toán mà GLM-5 giải quyết xuyên suốt các giai đoạn RL, chỉ là ở quy mô cá nhân.

Giáo viên không nhất thiết phải lớn hơn, chỉ cần tốt hơn trong ngữ cảnh. Đôi khi đó chính là bản thân mô hình.

Vậy đó là bức tranh toàn cảnh về chưng cất trong năm 2026, tính đến thời điểm này. Nó nén các mô hình lớn thành mô hình nhỏ, hợp nhất các chuyên gia RL thành một mô hình duy nhất, và cho phép mô hình học từ phiên bản tốt hơn của chính mình. Nhưng dưới những cái tên khác nhau, tất cả đều là biến thể của một cơ chế giáo viên-học sinh, được mở trong **TRL** ở quy mô bạn có thể tự tái tạo (mọi thứ từ lớp học).

Nếu bạn muốn xem tất cả hoạt động như thế nào trong thực tế, [hãy xem lớp học](https://example.com).

Sẽ có thêm nhiều lớp học trong chuỗi này. Theo dõi [Ben](https://example.com) và [tôi](https://example.com) để không bỏ lỡ buổi tiếp theo.

This article is complementary material forClass 2: Distillationof theTraining an Agentseries Ben and I are doing, where we teach the post-training techniques behind a coding agent, step by step. Class 1 coveredSFT on traces.

It also pairs with theshort history of distillationwe published before the class, if you want the background first.

Distillation is widely used in the post-training recipes of 2026's frontier models. The three stages we discussed in the live session (off-policy, on-policy and self-distillation) map directly onto how labs use it in real life.

The original use is still everywhere! Take a large, expensive teacher and train a smaller student to match it.

Gemma 3's tech reporttells us that its post-training "relies on an improved version of knowledge distillation from a large IT teacher" (IT = instruction-tuned). The brand-newGemma 4 tech reportdescribes a similar post-training recipe, so we can infer that some distillation is also involved.DeepSeek-R1-Distillis also a case of this, and we already covered it inthe brief history article: reasoning traces from R1 were distilled into compact Qwen and Llama students via plain fine-tuning (SFT) on the teacher's text, the sequence-level flavor.

These are the two flavors of the off-policy stage we covered in the class: match the teacher's next-token distribution (soft labels, white-box) or train directly on the teacher's generated text (hard labels, works black-box). R1-Distill is the second one. Same teacher-student idea, different signal.

The newer use is different, and it is the one most frontier labs converged on this year. Getting a single model to be good at everything through RL turns out to be really complex, because the skills gained in one training stage tend to degrade during the next one. The workaround most labs landed on is to train aseparate RL expert for each domain(one for math, one for code, one for agentic tasks) and thendistill all of them into one student while it generates its own rollouts. This is on-policy distillation, where the student writes and the teachers grade every token.

Something interesting I noticed while reading these reports is that the teachers here are usuallynot bigger models. They are checkpoints of the same base, the same size as the student, each pushed further in a single domain with RL. What makes them good teachers is specialization rather than scale.

Every lab justifies this with the same argument. A teacher can give the student feedback on every single token it produces, while a reward in RL is one number for the whole attempt (in the class we explained this). So distillation converges much faster on the exact behavior the student needs to fix.Thinking Machines' write-up on on-policy distillationis the clearest practitioner version of this argument I have read, and it comes with numbers, matching their RL baseline at a fraction of the compute.

The third use drops the separate teacher entirely.

Cursor's Composer 2.5trains with self-distillation. They inject a hint describing the desired behavior into the context, and the modelwiththe hint becomes the teacher for the same modelwithoutit. A per-token KL pulls the unhinted policy toward its hint-conditioned self, so the model ends up producing the behavior without needing the hint at inference time. This is what we called theprivilegedteacher in the live session. Cursor's Sasha Rush explains it in detailin this clipfrom Dwarkesh Patel (Rafa Nadal shows up in the analogy, which alone makes it worth watching).

Thinking Machinesshows another self-teacher, using the same on-policy recipe from the previous section with only the teacher swapped. After fine-tuning on new domain data, they distill from thepre-fine-tune checkpointto restore the behavior that fine-tuning erased, while keeping the new knowledge. In class terms, this is theearlierteacher. This is their pitch forcontinual learning, keeping a deployed model learning new things without forgetting the old ones. Notice it is the same problem GLM-5 solves across RL stages, just at personal scale.

The teacher does not need to be bigger, just better in context. Sometimes that is the model itself.

So this is where distillation stands in 2026, so far. It compresses big models into small ones, it merges RL experts into a single model, and it lets a model learn from a better version of itself. Under the names, though, they are all variations of one teacher-student mechanic, open inTRLat a scale you can reproduce (everything from the class).

If you want to see how all of it actually works,go watch the class.

More classes are coming in the series. FollowBenandmeto catch the next one.

📎 Nguồn gốc: Hugging Face Blog Xem bài gốc →

Bài liên quan

Hướng dẫn Kiến trúc Xử lý Lỗi cho Gọi Công cụ LLM

Sửa Lỗi Agent Bằng Kỹ Thuật Context Engineering Cho LLM