**Aether-7B-5Attn: Mô hình Nền tảng Chủ quyền Mã nguồn Mở 100% — và một Thí nghiệm Có Kiểm soát về Cơ chế Chú Ý Không đồng nhất**
Không chỉ là các trọng số. Công thức dữ liệu, mã huấn luyện, nhật ký đầy đủ, các checkpoint trung gian và mã nguồn kiến trúc hoàn chỉnh — mọi thứ cần thiết để xây dựng lại một mô hình nền tảng từ đầu, được phát hành dưới giấy phép Apache-2.0. Được xây dựng từ đầu bởi một công ty khởi nghiệp AI Hàn Quốc duy nhất, VIDRAFT.
Hầu hết các mô hình ngôn ngữ "mở" chỉ mở trên danh nghĩa: bạn nhận được một bộ trọng số và một giấy phép cho phép, nhưng dữ liệu tạo ra chúng, mã huấn luyện chúng và các quyết định trong suốt quá trình vẫn bị khóa kín. Bạn có thể chạy một mô hình như vậy. Bạn không thể kiểm toán nó, tái tạo nó hoặc xây dựng lại nó — và do đó bạn không thể thực sự sở hữu nó.
Aether được xây dựng trên tiền đề ngược lại. Nó tuân theo tiêu chuẩn "mở hoàn toàn" mà OLMo của Viện Allen đã thiết lập — trọng số cộng với công thức dữ liệu cộng với mã huấn luyện cộng với nhật ký cộng với checkpoint — và kết hợp nó với một câu hỏi nghiên cứu kiến trúc thực sự: liệu việc cung cấp cho các lớp transformer khác nhau các cơ chế attention khác nhau có hữu ích không, và chúng ta có thể đo lường điều đó một cách rõ ràng không? Bài viết này đi qua cả khía cạnh kỹ thuật và khoa học.
Aether-7B-5Attn là một mô hình ngôn ngữ Mixture-of-Experts chỉ giải mã, có 6,59 tỷ tham số (~2,98 tỷ hoạt động trên mỗi token) với 49 lớp đặt năm cơ chế attention riêng biệt trên một hình vuông Latin 7×7. Nó được huấn luyện từ đầu trên 144,2 tỷ token sử dụng 16 GPU NVIDIA B200 và được phát hành hoàn toàn mở dưới giấy phép Apache-2.0.
"AI có chủ quyền" thường bị thu gọn thành "một mô hình bằng ngôn ngữ của chúng ta, trên máy chủ của chúng ta." Nhưng tải xuống trọng số của người khác không phải là chủ quyền — đó là sự lệ thuộc. Một mô hình mà dữ liệu huấn luyện không được tiết lộ là một hộp đen mà bạn không thể xác minh về nhiễm bẩn và thiên vị, cũng không thể vá lỗi ở nguồn, cũng không thể tái tạo khi nó bị lệch hướng.
Chủ quyền thực sự là khả năng xây dựng lại. Nó đòi hỏi công thức, không chỉ món ăn. Aether được thiết kế để toàn bộ quy trình — các nguồn dữ liệu công khai chính xác và trọng số pha trộn, bộ token hóa, trình khởi chạy FSDP và vòng lặp huấn luyện, mọi siêu tham số và nhật ký từng bước — nằm trong tay bạn. Chạy công thức và các tệp nhị phân huấn luyện tái tạo từng byte một.
Đây cố tình là tiêu chuẩn ngang bằng với OLMo. Tuyên bố của chúng tôi không phải là sự cởi mở này là duy nhất — OLMo (Mỹ) và Apertus (Thụy Sĩ) cũng đáp ứng được. Tuyên bố của chúng tôi hẹp hơn và có thể kiểm chứng: trong số các mô hình nền tảng có chủ quyền hoàn toàn mở trên thế giới, Aether là mô hình duy nhất được xây dựng bởi một công ty khởi nghiệp AI duy nhất thay vì một phòng thí nghiệm quốc gia, một tập đoàn chính phủ hoặc một liên minh đại học — và nó là mô hình Hàn Quốc đầu tiên mở dữ liệu huấn luyện và mã huấn luyện của mình.
Kể từ GPT, hầu hết mọi transformer đều sử dụng cùng một toán tử attention trong mọi lớp. Một mô hình 49 lớp chạy cùng một thao tác 49 lần. Tuy nhiên, các lớp rõ ràng làm các công việc khác nhau: các lớp đầu giải quyết hình thái và ngữ pháp cục bộ, các lớp giữa lắp ráp cấu trúc cú pháp, các lớp cuối suy luận trên toàn bộ tài liệu. Nếu công việc khác nhau theo độ sâu, tại sao toán tử phải giống hệt nhau ở mọi độ sâu?
Đây là một câu hỏi về một quy ước chưa được xem xét, không phải về việc ép ra một điểm chuẩn. "Cùng một attention ở mọi nơi" chưa bao giờ là một điều đã được chứng minh.
tối ưu — nó đơn giản là chưa bao giờ bị thách thức một cách nghiêm túc. Aether nới lỏng giả định đó và coi loại attention như một biến số kiến trúc theo từng lớp.
Động lực là mỗi cơ chế attention mang một inductive bias khác nhau và một chi phí khác nhau, và không cơ chế nào chiếm ưu thế tuyệt đối:
Nếu không có cơ chế đơn lẻ nào thắng ở mọi nơi, thì việc chọn một cơ chế và lặp lại nó 49 lần cũng đồng nghĩa với việc lặp lại điểm yếu của nó 49 lần. Tính không đồng nhất là một cách để dành compute của mỗi lớp cho inductive bias mà lớp đó có thể tận dụng tốt nhất.
Aether định nghĩa bảy nhãn attention, mỗi nhãn chiếm chính xác 7 trong số 49 lớp (7 × 7 = 49):
Chúng tôi cố tình chính xác về điều này: mặc dù có bảy nhãn, nhưng chúng được hiện thực hóa bởi năm cơ chế tính toán riêng biệt trong bản phát hành này (compress hiện tại hội tụ về đường dẫn đầy đủ và linear về gated SDPA). Do đó, cái tên trung thực — 5Attn, không phải 7Attn. Bản thân các toán tử attention là các biến thể của những ý tưởng đã được công bố (differential attention, native sparse attention, sliding-window attention); đóng góp của chúng tôi không phải là một toán tử attention mới — mà là sự sắp xếp có kiểm soát.
"Việc pha trộn sẽ giúp ích" là một trực giác dễ dàng và cũng là một trực giác nguy hiểm. Pha trộn một cách bất cẩn và kết quả trở nên không thể quy kết: nếu full tình cờ tập trung ở các lớp cuối, mô hình hoạt động tốt "vì các lớp cuối của nó là full," chứ không phải "vì nó không đồng nhất." Yếu tố gây nhiễu của độ sâu sẽ nuốt chửng tín hiệu.
Vì vậy, 49 lớp của Aether không bị xáo trộn — chúng tạo thành một hình vuông Latinh 7×7. Lập chỉ mục mỗi lớp theo (row = layer // 7, col = layer % 7), loại attention của nó là type = (row + col) mod 7. Vì 7 là số nguyên tố, cấu trúc tuần hoàn này là một hình vuông Latinh thực sự với một đảm bảo chắc chắn: mọi loại attention xuất hiện chính xác một lần trong mỗi hàng và chính xác một lần trong mỗi cột — tức là, chính xác một lần ở mỗi dải độ sâu và mỗi vị trí pha. Không có loại nào có thể tập trung ở bất kỳ độ sâu nào.
Sự đảm bảo đó là toàn bộ mục đích. Hình vuông Latinh biến một lựa chọn thiết kế mơ hồ thành một thí nghiệm có kiểm soát: nó cô lập hiệu ứng của việc sắp xếp không đồng nhất khỏi hiệu ứng của việc lớp nào nhận toán tử nào, do đó các phép cắt bỏ so với đường cơ sở đồng nhất có thể quy kết được thay vì chỉ là giai thoại. Theo hiểu biết của chúng tôi, không có mô hình nào được phát hành sắp xếp attention không đồng nhất trên một hình vuông Latinh — và ngay cả khi một ngày nào đó điều đó bị chứng minh là sai, thiết kế này vẫn đứng vững dựa trên giá trị thực nghiệm của chính nó.
Khối feed-forward của mỗi lớp là một MoE chi tiết: 25 chuyên gia với định tuyến top-7 cộng với 1 chuyên gia dùng chung luôn bật, được huấn luyện với một hàm mất mát cân bằng tải định tuyến phụ trợ để giữ cho việc sử dụng chuyên gia đồng đều. Chuyên gia dùng chung nắm bắt các tính toán phổ biến trong khi các chuyên gia được định tuyến chuyên biệt hóa; chỉ có khoảng 2,98B trong số 6,59B tham số được kích hoạt cho mỗi token, mang lại sức chứa của một mô hình lớn hơn với FLOPs của một mô hình nhỏ hơn. Thiết kế chi tiết kết hợp với dùng chung này cũng, một cách thẳng thắn, là một phần lý do tại sao hiệu quả khó đạt được (xem §9).
Aether được tiền huấn luyện từ đầu trên 144,2B token qua 162.000 bước, trên 16× NVIDIA B200 trong cấu hình FSDP 2 nút, trong khoảng 46 ngày. Bản cơ sở được phát hành là phiên bản đã được ủ nhiệt (annealed).
Điểm kiểm tra 2k; các điểm kiểm tra 110k / 115k / 162k trước khi ủ (pre-anneal) được công bố riêng dưới dạng bộ dữ liệu để nghiên cứu động lực huấn luyện—sự tiến hóa của bề mặt mất mát (loss landscape), sự xuất hiện năng lực, nội suy điểm kiểm tra—có thể thực hiện trên một mô hình hoàn toàn mở.
Hỗn hợp dữ liệu được thiết kế ưu tiên toán học (math-forward), nhằm xây dựng nền tảng suy luận trước khi mở rộng:
Mọi nguồn đều là kho lưu trữ công khai, và trọng số pha trộn, tokenizer, cùng cách xử lý EOS được công bố kèm công thức—đặc điểm giúp quá trình chạy có thể tái tạo byte (byte-reproducible).
Aether-7B-5Attn là biến thể SFT dành cho trả lời dạng trắc nghiệm/benchmark, và nó chứng minh một điểm phương pháp luận mà chúng tôi cho là quan trọng: đối với các mô hình nhỏ, mất mát huấn luyện là bộ chọn điểm kiểm tra sai. Tốc độ học cao hơn một cách đáng tin cậy làm giảm mất mát trong khi đồng thời làm giảm năng lực thực tế—mất mát thưởng cho việc định dạng phù hợp, không phải năng lực.
Vì vậy, chúng tôi đã quét ba tốc độ học (2e-6 / 6e-6 / 2e-5) và chọn dựa trên độ chính xác benchmark giữ lại, trên các bộ dữ liệu tách rời khỏi dữ liệu SFT (MMLU-auxiliary):
Sự cởi mở bao gồm việc tiết lộ các cạnh thô:
Một danh sách trung thực các mô hình nền tảng có chủ quyền hoàn toàn mở (dữ liệu + mã + nhật ký) trên thế giới:
Hai điểm khác biệt mà chúng tôi thực sự có thể xác minh—và chỉ hai điểm này:
Chúng tôi không tuyên bố dữ liệu hoặc giấy phép mở là lợi thế duy nhất—nó ngang bằng với OLMo và Apertus. Và vì Nhật Bản đã ra mắt trước, chúng tôi chỉ tuyên bố là Hàn Quốc đầu tiên, không bao giờ là thế giới đầu tiên. Sự kiềm chế trong tuyên bố, theo chúng tôi, là một phần của việc thực hiện khoa học mở đúng cách.
Aether là một mô hình nhỏ nhưng mang lại một điểm lớn theo ba cách.
Chúng tôi sẽ không tuyên bố Aether là một mô hình đặc biệt. Điều chúng tôi sẽ tuyên bố là: một startup duy nhất đã xây dựng một mô hình nền tảng từ đầu, đặt năm cơ chế chú ý trên một hình vuông Latin (Latin square) như một thí nghiệm có kiểm soát, và phát hành mọi phần cuối cùng của nó một cách cởi mở. Nếu kho lưu trữ này giúp bạn bắt đầu mô hình của riêng mình, thì nó đã hoàn thành nhiệm vụ.
Được xây dựng bởi VIDRAFT (주식회사 비드래프트) · Giấy phép: Apache-2.0
