Ant Group’s Robbyant ra mắt LingBot-VA 2.0: Mô hình Hành động Video Nhân quả được xây dựng bản địa cho AI Vật lý

Robbyant, đơn vị AI nhúng trong Ant Group, đã phát hành LingBot-VA 2.0, mô hình nền tảng đầu tiên dành cho AI nhúng. Đây là mô hình nền tảng video-hành động dành cho robot đa năng. Nhóm nghiên cứu tiền huấn luyện toàn bộ hệ thống cho AI nhúng thay vì tinh chỉnh một bộ sinh video.

Hầu hết các mô hình video-hành động tái sử dụng hai thành phần được xây dựng cho sáng tạo nội dung số. Một là VAE định hướng tái tạo. Hai là bộ khung khuếch tán video hai chiều, với một mô-đun hành động được gắn kèm.

Điều này tạo ra ba hạn chế. Các biến tiềm ẩn tái tạo điểm ảnh giữ lại hình dạng nhưng mang ít cấu trúc vật lý. Quá trình khử nhiễu lặp qua các token video quá chậm cho điều khiển vòng kín. Các mục tiêu video chung không bao giờ dạy cách hành động định hình lại thế giới.

Một sự không khớp thứ tư là về cấu trúc. Các bộ khung sử dụng sự chú ý hai chiều, trong khi điều khiển diễn ra theo thời gian một chiều. LingBot VA Phiên bản 1.0 tinh chỉnh hệ thống đó thành mô hình nhân quả. Phiên bản 2.0 tiền huấn luyện một DiT nhân quả từ đầu.

Dựa trên động lực đó, giai đoạn một thay thế VAE chỉ nén. Theo RepWAM, bộ token hóa thêm hai mục tiêu vào quá trình tái tạo.

Căn chỉnh ngữ nghĩa kéo các biến tiềm ẩn thị giác về phía một giáo viên Mã hóa Nhận thức đông lạnh. Một mục tiêu hành động tiềm ẩn trích xuất các biến chuyển tiếp nhỏ gọn giữa các biến tiềm ẩn liên tiếp. Một mô hình động lực học nghịch dự đoán mỗi hành động tiềm ẩn. Một mô hình động lực học thuận giải mã nó thành bản đồ vận chuyển cộng với phần dư.

Trạng thái thế giới và hành động giờ đây chia sẻ một không gian tiềm ẩn. Do đó, video web không gắn nhãn mang sự giám sát liên quan đến hành động.

Trên không gian đó, phiên bản 2 tiền huấn luyện một DiT nhân quả. Nó giữ bố cục Mixture-of-Transformers của phiên bản 1.0. Một chuyên gia video và một chuyên gia hành động chia sẻ một sự chú ý tự thân nhân quả. Mỗi chuyên gia có một đường dẫn feed-forward riêng.

Hai luồng mở rộng không đối xứng. Chuyên gia video thay thế FFN dày đặc của nó bằng một lớp MoE định tuyến thưa. Lớp đó chứa 128 chuyên gia SwiGLU định tuyến, định tuyến top-8, một chuyên gia chia sẻ. Cân bằng tải tuân theo chiến lược Loss-Free Balancing không phụ thuộc vào mất mát phụ trợ. Chuyên gia hành động giữ một FFN dày đặc với kích thước ẩn 768.

Bộ khung video có khoảng 13,0 tỷ tham số, khoảng 1,9 tỷ hoạt động. Với chuyên gia hành động và các đầu MCP, huấn luyện bao phủ khoảng 15,3 tỷ tham số. Khoảng 2,5 tỷ kích hoạt mỗi token khi suy luận. Huấn luyện sử dụng mục tiêu dòng chỉnh lưu với bộ tối ưu hóa hybrid Muon cộng AdamW.

Ngoài kiến trúc, hai mục tiêu định hình những gì mô hình học.

Dự đoán đa khối (MCP) khắc phục sự giám sát thiển cận. Giáo viên ép chỉ giám sát khối tiếp theo, vì vậy mô hình có thể giảm mất mát bằng cách sao chép hình dạng. MCP gắn ba mô-đun nhẹ dự đoán ba khối tiếp theo. Trong thử nghiệm loại bỏ, nó đạt độ chính xác 45k bước của đường cơ sở trong 20k bước, tăng tốc huấn luyện 2,3 lần.

Trong khi đó, năm mục tiêu được huấn luyện đồng thời thay vì theo giai đoạn: T2I, T2V, TI2VA, ICL, và huấn luyện đồng thời người-robot. Lấy mẫu tuân theo lịch trình từ thô đến tinh, từ căn chỉnh hình dạng đến điều khiển video-hành động. Giữ mọi mục tiêu sống động tránh quên các tiên nghiệm trước đó.

Điều khiển cấp khối không thể sắp xếp các mục tiêu dài hạn. Do đó, phía trên chính sách là một bộ lập kế hoạch VLM, được tinh chỉnh LoRA với tháp thị giác đông lạnh. Nó phát ra JSON có cấu trúc: done, instruction, generation_instruction, local_scene_description. Nó chạy ở khoảng 2 Hz phía sau một bộ đệm chia sẻ không đồng bộ. Chính sách đọc nó tại mỗi ranh giới khối, vì vậy độ trễ của bộ lập kế hoạch không bao giờ chặn thực thi.

Ngay cả với bộ khung thưa, việc triển khai

Nó gặp phải một nút thắt cổ chai tuần tự. Nếu robot chờ đợi, độ trễ của mô hình sẽ trở thành độ trễ điều khiển.

Do đó, Foresight Reasoning chạy dự đoán và thực thi dưới dạng các luồng bất đồng bộ. Trong khi robot thực thi chunk a_t, chuyên gia video hình dung kết quả của nó. Chuyên gia hành động giải mã a_{t+1} từ đó.

Chạy trước có nguy cơ bị trôi. Vì vậy, mỗi quan sát quay về được mã hóa thành latent thực z_{t+1}, ghi đè lên latent đã hình dung. Một hàm mất mát động lực học tiến (forward-dynamics grounding loss) huấn luyện chuyên gia video cho vai trò này.

Do đó, đánh giá bao gồm cả mô phỏng và phần cứng thực tế. Trên RoboTwin 2.0, mọi mô hình đều được huấn luyện trên 2.500 mẫu sạch cộng với 25.000 mẫu ngẫu nhiên hóa, trải dài trên 50 tác vụ.

Quá trình chưng cất (distillation) cắt giảm bộ lấy mẫu video từ 5 bước xuống còn 2, và bộ lấy mẫu hành động từ 10 xuống còn 2. Các engine FP8 TensorRT, bộ nhớ đệm KV phân trang/không đồng đều (paged/ragged KV cache) với cơ chế chú ý FlashInfer, và loại bỏ chi phí phía máy chủ (host-side overhead) cung cấp phần còn lại.

Phép thử loại bỏ tokenizer (tokenizer ablation) cô lập hàng đầu tiên. Việc thay thế WAN2.2 VAE bằng tokenizer ngữ nghĩa nâng mô hình 1.3B từ 78.0 lên 86.6.

Ngoài các điểm chuẩn, bốn hình thức triển khai nổi bật.

Hãy xem Paper và Project Page. Ngoài ra, đừng ngần ngại theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit 150k+ ML của chúng tôi và Đăng ký Newsletter của chúng tôi. Chờ đã! Bạn có dùng telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên telegram.

Cần hợp tác với chúng tôi để quảng bá GitHub Repo hoặc Hugging Face Page hoặc Product Release hoặc Webinar của bạn? Hãy kết nối với chúng tôi.

Lưu ý: Cảm ơn đội ngũ Ant Research vì tư duy lãnh đạo / tài nguyên cho bài viết này. Đội ngũ Ant Research đã hỗ trợ nội dung/bài viết này để quảng bá.

Asif Razzaq là CEO của Marktechpost Media Inc. Với tư cách là một doanh nhân và kỹ sư có tầm nhìn, Asif cam kết khai thác tiềm năng của Trí tuệ Nhân tạo vì lợi ích xã hội. Dự án gần đây nhất của anh là ra mắt Nền tảng Truyền thông Trí tuệ Nhân tạo, Marktechpost, nổi bật với các bài đưa tin chuyên sâu về học máy và học sâu, vừa có tính kỹ thuật vừa dễ hiểu đối với nhiều đối tượng. Nền tảng này tự hào có hơn 2 triệu lượt xem hàng tháng, cho thấy sự phổ biến của nó đối với khán giả.