Claude thực hiện thao tác robot
Shmuel Berman, Michael Ilie, Jia Deng và Daniel Freeman
Liệu điểm mạnh của các mô hình ngôn ngữ có chuyển giao sang lĩnh vực robot, nơi đòi hỏi sự tổng hợp các kỹ năng logic và hiểu biết 3D chính xác? Một mô hình có thể nhận thức một cảnh, hiểu trạng thái cụ thể của robot và đưa ra các hành động đáng tin cậy để tác động đến thế giới vật lý không?
Chúng tôi đã tiến hành các bài kiểm tra để tìm hiểu. Chúng tôi cho một số mô hình ngôn ngữ điều khiển nhiều loại robot khác nhau—bao gồm đồ chơi điều khiển cổ điển, robot bốn chân và robot hình người mô phỏng, cánh tay robot và robot Unitree Go2 thật (robot bốn chân của Project Fetch). Chúng tôi cung cấp cho các mô hình nhiều cách để điều khiển chúng, với mức độ trừu tượng khác nhau (tức là mức độ "cao cấp" của các chỉ thị): từ ra lệnh trực tiếp mô-men xoắn động cơ (ở mức trừu tượng thấp nhất), đến viết mã điều khiển, đến huấn luyện bộ điều khiển từ đầu bằng học tăng cường, đến cung cấp các chỉ thị dẫn đường cấp cao cho một chính sách robot đã được huấn luyện trước (một mạng nơ-ron riêng biệt chuyển đổi các lệnh cấp cao thành các chuyển động khớp phối hợp). Chúng tôi kiểm tra hiệu suất của các mô hình trong ba lĩnh vực: các bài toán điều khiển cổ điển (như giữ thăng bằng con lắc), di chuyển và dẫn đường (giúp robot có chân giữ thăng bằng, đi bộ và di chuyển trong không gian), và thao tác (sử dụng cánh tay robot để nắm và di chuyển vật thể).
Các mô hình đang cải thiện nhanh chóng trong lĩnh vực robot, nhưng chúng tôi nhận thấy khả năng của chúng phụ thuộc nhiều vào cách chúng được kết nối với robot—phương pháp điều khiển nào chúng sử dụng. Khi chúng phải tự điều khiển các khớp, hầu hết đều thất bại. Nhưng khi chúng giám sát một bộ điều khiển đã được huấn luyện trước hoặc sử dụng các công cụ định hướng đơn giản, chúng có thể hoàn thành các nhiệm vụ dẫn đường và thao tác thực tế. Một số dạng thể hiện vẫn còn khó điều khiển và phức tạp, nhưng các mô hình mới hơn, đặc biệt, mạnh hơn đáng kể trong việc điều chỉnh chiến lược và chuyển đổi hiểu biết hình ảnh và cảm giác thành các hành động phù hợp trên nhiều lĩnh vực.
Điều này có ý nghĩa quan trọng đối với sự phát triển và triển khai an toàn của các mô hình ngôn ngữ. Các mô hình tiên tiến hiện nay không thể điều khiển robot hình người mà không có chính sách đã được huấn luyện trước, nhưng các mô hình mới hơn đã đạt được những tiến bộ thực sự trong thao tác trực tiếp và điều khiển chính sách cấp cao trên các thể hiện robot hình người và bốn chân mà chúng tôi đã kiểm tra. Chúng tôi kỳ vọng các mô hình trong tương lai sẽ còn tốt hơn nữa. Nói cụ thể: một mô hình trò chuyện đa năng không được đào tạo về robot đã có thể, trong một lần chạy tốt, viết và tải xuống các công cụ riêng để từ từ dẫn robot bốn chân qua mê cung hoặc nhặt một cái đĩa khỏi mặt bàn và đặt lên bếp, và khoảng cách về độ tin cậy đang thu hẹp dần qua từng thế hệ mô hình.
Chúng tôi bắt đầu bằng cách đánh giá các khả năng liên quan đến robot trên một tập hợp các nhiệm vụ điều khiển đơn giản, bao gồm các bài toán học tăng cường (RL) cổ điển như giữ thăng bằng con lắc ngược và điều khiển một con nhảy.
Mặc dù đây là các môi trường đơn giản hóa, chúng tôi tin rằng chúng yêu cầu mô hình suy luận về động lực học, nguyên nhân và kết quả theo thời gian, và vật lý cơ bản—những khả năng là tiền đề quan trọng cho hiểu biết vật lý tổng quát hơn. Trong các môi trường chiều thấp này, dữ liệu cảm giác cung cấp gần như tất cả thông tin cần thiết, cho phép giải quyết chúng với ít hoặc không có đầu vào hình ảnh. Loại điều khiển chiều thấp này cũng xuất hiện trong một số bối cảnh thực tế, chẳng hạn như ổn định camera.
Chúng tôi đánh giá các mô hình qua bốn giao diện điều khiển, tất cả đều trong công cụ mô phỏng Mujoco. (Xuyên suốt, "điều khiển cổ điển" đặt tên cho họ các nhiệm vụ đồ chơi này; "điều khiển trực tiếp" đặt tên cho một trong bốn giao diện.)
Dưới đây là bản dịch sang tiếng Việt:
...elow—chúng là các trục độc lập.) Trong cái mà chúng tôi gọi là điều khiển trực tiếp, mô hình chọn các hành động cấp thấp ở mỗi bước, chẳng hạn như mô-men xoắn hoặc lực. Trong điều khiển lập trình, mô hình viết một bộ điều khiển Python ánh xạ các quan sát thành hành động trong quá trình thực thi. Trong điều khiển chính sách, mô hình có thể truy cập một chính sách đã được huấn luyện trước và đưa ra các lệnh cấp cao, thường bằng ngôn ngữ tự nhiên. Trong giám sát học tăng cường, mô hình huấn luyện một chính sách và sau đó triển khai chính sách đã học trong quá trình kiểm tra.
Để ước tính giới hạn trên của hiệu suất điều khiển trực tiếp, chúng tôi tạm dừng trình mô phỏng giữa các lần gọi LLM để độ trễ thời gian thực không chi phối kết quả. Nếu không có điều này, nhiều bài kiểm tra trực tiếp sẽ thất bại vì một lý do tầm thường: các mô hình sẽ phản ứng quá chậm để kiểm soát môi trường. Chúng tôi kỳ vọng tốc độ suy luận sẽ tiếp tục tăng, và thiết lập này mang lại cái nhìn rõ ràng về khả năng tốt nhất khi điều đó xảy ra.
Chúng tôi cũng thiết kế đánh giá của mình để tính đến thực tế rằng nhiều tác vụ RL cổ điển xuất hiện thường xuyên trong các kho ngữ liệu tiền huấn luyện, điều này có thể hạn chế mức độ tổng quát hóa kết luận của chúng tôi sang các môi trường mới. Để giải quyết vấn đề này, chúng tôi giữ lại các tác vụ con lắc ngược và hopper làm tác vụ điều khiển nhưng cũng giới thiệu một tác vụ mới dựa trên máy pinball arcade. Trong TwinFlipper, tác nhân điều khiển một bộ flipper và tìm cách tối đa hóa tổng thời gian bay của bóng—tổng thời gian bóng ở trên một ngưỡng chiều cao nhất định trong khi không chạm vào bất cứ thứ gì—trước khi nó rơi xuống dưới các flipper. Mặc dù giải pháp ngây thơ là chỉ đập bóng lên trên, nhưng có thể đạt được nhiều thời gian bay hơn bằng cách cẩn thận nảy bóng lên xuống một cách có kiểm soát. Tác vụ này được thiết kế để trở thành một ví dụ đại diện của một hệ thống hỗn loạn, động lực với ít bậc tự do, và không mô hình nào đã thấy nó trước đây.
Mặc dù hiệu suất trên từng tác vụ riêng lẻ có nhiễu, nhưng một cái nhìn rộng hơn trên tất cả các điểm chuẩn điều khiển cổ điển cho thấy sự cải thiện nhất quán qua các thế hệ. Claude Opus 4.6 và Opus 4.5 vượt trội hơn hai phiên bản trước trên hầu hết các tác vụ ngoại trừ TwinFlipper-direct control, nơi tất cả các mô hình hoạt động kém, và hopper-velocity, là tác vụ nhiễu nhất của chúng tôi. Mặc dù vậy, hai mô hình sau này cho thấy sự cải thiện đáng kể trong điều khiển mã, học tăng cường, và ở mức độ thấp hơn là điều khiển trực tiếp.
Kết quả của chúng tôi gợi ý rằng phần lớn sự cải thiện đến từ khả năng thích ứng tốt hơn sau khi thấy các kết quả trước đó và điều chỉnh chiến lược cho phù hợp. Trên các tác vụ có điểm kết thúc tự nhiên (đáng chú ý nhất là TwinFlipper và Pendulum), hiệu suất trung bình của lần thử đầu tiên khá giống nhau giữa các mô hình, và Claude Opus 4 và Opus 4.1 vượt trội hơn một chút so với các mô hình sau này trên thước đo này. Các lợi ích lớn hơn xuất hiện trong các lần thử tiếp theo, nơi các mô hình sau này cải thiện đáng kể hơn nhiều. Claude Mythos Preview là một ngoại lệ đáng chú ý; nhiều lần thử đầu tiên của nó mạnh mẽ hơn trong Pendulum.
Hầu hết các mô hình hoạt động kém hơn khi huấn luyện một chính sách RL so với khi tạo một bộ điều khiển Pythonic. Điểm nổi bật là TwinFlipper, nơi GPT-5.4 là mô hình duy nhất liên tục học được một chính sách thành thạo. Điều này nổi bật dưới ánh sáng hiệu suất tương đối kém của nó dưới các giao diện điều khiển khác. Trên Pendulum và Hopper, bức tranh khác: Mythos Preview dẫn đầu, GPT-5.4 theo sát, và sự chênh lệch giữa các mô hình hẹp hơn nhiều. Trên cả ba tác vụ, các mô hình Claude mới hơn cho thấy sự cải thiện đáng kể so với các mô hình cũ hơn.
Trên các tác vụ có mục tiêu khó xác định hơn, chẳng hạn như Ho...
Đối với các mô hình Piper và TwinFlipper, hiệu suất học tăng cường (RL) đang được cải thiện nhưng vẫn thua kém so với điều khiển bằng mã. Điều này không có gì đáng ngạc nhiên: việc để mô hình tự huấn luyện chính sách RL của nó đòi hỏi phải giải quyết một bài toán thiết lập phức tạp, từ việc xác định môi trường và phần thưởng đến quản lý các chu kỳ lặp dài hơn và đưa ra nhiều lựa chọn thiết kế phụ thuộc lẫn nhau. Mặc dù không phải mọi thế hệ Claude đều cho thấy mức độ cải thiện như nhau, nhưng xu hướng chung là rõ ràng: khả năng RL đang tiến bộ theo thời gian.
Câu hỏi tiếp theo là liệu những lợi ích chúng ta thấy trong điều khiển đơn giản có thể áp dụng cho các robot có nhiều bậc tự do hơn hay không. Để kiểm tra điều này, chúng tôi đã đánh giá khả năng di chuyển cấp thấp trên hai nền tảng đại diện: robot hình người Unitree G1 với 29 bậc tự do và robot bốn chân Unitree Go2 với 12 bậc tự do. Chúng tôi nhận thấy có cả mức trần đóng góp cao hơn và rủi ro lớn hơn trong lĩnh vực này so với các nhiệm vụ đồ chơi. Việc huấn luyện các chính sách robot hình người và bốn chân mạnh mẽ là khó khăn, nhưng một khi đã được huấn luyện, chúng sẽ được triển khai trong các tình huống mà hành vi sai lệch có thể dẫn đến hậu quả nghiêm trọng.
