Dự án Fetch: Giai đoạn hai
Michael Ilie, C. Daniel Freeman và Kevin K. Troy
Vào tháng 8 năm 2025, chúng tôi đã thực hiện một thí nghiệm để xem Claude có thể giúp các nhân viên của Anthropic—những người không phải chuyên gia về robot—thực hiện các nhiệm vụ phức tạp (và thú vị) với một robot bốn chân có sẵn trên thị trường (gọi tắt là robodog) đến mức nào. Chúng tôi gọi dự án này là Project Fetch. Kết quả cho thấy việc tiếp cận mô hình tiên tiến nhất thời điểm đó (Claude Opus 4.1) đã giúp một nhóm vượt trội hơn hẳn nhóm còn lại, vốn chỉ phải dựa vào internet và sự sáng tạo của chính họ. Nhóm được hỗ trợ bởi Claude đã hoàn thành nhiều việc hơn và nhanh hơn.
Trước khi lôi các đồng nghiệp vào một nhà kho để thực hiện thí nghiệm, chúng tôi đã kiểm tra kỹ xem liệu Opus 4.1 có thể tự mình hoàn thành các nhiệm vụ hay không. Chắc chắn là không. Giống như nhóm không có Claude, nó bị mắc kẹt ở nhiệm vụ sơ bộ là tìm cách kết nối với robot.
Nhưng các mô hình AI đang phát triển nhanh chóng—thậm chí còn nhanh hơn cả chú robodog chạy lung tung suýt đâm vào một trong các nhóm người của chúng tôi vào tháng 8.
Chúng tôi nghĩ đã đến lúc xem xét lại Project Fetch để xem liệu các mô hình mới hơn có thể vượt trội hơn thế hệ trước hay không. Không chỉ vượt trội, mà Claude Opus 4.7—hoạt động mà không cần sự trợ giúp của con người—còn nhanh hơn khoảng 20 lần so với nhóm người nhanh nhất trong tất cả các nhiệm vụ mà những người tham gia của chúng tôi đã hoàn thành chưa đầy một năm trước.
Điều này không có nghĩa là các LLM hiện đã giải quyết được vấn đề robot. Còn lâu mới tới. Các mô hình Claude mới nhất vẫn gặp khó khăn khi sử dụng robot để di chuyển chính xác quả bóng bãi biển—phần "fetching" của Project Fetch. Và không có nhiệm vụ nào trong các thí nghiệm này liên quan đến các yếu tố điều khiển robot cấp thấp và khó khăn hơn, chẳng hạn như phát triển một chính sách truyền động cụ thể. Tuy nhiên, một lần nữa, chúng tôi lại thấy một mô hình: đầu tiên, các mô hình hỗ trợ con người. Sau đó, con người hỗ trợ các mô hình. Cuối cùng, các mô hình phần lớn có thể tự làm mọi việc. Chúng tôi đã thấy điều này trong an ninh mạng và giờ đây, các động lực tương tự đang bắt đầu hình thành ở giao điểm giữa AI và thế giới vật chất.
Project Fetch ban đầu có các nhóm nhân viên Anthropic (được phân ngẫu nhiên làm việc có hoặc không có Claude) thực hiện các bước sau: vận hành robodog bằng bộ điều khiển do nhà sản xuất cung cấp, kết nối với cảm biến video và lidar của robodog, viết và vận hành một chương trình để điều khiển robodog thủ công, phát triển cách theo dõi đường đi của robodog trong không gian, viết chương trình phát hiện quả bóng bãi biển, và cuối cùng là kết hợp tất cả để tự động lấy quả bóng.
Đối với bản cập nhật tự động này, chúng tôi không thể yêu cầu Claude sử dụng bộ điều khiển vật lý, cũng như không đánh giá thời gian một nhà nghiên cứu sử dụng bộ điều khiển do Claude lập trình để lấy quả bóng (mặc dù chúng tôi đã xác nhận rằng nó hoạt động như mong đợi). Đối với các nhiệm vụ còn lại, chúng tôi đã chạy ba thử nghiệm của Opus 4.7 bằng cách sử dụng tư duy thích ứng với nỗ lực được đặt ở mức tối đa trong Claude Code. Chúng tôi đo thời gian trôi qua cho mỗi mục tiêu và đánh giá định tính sự thành công của các mô hình.
Vai trò của nhà nghiên cứu chỉ giới hạn ở việc cắm một máy tính xách tay chạy Claude Code vào robodog, nhập lời nhắc ban đầu, phê duyệt các lệnh và phê duyệt mô hình để chuyển sang nhiệm vụ tiếp theo.
Rất đơn giản: trên mọi nhiệm vụ mà ít nhất một nhóm người đã hoàn thành vào tháng 8, Opus 4.7 đã hoàn thành cùng một nhiệm vụ nhanh hơn ít nhất mười lần. Nếu bạn xem xét bốn nhiệm vụ mà cả hai nhóm người đều hoàn thành, Opus 4.7 trung bình nhanh hơn nhóm không có Claude hơn 37 lần và nhanh hơn nhóm có Claude hơn 18 lần.
Bảng so sánh tốc độ của
Các đội ban đầu (Đội Claude và Đội Không Claude) đã được so sánh với Opus 4.7 trong tất cả các nhiệm vụ chúng tôi thử nghiệm ở Giai đoạn Hai.
Trong khi con người gặp khó khăn khi phải lựa chọn giữa nhiều cách tiếp cận khác nhau để tương tác với cảm biến của chó robot, Opus 4.7 có thể nhanh chóng xác định con đường tốt nhất. Phần lớn mã nó viết đều hiệu quả ngay từ lần thử đầu tiên (điều không xảy ra với Đội Claude hay Đội Không Claude trong thí nghiệm ban đầu). Thực tế, chúng ta có thể thấy bằng chứng về hiệu quả của Opus 4.7 khi nhìn vào khối lượng mã nó tạo ra: nó thành công ngang bằng hoặc hơn cả hai đội người trong khi tạo ra lượng mã ít hơn gần mười lần so với Đội Claude.
Opus 4.7 không hoàn hảo. Ví dụ, nó mặc định sử dụng một thuật toán phát hiện đối tượng đã lỗi thời. Nhưng ngay cả khi đó, nó vẫn có thể xoay xở và đưa ra một giải pháp hiệu quả.
Chúng tôi quan sát thấy ít sự biến thiên trong từng nhiệm vụ (về mặt tuyệt đối) về thời gian hoàn thành các bước mà mô hình đã thực hiện. (Mặc dù việc chọn thuật toán dưới mức tối ưu như đã đề cập có lẽ là lý do khiến một trong các thử nghiệm phát hiện bóng bãi biển mất nhiều thời gian hơn đáng kể so với các thử nghiệm khác.) Nhìn chung, đối với các nhiệm vụ trong thí nghiệm này nằm trong phạm vi khả năng của nó, Claude hiện khá đáng tin cậy. (Xem phần tiếp theo để phân tích về những gì Claude vẫn chưa thể làm.)
Cần nhấn mạnh (như chúng tôi đã làm trong bài viết trước) rằng tiến bộ này không phải là kết quả của một nỗ lực tập trung nhằm cải thiện khả năng robot của các mô hình của chúng tôi. Những cải tiến này, giống như nhiều cải tiến khác trong lịch sử phát triển LLM, xuất hiện từ việc mở rộng quy mô tổng quát hơn nhiều.
Khi sử dụng tay và sau một chút luyện tập, những người tham gia của chúng tôi có thể điều khiển chó robot nhẹ nhàng đẩy một quả bóng bãi biển trở về căn cứ (một mảng cỏ giả) nơi robot bắt đầu. Điều này đòi hỏi khả năng nhanh chóng nhận biết liệu bóng có đi chệch hướng không, lỗi đó liên quan thế nào đến lệnh trước đó, bóng đang ở đâu, và sau đó cách điều chỉnh đầu vào trong tương lai để di chuyển bóng chính xác hơn. Đây là một loại vòng lặp khép kín mà con người rất giỏi (ít nhất là sau khi mắc một số sai lầm và học hỏi từ chúng).
Trong các thí nghiệm Giai đoạn Hai của chúng tôi, Claude gặp khó khăn trong việc nắm bắt sự tinh tế này. Giống như những người tham gia đã đến giai đoạn cần viết chương trình để tự động lấy bóng bãi biển, Claude có thể di chuyển robot ra sau quả bóng và định vị nó để đẩy bóng trở lại điểm xuất phát. Nhưng những nỗ lực này được kiểm soát kém và (giống như những người tham gia của chúng tôi) không thành công.
Một nhà nghiên cứu của chúng tôi có nhiều kinh nghiệm về robot hơn các tình nguyện viên Giai đoạn Một đã hoàn thành thành công nhiệm vụ lập trình tự động lấy bóng. Với nhiều thời gian hơn và sự hỗ trợ bổ sung, chúng tôi nghĩ rằng rất có thể các thế hệ Claude hiện tại có thể làm điều tương tự. Tuy nhiên, điều chúng tôi sẽ theo dõi tiếp theo là khả năng của các mô hình để hoàn thành nhiệm vụ cuối cùng này với tốc độ và độ tin cậy như chúng đã thể hiện ở các yếu tố khác của Dự án Fetch.
Khi viết về Giai đoạn Một, chúng tôi nhấn mạnh cách LLM có thể mang lại sự hỗ trợ cho những người không chuyên cần sử dụng robot. Điều này còn đúng hơn bây giờ so với trước đây. Các mô hình hiện hoàn thành công việc lập trình cặp đôi trước đây giữa người và mô hình nhanh hơn nhiều một mình, điều đó có nghĩa là con người có thể chuyển đổi nhanh hơn sang việc điều khiển và sử dụng robot. Và đối với một số nhiệm vụ, một con người trong vòng lặp điều khiển robot vẫn có thể vượt trội hơn mô hình AI với (bàn tay ảo) của nó trên D-pad.
Điều thú vị và khác biệt là
Hiện nay, chúng ta dường như đang tiến gần hơn nhiều đến một thế giới nơi các mô hình có thể sử dụng các công cụ vật lý có sẵn một cách tương đối dễ dàng—ít nhất là cho những mục đích hạn chế. Điều này tương tự như cách các mô hình AI đã sử dụng các công cụ chỉnh sửa phần mềm hiện có như thay thế chuỗi khi chúng chuyển đổi sang lập trình tác nhân hơn. Có vẻ như chúng ta đang bước vào giai đoạn đầu của AI tác nhân vật lý.
Cần có thêm nghiên cứu để hiểu khả năng của các mô hình trong việc tùy chỉnh các công cụ vật lý này, dù là thông qua viết các chính sách điều khiển phù hợp với từng nhiệm vụ cụ thể hay thiết kế hệ thống robot. Và có thể tồn tại những rào cản đáng kể đối với tầm nhìn tổng quát hơn này về các mô hình ngôn ngữ có khả năng thích ứng và vận hành vật lý. Nhưng như chúng ta đã thấy, những khoảng cách lớn về khả năng của mô hình có thể được vượt qua nhanh chóng. Việc các mô hình tự xây dựng công cụ phần mềm có vẻ khó tin cách đây không lâu, nhưng điều đó đang xảy ra. Sẽ là thiếu khôn ngoan nếu loại trừ quỹ đạo tương tự trong lĩnh vực phần cứng.
Cập nhật ngày 18 tháng 6: Đã sửa ngày của giai đoạn đầu tiên của Dự án.
