Công cụ AI của Writer cắt giảm gần 40% chi phí token — mà không hy sinh độ chính xác

Tín dụng hình ảnh: VentureBeat với ChatGPT

AI doanh nghiệp đang đối mặt với một nghịch lý ROI. Trong khi việc đổ thêm sức mạnh tính toán vào mô hình nền tảng mạnh nhất hoạt động tốt trong các thử nghiệm sản phẩm, chi phí trở nên không thể chịu nổi khi sản phẩm được triển khai trong môi trường sản xuất.

Một bài báo mới từ các nhà nghiên cứu tại Writer đưa ra giải pháp mà các đội ngũ kỹ thuật có thể tiếp cận. Nghiên cứu này xem xét một cách có hệ thống việc tối ưu hóa các thành phần khác nhau của lớp điều phối bao quanh mô hình nền tảng, còn được gọi là dây cương AI (AI harness).

Bằng cách tối ưu hóa dây cương, các nhà nghiên cứu cho thấy sự giảm đáng kể số token trên mỗi tác vụ, giảm chi phí trên mỗi tác vụ thành công lên tới 61%, và chất lượng vẫn ổn định, tất cả mà không cần thay đổi mô hình nền tảng cơ bản.

Vì dây cương hoàn toàn nằm dưới sự kiểm soát của nhà phát triển và không yêu cầu tinh chỉnh mô hình, các đội ngũ kỹ thuật có thể áp dụng những phát hiện này để xây dựng các ứng dụng AI có hiệu quả chi phí cao.

Tình trạng hiện tại của kỹ thuật AI đang bị ám ảnh bởi "tokenmaxxing," một xu hướng trong ngành nơi các nhà phát triển dựa vào các cửa sổ ngữ cảnh khổng lồ và tiêu thụ token theo kiểu vũ lực như một sự thay thế cho thiết kế hệ thống tốt.

Thay vì thiết kế các quy trình làm việc tinh tế, các nhà phát triển đã nhập một phản xạ từ phát triển phần mềm truyền thống: tạo, chạy, thất bại, nhồi lỗi và thêm ngữ cảnh trở lại cửa sổ, và thử lại.

"Các đội ngũ tokenmaxx vì đó là cách sửa lỗi rẻ nhất tại thời điểm đó, và vì đó thực sự là cách hầu hết các kỹ sư làm việc ngày nay," Waseem AlShikh, CTO và đồng sáng lập của Writer, nói với VentureBeat. Bởi vì cách tiếp cận này thành công đủ thường xuyên trong các tác vụ lập trình, nó đã trở thành phản xạ mặc định cho mọi khối lượng công việc tác nhân khác. Nguy hiểm là giá mỗi token giảm che giấu sự kém hiệu quả cơ bản.

"Hóa đơn của bạn là token trên mỗi tác vụ nhân với giá mỗi token, và hầu hết các đội ngũ chỉ theo dõi con số thứ hai," AlShikh nói. "Trong các khối lượng công việc tác nhân, token trên mỗi tác vụ tích lũy — mỗi lần lặp lại vòng lặp truyền lại ngữ cảnh đang phát triển — và nó tích lũy nhanh hơn giá giảm. Việc giảm giá trở thành một loại thuốc tê. Nó che giấu thực tế rằng vòng lặp đang chảy máu."

Tokenmaxxing dẫn đến một số chế độ thất bại trong doanh nghiệp. Các đội ngũ định tuyến các tác vụ đơn giản đến các mô hình tiên tiến cao cấp theo mặc định. Họ sử dụng LLM như một chỉ mục tìm kiếm lười biếng, nhồi cửa sổ ngữ cảnh với các tài liệu thô thay vì truy xuất các câu trả lời chính xác. Đáng hủy hoại nhất, họ xây dựng các vòng lặp tác nhân không bị ràng buộc, vượt khỏi tầm kiểm soát khi mô hình gặp lỗi. Vì token đầu ra có giá cao hơn đáng kể so với token đầu vào trên tất cả các nhà cung cấp mô hình lớn, việc thực thi tác vụ kém hiệu quả hoạt động như một kẻ giết ngân sách thầm lặng.

Ngành công nghiệp đã giới thiệu một số kỹ thuật hiệu quả để kiềm chế các chi phí này, nhưng chúng phần lớn thất bại vì chúng xử lý mô hình một cách riêng lẻ:

Nén lời nhắc (Prompt compression) cô đọng văn bản đầu vào để tiết kiệm không gian, nhưng bỏ qua cách hệ thống sắp xếp các đầu vào đó qua các quy trình làm việc phức tạp.

Lý luận có ngân sách (Budgeted reasoning) giới hạn các bước tính toán mà mô hình có thể thực hiện, thường làm giảm chất lượng đầu ra nếu quy trình làm việc phức tạp.

Không được định tuyến thông minh.

Các mô hình "Terse coding" được huấn luyện để xuất ra mã tối thiểu nhằm tiết kiệm token đầu ra, nhưng không giải quyết được vấn đề gọi công cụ kém hiệu quả.

"Speculative decoding" sử dụng một mô hình dự thảo nhỏ hơn để tăng tốc quá trình sinh văn bản của mô hình lớn, tối ưu hóa tốc độ suy luận nhưng vẫn không giải quyết được kiến trúc agent cồng kềnh.

Những nỗ lực này thất bại vì chúng tối ưu hóa động cơ nhưng bỏ qua đường truyền. Chúng không xem xét lớp điều phối (orchestration layer), để lại những bất cập kiến trúc cốt lõi chưa được giải quyết.

Harness (dây cương) chính là lớp điều phối có nhiệm vụ định tuyến, định dạng và biến LLM nền tảng thành một hệ thống hoạt động.

Các đòn bẩy cốt lõi của tối ưu hóa harness bao gồm: lưu vào bộ nhớ đệm system prompt, nén lịch sử tương tác, quản lý công cụ, chiến lược truy xuất và quản lý lỗi. Đây là những điểm can thiệp dễ tiếp cận nhất cho các nhóm kỹ thuật muốn cải thiện hiệu suất AI.

Nguồn ảnh: VentureBeat với Nano Banana

Như các nhà nghiên cứu của Writer đã lưu ý trong nghiên cứu: "Nếu harness là lớp kết hợp các lệnh gọi mô hình thành công việc, thì nó cũng là lớp định giá cho công việc đó."

Trong lịch sử, các nhà phát triển thường coi harness như mã kết nối (glue code) dùng một lần, chỉ đơn giản là kết nối API với giao diện người dùng. Nghiên cứu này chỉ ra rằng harness giờ đây phải được coi là một đối tượng hạng nhất: một tạo phẩm phần mềm chính, yêu cầu kiểm thử, quản lý phiên bản và thiết kế chặt chẽ riêng.

Đối với doanh nghiệp, điều này định hình lại quyết định "sở hữu so với thuê".

"Các doanh nghiệp dành hàng tháng trời để đánh giá mô hình, nhưng lại thuê sẵn lớp điều phối — nghĩa là họ đang tối ưu hóa đòn bẩy nhỏ hơn và thuê ngoài đòn bẩy lớn hơn," AlShikh nói. "Ai sở hữu harness, người đó sở hữu đơn vị kinh tế của bạn, và một framework mã nguồn mở được tinh chỉnh cho bản demo thì không được tinh chỉnh cho hóa đơn của bạn."

Để cô lập tác động của lớp điều phối, các nhà nghiên cứu đã tiến hành thử nghiệm trên sáu mô hình nền tảng từ nhiều nhà cung cấp và hạng trọng số khác nhau: Claude Sonnet 4.6, Gemini 3.1, Gemini Flash 3.5, Qwen 3.6, GLM 5.1 và mô hình riêng của Writer, Palmyra X6.

Các thử nghiệm của họ so sánh một vòng lặp agent sản xuất thông thường, cố định với Writer Agent Harness đã hoàn thiện trên cùng 22 tác vụ doanh nghiệp cố định, bao gồm các khả năng như gắn kết và truy xuất, quy trình làm việc đa bước, sử dụng công cụ và sinh nội dung. Bằng cách giữ cố định các mô hình và tác vụ, họ có thể cô lập các tác động của chính lớp điều phối.

Mức tiêu thụ token của tokenmaxxing so với tối ưu hóa harness (nguồn: arXiv)

Harness được tối ưu hóa đã giúp giảm đáng kể chi phí, cắt giảm chi phí kết hợp cho mỗi tác vụ xuống 41%, từ 21 xuống còn 12 xu. Điều này phần lớn đạt được nhờ giảm mạnh mức tiêu thụ token, với số token cho mỗi tác vụ giảm 38%, từ 14,2k xuống còn 8,8k.

Harness được thiết kế để ủy thác các tác vụ như tìm kiếm cho các sub-agent chuyên biệt. Một sub-agent chỉ nhận công cụ và truy vấn cụ thể cần thiết, truy xuất dữ liệu chính xác và trả về một bản tóm tắt sạch, có giới hạn cho agent chính — giữ cho agent chính

ngăn không cho cửa sổ ngữ cảnh bị lấp đầy bởi các kết quả tìm kiếm thô.

Tỷ lệ thành công của tác vụ vẫn ổn định ngay cả khi lượng token sử dụng giảm — tăng từ 78% lên 81%, một mức cải thiện mà các nhà nghiên cứu mô tả là mang tính định hướng hơn là có ý nghĩa thống kê ở quy mô mẫu của họ, nghĩa là chất lượng không bị ảnh hưởng ngay cả khi chi phí giảm.

Độ trễ tác vụ từ đầu đến cuối cũng giảm đáng kể, với thời gian tường trung bình giảm 44%, từ 48 giây xuống còn 27 giây, nhờ vào bộ nhớ đệm lời nhắc và việc loại bỏ các vòng lặp suy luận không có kết quả.

Lợi ích từ tối ưu hóa harness (nguồn: arXiv)

Tuy nhiên, các nhà nghiên cứu cũng phát hiện ra những giới hạn của việc điều phối đa tác tử. Các mô hình nhỏ hơn như Gemini Flash 3.5 và Qwen 3.6 đạt điểm dưới ngưỡng độ tin cậy có thể sử dụng được trong các tác vụ ủy quyền cho tác tử phụ (lần lượt là 0,45 và 0,42) — khả năng này đơn giản là chưa đáng tin cậy trên các mô hình nhẹ hơn.

Việc điều phối tác tử phụ chỉ vượt qua ngưỡng độ tin cậy có thể sử dụng được trên hai mô hình mạnh nhất được thử nghiệm: Palmyra X6 của Writer (0,86) và Claude Sonnet 4.6 (0,85).

Các phát hiện từ nghiên cứu này chuyển thành một sách lược cho các nhà phát triển doanh nghiệp đang xây dựng các quy trình tác tử ở quy mô lớn. Bước đầu tiên là triển khai cái mà AlShikh gọi là "Lời nhắc Hai Vùng" và "Giảm tải Ngữ cảnh."

Cấu trúc cho bộ nhớ đệm lời nhắc hệ thống (Lời nhắc Hai Vùng): Các API LLM hiện đại cung cấp bộ nhớ đệm lời nhắc, nhưng các nhà phát triển phải cấu trúc tải trọng của họ một cách chính xác để kích hoạt nó. Các nhà phát triển phải tách "vùng ổn định" khỏi "vùng biến động." Đặt các yếu tố tĩnh, không thay đổi (ví dụ: quy tắc cốt lõi, lược đồ công cụ lớn và quy trình vận hành tiêu chuẩn) ở đầu lời nhắc. Các yếu tố động, chẳng hạn như truy vấn cụ thể của người dùng hoặc trạng thái tác vụ hội thoại gần đây, phải được thêm vào cuối. Thứ tự này cho phép harness tái sử dụng tiền tố đã được lưu trong bộ nhớ đệm qua hàng trăm lệnh gọi. "Sự tách biệt đơn lẻ đó làm cho bộ nhớ đệm lời nhắc thực sự hoạt động và ngăn bạn phải trả tiền lại cho cùng một hướng dẫn trong mỗi bước trong số ba mươi bước của một tác tử," AlShikh nói.

Lời nhắc hai vùng (nguồn