Một công tắc tắt cho kiến thức sử dụng kép trong các mô hình AI
Bài đăng này mô tả nghiên cứu do AE Studio thực hiện với sự hợp tác của Anthropic.
Một mô hình AI tiên tiến, trong số những thứ khác, là một kho kiến thức lớn. Một phần kiến thức đó có tính chất lưỡng dụng, nghĩa là nó có thể được sử dụng cho mục đích tốt hoặc xấu. Ví dụ, kiến thức về an ninh mạng có thể giúp vá các lỗ hổng bảo mật quan trọng, hoặc có thể bị lợi dụng để khai thác chúng. Kiến thức về virus học có thể giúp một nhà nghiên cứu tạo ra vắc-xin, nhưng cũng có thể giúp một tác nhân độc hại thiết kế một mầm bệnh chết người. Lý tưởng nhất, chúng ta có thể cân bằng ba mục tiêu riêng biệt: thứ nhất, hạn chế quyền truy cập vào các khả năng lưỡng dụng một cách chính xác nhất có thể; thứ hai, cho phép người dùng đáng tin cậy truy cập các khả năng đó cho mục đích có lợi; và thứ ba, thực hiện tất cả điều này mà không ảnh hưởng đến hiệu suất của mô hình trong bất kỳ nhiệm vụ nào khác.
Các biện pháp bảo vệ hiện tại chưa hoàn hảo. Chúng tôi huấn luyện các mô hình từ chối các yêu cầu có hại và sử dụng bộ phân loại để sàng lọc đầu vào và đầu ra cho nội dung nguy hiểm. Các lớp bảo vệ này ngăn chặn các đầu ra nguy hiểm—nhưng chúng không thay đổi kiến thức được lưu trữ trong mô hình cơ bản. Bất chấp các biện pháp bảo vệ của chúng tôi, một kẻ tấn công đủ quyết tâm vẫn có thể cố gắng phá vỡ mô hình, vượt qua các lớp phòng thủ để truy cập kiến thức lưỡng dụng.
Một biện pháp bảo vệ mạnh mẽ hơn chống lại việc lạm dụng là kiểm soát những gì mô hình biết. Chúng tôi đã khám phá điều này trước đây: trong các công trình trước, chúng tôi đã lọc thông tin về vũ khí hóa học, sinh học, phóng xạ và hạt nhân khỏi dữ liệu tiền huấn luyện, và sau đó chỉ ra rằng kiến thức lưỡng dụng có thể được giới hạn trong một phần có thể loại bỏ của trọng số mô hình. Nhưng lọc là một công cụ thô sơ. Nó tạo ra một mô hình với một bộ khả năng cố định. Sử dụng phương pháp lọc, nếu bạn muốn một phiên bản mô hình có thể thảo luận về virus học tiên tiến—ví dụ, để triển khai trong một phòng thí nghiệm an toàn sinh học đã được kiểm duyệt—và một phiên bản khác không thể, bạn phải huấn luyện hai mô hình riêng biệt. Đặc biệt trong trường hợp các mô hình tiên tiến (vốn lớn và rất tốn kém để huấn luyện), chi phí cho nhà phát triển sẽ rất cao.
Trong nghiên cứu mới được thực hiện với các cộng tác viên tại AE Studio, chúng tôi khám phá một phương pháp mới có thể mang lại lợi ích của việc huấn luyện nhiều mô hình được lọc riêng biệt, nhưng với chi phí chỉ huấn luyện một mô hình. Chúng tôi gọi nó là GRAM, viết tắt của Gradient-Routed Auxiliary Modules (Mô-đun phụ trợ định tuyến gradient). Lưu ý rằng kết quả của các thí nghiệm được trình bày ở đây là sơ bộ—GRAM chưa được áp dụng cho bất kỳ mô hình sản xuất nào tại Anthropic, và chúng tôi không chắc liệu nó có bao giờ được áp dụng hay không.
Ý tưởng đằng sau GRAM là cung cấp cho mô hình các ngăn chuyên dụng, có thể loại bỏ cho mỗi loại kiến thức lưỡng dụng, và chỉ cập nhật các ngăn đó khi học từ dữ liệu lưỡng dụng.
Cụ thể, GRAM thêm các nơ-ron bổ sung vào mọi lớp của một Transformer tiêu chuẩn (kiến trúc mạng nơ-ron mà các mô hình ngôn ngữ lớn dựa trên). Các nơ-ron này được chia thành các nhóm (hoặc "mô-đun"), mỗi nhóm cho một loại lưỡng dụng. Trong quá trình huấn luyện, khi mô hình gặp văn bản đa năng, nó học theo cách thông thường. Nhưng khi gặp văn bản từ một loại lưỡng dụng—ví dụ, virus học—các quy tắc thay đổi: mô hình có thể sử dụng kiến thức tổng quát của mình để đưa ra dự đoán, nhưng chỉ mô-đun virus học được phép học từ văn bản đó. Các trọng số đa năng tạm thời bị đóng băng.¹
Hệ quả là kiến thức về virus học tích lũy trong mô-đun virus học thay vì lan tỏa khắp toàn bộ mạng. Sau khi huấn luyện, mô-đun có thể đơn giản bị xóa, và khả năng đó biến mất theo. Hoặc nó có thể được giữ nguyên cho các triển khai đáng tin cậy, khi virus học
Cần có kiến thức về an toàn. Kiến thức này có thể được tùy chỉnh rất cụ thể theo loại triển khai cần thiết: trong các thí nghiệm của chúng tôi, chúng tôi đã xác định bốn loại mục đích kép, sao cho một lần huấn luyện với GRAM tạo ra một mô hình có thể được cấu hình theo 16 cách khác nhau ("bật" hoặc "tắt" cho mỗi loại trong bốn loại).
Chúng tôi đã thử nghiệm GRAM trong ba bối cảnh có độ chân thực tăng dần.
Đầu tiên, trên một tập dữ liệu tổng hợp gồm các câu chuyện thiếu nhi được gắn thẻ theo chủ đề, một mô hình GRAM nhỏ có thể được cấu hình lại để "quên" bất kỳ chủ đề nào đã chọn, và mỗi cấu hình hoạt động gần như giống hệt một mô hình riêng biệt được huấn luyện từ đầu với chủ đề đó bị lọc ra. Nghĩa là, với chi phí huấn luyện một mô hình duy nhất, chúng tôi đã đạt được kết quả mà thông thường sẽ cần nhiều lần huấn luyện trên các tập dữ liệu khác nhau.
Thứ hai, chúng tôi huấn luyện một mô hình lớn hơn trên hỗn hợp thực tế gồm văn bản web, mã nguồn và bài báo khoa học, với bốn lĩnh vực mục đích kép: virus học, an ninh mạng, vật lý hạt nhân và một ngôn ngữ lập trình chuyên biệt (đóng vai trò đại diện cho mã nguồn mục đích kép chuyên dụng). Khả năng liên quan đến mỗi lĩnh vực mục đích kép được định tuyến đến mô-đun riêng của nó. Xóa một mô-đun sẽ loại bỏ khả năng tương ứng một cách hiệu quả gần như chưa từng huấn luyện trên dữ liệu đó. Đáng chú ý, chúng tôi thấy rằng việc xóa này không làm giảm hiệu suất tổng thể.
Chúng tôi cũng thử nghiệm xem liệu kẻ tấn công có thể khôi phục kiến thức đã bị xóa bằng cách huấn luyện trên một lượng nhỏ dữ liệu độc hại hay không; GRAM chống lại điều này tốt gần như lọc dữ liệu. Ngược lại, một kỹ thuật "học ngược" được áp dụng sau khi huấn luyện chỉ ức chế kiến thức—rất dễ khôi phục với một lượng nhỏ tinh chỉnh.
Thứ ba, chúng tôi chạy thí nghiệm ở bảy kích thước mô hình từ 50 triệu đến 5 tỷ tham số. GRAM đạt hiệu suất ngang bằng với lọc dữ liệu ở mọi kích thước, và khoảng cách giữa "mô-đun bật" và "mô-đun tắt" càng lớn khi mô hình càng lớn. Về chi phí tính toán, việc cố gắng vượt qua các biện pháp bảo vệ của chúng tôi trở nên khó khăn và tốn kém hơn tương đối khi chúng tôi mở rộng quy mô.
Khi các công ty AI huấn luyện các mô hình có năng lực hơn, nhu cầu hạn chế quyền truy cập vào các khả năng mục đích kép sẽ tăng lên. Ngày nay, các công ty hạn chế quyền truy cập thông qua bộ phân loại và huấn luyện từ chối. Tuy nhiên, các biện pháp bảo vệ này khó có thể làm cho mạnh mẽ mà không làm giảm hiệu suất đối với các yêu cầu vô hại. Các phương pháp như GRAM đưa ra một hướng đi tiềm năng hướng tới kiểm soát truy cập mạnh mẽ hơn.
Đây là nghiên cứu ban đầu, và có những hạn chế rõ ràng. Chúng tôi chưa thử nghiệm GRAM ở quy mô tiên tiến hoặc trong quy trình huấn luyện sản xuất. (Như đã đề cập ở trên, nó chưa được áp dụng cho bất kỳ mô hình Claude nào của chúng tôi.) Các đánh giá của chúng tôi định lượng hiệu suất dựa trên khả năng dự đoán token tiếp theo, thay vì hiệu suất trên các tác vụ thực tế. Và có một vấn đề mở sâu hơn áp dụng cho lọc dữ liệu và các phương pháp như GRAM: một số khả năng mục đích kép có thể bị ràng buộc chặt chẽ với kiến thức chung đến mức không có phương pháp nào có thể tách chúng ra một cách sạch sẽ.
Để biết thêm chi tiết về các thí nghiệm của chúng tôi, hãy đọc bài viết trên blog Khoa học Căn chỉnh của chúng tôi.
1. Một chi tiết kỹ thuật là mô-đun virus học đôi khi cũng được bật khi học từ văn bản mục đích chung. Chúng tôi thấy điều này giúp các mô-đun "làm việc cùng nhau" hiệu quả hơn.
Trong dự án Fetch, chúng tôi đã xem xét cách con người có thể sử dụng mô hình để robot thực hiện các tác vụ phức tạp. Bây giờ, chúng tôi nghiên cứu nhiều mô hình trên nhiều tác vụ robot khác nhau trong mô phỏng, để xem các mô hình giỏi đến đâu trong việc tự điều khiển robot.
