Zyphra phát hành ZUNA1.1: Mô hình nền tảng EEG theo giấy phép Apache 2.0 với đầu vào có độ dài thay đổi từ 0,5 đến 30 giây

Tuần này, Zyphra đã phát hành ZUNA1.1 theo giấy phép Apache 2.0. Mô hình nền tảng EEG này tái tạo, khử nhiễu và nâng cao dữ liệu trên các bố trí kênh tùy ý. Nó được xây dựng dựa trên ZUNA1, mô hình nền tảng EEG mã nguồn mở trước đó của Zyphra.

Thay đổi chính là tính linh hoạt, không phải là bước nhảy vọt về độ chính xác thô. Các bản ghi EEG thực tế rất lộn xộn. Các phiên có độ dài khác nhau, và các kênh bị nhiễu hoặc mất tín hiệu giữa chừng. Các kiểu mắc điện cực từ băng đô bốn điện cực đến mũ nghiên cứu 256 kênh. ZUNA1 chỉ xử lý các đoạn cố định dài năm giây. ZUNA1.1 chấp nhận đầu vào có độ dài thay đổi từ 0,5 đến 30 giây.

Để hiểu tính linh hoạt đó, hãy bắt đầu với những gì mô hình làm.

ZUNA1.1 là một bộ mã hóa tự động khuếch tán mặt nạ 380 triệu tham số cho tín hiệu EEG da đầu. Với một tập hợp con các kênh, nó khử nhiễu các đoạn và kênh EEG hiện có. Nó tái tạo các kênh bị thiếu. Nó cũng dự đoán tín hiệu kênh mới dựa trên tọa độ vật lý trên da đầu.

Số lượng tham số không thay đổi so với ZUNA1. Nó chạy trên GPU tiêu dùng và hoạt động chấp nhận được trên CPU cho nhiều khối lượng công việc. Trọng số được đặt trên Hugging Face; mã suy luận và tiền xử lý nằm trên GitHub. Cài đặt bằng `pip install zuna`. Zyphra cũng lưu trữ một EEG Playground miễn phí trên trình duyệt, và cung cấp tất cả những thứ này chỉ cho mục đích nghiên cứu.

Tính linh hoạt đó dựa trên token hóa.

ZUNA là một bộ mã hóa tự động khuếch tán transformer encoder-decoder. Nó cắt mỗi kênh thành các đoạn 0,125 giây, tức là 32 mẫu ở tần số 256 Hz. Mỗi đoạn trở thành một token có giá trị liên tục. Các token được tuần tự hóa theo thứ tự kênh × thời gian.

Mã hóa vị trí là ý tưởng chính. Mỗi token mang một mã hóa vị trí quay 4D trên (x, y, z, t). Đó là tọa độ da đầu 3D của điện cực cùng với chỉ số thời gian thô của nó. Bởi vì vị trí, không phải chỉ số mảng, cho mô hình biết một kênh nằm ở đâu, ZUNA không phụ thuộc vào kênh. Nó chấp nhận bất kỳ bố trí điện cực nào, và có thể tạo ra tín hiệu tại các vị trí chưa từng được ghi lại. Khả năng này cho phép nâng cao kênh tùy ý theo vị trí.

Bộ mã hóa nén tín hiệu thành một biến tiềm ẩn. Biến tiềm ẩn đó điều kiện hóa bộ giải mã thông qua chuẩn hóa RMS thích ứng. Bộ giải mã được huấn luyện với mục tiêu dòng chảy chỉnh lưu. Các thay đổi kiến trúc của ZUNA1.1 nhắm vào sự ổn định huấn luyện, chẳng hạn như thêm các lớp chuẩn hóa.

Vì kiến trúc gần như giữ nguyên, sự khác biệt đến từ quá trình huấn luyện.

1. Đầu vào có độ dài thay đổi (0,5–30 giây): ZUNA1.1 lấy mẫu độ dài đoạn cho mỗi ví dụ huấn luyện, khớp với lưới token 0,125 giây. Độ dài được rút ra từ bốn nhóm, từ rất ngắn đến dài. Phạm vi trung bình 1,5–10 giây được lấy mẫu quá mức, vì đây là điểm vận hành phổ biến nhất. Vì số lượng token thay đổi, Zyphra đóng gói nhiều đoạn trong một batch lên đến một ngân sách cố định. Sự chú ý linh hoạt với mặt nạ nhận biết mẫu ngăn các token chú ý qua các mẫu. Do đó, một mô hình phục vụ cả một đoạn ngắn 0,5 giây và một đoạn dài 30 giây mà không cần cấu hình lại.

2. Một hỗn hợp phong phú hơn các nhiệm vụ tái tạo: ZUNA1 được huấn luyện trên một mẫu dropout: toàn bộ kênh ngẫu nhiên đồng đều. ZUNA1.1 được huấn luyện trên bốn mẫu. Mẫu đầu tiên là dropout toàn bộ kênh, bao gồm các bố trí thưa thớt và điện cực chết. Mẫu thứ hai loại bỏ các khoảng thời gian ngắn trên mọi kênh. Mẫu thứ ba loại bỏ các khoảng thời gian đó chỉ từ một số kênh, tập trung các khoảng trống trong không gian và thời gian. Mẫu thứ tư phân tán các giá trị bị thiếu trên các điểm riêng lẻ.

3. Tiền xử lý có nhận thức chất lượng và kho ngữ liệu lớn hơn: ZUNA1 đưa ra các đánh giá chất lượng kênh ở cấp độ toàn bộ bản ghi, loại bỏ tín hiệu có thể sử dụng. Thay vào đó, ZUNA1.1 tính toán điểm chất lượng cho mỗi kênh, mỗi giây, được ngưỡng hóa ở mức thấp.

thời gian. Điều đó đã mở rộng kho dữ liệu từ khoảng 2 triệu lên khoảng 3,5 triệu giờ kênh dữ liệu EEG công khai. Nhóm Zyphra cũng tính toán trước hai biến thể bộ lọc cho mỗi bản ghi: bộ lọc thông dải 0,1–45 Hz và bộ lọc thông cao 0,01 Hz kèm bộ lọc khía. Việc tổng quát hóa trên các chiến lược tiền xử lý là một mục tiêu đã được nêu, không phải là kết quả được đánh giá chuẩn.

Do đó, câu hỏi đặt ra là liệu sự linh hoạt có làm giảm độ chính xác hay không.

Trên các tác vụ kiểm tra riêng, ZUNA1.1 đạt được NMSE tái tạo tốt hơn hoặc về cơ bản tương đương với ZUNA1. Cả hai đều vượt trội hơn rõ rệt so với phép nội suy hình cầu cổ điển từ MNE. Để so sánh công bằng, các bộ đánh giá đó sử dụng chính xác các mẫu kéo dài năm giây.

Zyphra cũng chạy một bài kiểm tra dựa trên vùng. Các điện cực từ một vùng não bị xóa, sau đó được tái tạo từ bảy vùng còn lại. Thiết lập đó thực tế hơn so với việc loại bỏ kênh ngẫu nhiên. ZUNA1.1 vượt trội hơn cả phép nội suy hình cầu và ZUNA1 trong trường hợp đó.

Để làm cho các cơ chế đó trở nên cụ thể, bản demo bên dưới minh họa toàn bộ quy trình từ đầu đến cuối.

Tổng hợp lại, các bản phát hành khác nhau chủ yếu ở khâu huấn luyện, không phải kiến trúc.

Chuyển sang thực hành, `reconstruct_fif` chạy trực tiếp trên các tệp `.fif` mà không cần vòng lặp `.pt`. Quy trình bốn bước cũ hơn vẫn được đi kèm cùng với nó.

Lưu ý các giá trị mặc định. `segment_sec` là 5,0, vì vậy phạm vi 0,5–30 giây cần được đặt một cách tường minh. Vị trí điện cực được đọc từ chính tệp. Đối số `montage` chỉ là phương án dự phòng khi không có vị trí và các kênh không có tọa độ 3D sẽ bị loại bỏ.

Mục tiêu tái tạo là một tập hợp. Nó kết hợp các kênh xấu MNE của chính tệp và `BAD_annotations` với bất kỳ thứ gì được yêu cầu ở trên. Hai thư mục được ghi. `full_reconstruction/` chứa đầu ra mô hình ở mọi nơi. `hybrid/` giữ nguyên bản gốc và chỉ lấp đầy các ô được suy luận, cùng với `_mask.npz`.

Vì việc tạo mặt nạ hiện linh hoạt, một số mẫu thực tế đã mở ra.

Hãy xem **Trọng số mô hình**, **Kho lưu trữ GitHub** và **Chi tiết kỹ thuật**. Ngoài ra, đừng quên theo dõi chúng tôi trên **Twitter** và tham gia **SubReddit ML 150k+** của chúng tôi và Đăng ký **Bản tin** của chúng tôi. Chờ đã! Bạn có trên Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Cần hợp tác với chúng tôi để quảng bá Kho lưu trữ GitHub hoặc Trang Hugging Face hoặc Phát hành sản phẩm hoặc Hội thảo trực tuyến, v.v.? Kết nối với chúng tôi

Asif Razzaq là CEO của Marktechpost Media Inc. Là một doanh nhân và kỹ sư có tầm nhìn, Asif cam kết khai thác tiềm năng của Trí tuệ Nhân tạo vì lợi ích xã hội. Dự án gần đây nhất của anh là ra mắt Nền tảng Truyền thông Trí tuệ Nhân tạo, Marktechpost, nổi bật với các bài viết chuyên sâu về tin tức học máy và học sâu vừa có tính kỹ thuật vừa dễ hiểu đối với nhiều đối tượng. Nền tảng này tự hào có hơn 2 triệu lượt xem hàng tháng, minh họa cho sự phổ biến của nó đối với khán giả.