Tại sao những nhà đầu tư GPU đầu tiên lại chuyển sang chip suy luận (inference chips) trong một thương vụ trị giá 400 triệu đô la

General Compute, một startup điện toán đám mây suy luận AI, đã nhận được khoản vay 400 triệu đô la từ Upper90, một công ty đầu tư công nghệ. Đây có thể là thương vụ đầu tiên sử dụng chip chuyên dụng cho suy luận làm tài sản thế chấp — những con chip được thiết kế để chạy các mô hình AI đã được huấn luyện một cách nhanh chóng và hiệu quả, thay vì các chip đắt tiền hơn dùng để xây dựng mô hình từ đầu.

Khoản tài trợ này là tín hiệu mới nhất cho thấy thị trường đang phản ứng với những lo ngại về giá của các công cụ và token AI bằng cách chuyển sang hạ tầng chạy các mô hình mã nguồn mở với chi phí thấp hơn so với các LLM mới nhất từ các phòng thí nghiệm tiên phong.

Được thành lập bởi CEO Finn Puklowski và CTO Jason Goodison, General Compute đã huy động được 15 triệu đô la trong vòng gọi vốn hạt giống vào tháng 5 để xây dựng một neocloud suy luận dựa trên silicon từ SambaNova, một nhà sản xuất chip được Intel hậu thuẫn. (Neocloud là hạ tầng được thiết kế riêng cho khối lượng công việc AI, khác với hạ tầng đa năng do các hyperscaler truyền thống như AWS hay Azure cung cấp.)

Các chip SN50 của công ty được thiết kế cho suy luận. Chúng tiết kiệm năng lượng và không yêu cầu hệ thống làm mát bằng nước đắt tiền, điều này cho phép triển khai nhanh hơn GPU trên nhiều trung tâm dữ liệu hơn. General Compute cho biết các chip mới sẽ cung cấp tốc độ suy luận nhanh hơn 16 lần so với các đám mây dựa trên GPU.

Thách thức là có được số lượng lớn các chip này, đặc biệt khi bạn là một công ty hoàn toàn mới.

Đồng sáng lập kiêm CEO của Upper90, Billy Libby, cựu nhà giao dịch định lượng tại Goldman Sachs, đã có một kế hoạch cho việc này: Năm 2021, công ty của ông đã tài trợ cho việc mua GPU của Crusoe, một startup trung tâm dữ liệu tập trung vào năng lượng, mà ông tin là khoản vay đầu tiên dựa trên giá trị của các chip tiên tiến.

Các tổ chức cho vay truyền thống từng tránh các thương vụ như vậy vào thời điểm đó vì rủi ro và sự không chắc chắn xung quanh khấu hao GPU. Nhưng khi CoreWeave biến các khoản vay dựa trên chip thành mô hình kinh doanh và sau đó là nền tảng cho một đợt IPO bom tấn, loại hình tài trợ này đã trở nên phổ biến.

“Khi chúng tôi tài trợ cho GPU Nvidia với tư cách là nhóm đầu tiên làm điều đó, thị trường còn kém hiệu quả,” Libby nói với TechCrunch. “Chúng tôi thực sự có thể tập hợp một thứ gì đó với tư cách là người tham gia sớm và phần nào được đền bù cho rủi ro.”

Giờ đây khi GPU đã được hiểu rõ tương đối và có lẽ đã được mua quá nhiều, Upper90 đang chuyển sang các công ty như General Compute để cưỡi làn sóng tiếp theo của sự bùng nổ AI. “Chúng tôi nghĩ rằng các mô hình mã nguồn mở sẽ trở nên quan trọng, và chúng tôi đã tìm kiếm một đơn vị trong lĩnh vực suy luận vào năm ngoái,” Libby nói. “Không phải ai cũng cần một siêu máy tính, nhưng họ cần suy luận và AI.”

Luận điểm đó ngày càng mạnh mẽ hơn, khi các công ty cung cấp quyền truy cập vào các mô hình mã nguồn mở, như OpenRouter và Fireworks, huy động được các vòng gọi vốn mới với định giá khổng lồ. Các mô hình mới như K3 của Kimi đã chứng minh khả năng cạnh tranh với các bản phát hành mới nhất từ Anthropic và OpenAI trên các chuẩn đánh giá lập trình. Và các nhà sản xuất chip mới như Groq và Cerebras đã thu hút sự quan tâm từ cả bên mua lẫn thị trường đại chúng.

Khả năng tiếp cận các chip bên ngoài hệ sinh thái Nvidia của General Compute cũng quan trọng vì lý do tương tự. TensorWave, một công ty hạ tầng AI khác, cũng đang theo đuổi chiến lược tương tự.

đang đặt cược tương tự vào quan hệ đối tác với AMD. Khi ngày càng có nhiều lựa chọn thay thế cho Nvidia xuất hiện, các nhà cung cấp dịch vụ tính toán không bị ràng buộc với các thỏa thuận của Nvidia có thể có lợi thế trong việc cung cấp suy luận hiệu quả về chi phí.

"Có rất nhiều loại chip đang bắt đầu mở rộng quy mô với chi phí sở hữu tuyệt vời, hoặc có thể hoạt động nhanh hơn nhiều so với Nvidia, nhưng không có nhiều người mua chúng," Puklowski nói. "Bằng cách hợp tác với Upper90, đây không chỉ là 'một startup thú vị nhận được tiền để mua sức mạnh tính toán.' Mà đây là tín hiệu đầu tiên cho thấy vốn đang tự tổ chức lại và sự tan rã của thế độc quyền của Nvidia."