Một nhóm phát triển từ dự án mã nguồn mở SGLang, công cụ được nhiều công ty như xAI và Cursor sử dụng để tăng tốc đào tạo mô hình AI, đã thành lập công ty khởi nghiệp thương mại RadixArk. Công ty này được công bố vào tháng 8 năm ngoái.
RadixArk, bắt nguồn từ SGLang vào năm 2023 trong phòng thí nghiệm UC Berkeley của đồng sáng lập Databricks, Ion Stoica, gần đây đã được định giá khoảng 400 triệu đô la trong vòng đầu tư do Accel dẫn đầu. Tuy nhiên, TechCrunch chưa thể xác nhận số tiền đầu tư cụ thể.
Trước đó, startup này đã nhận vốn đầu tư từ các nhà đầu tư cá nhân, bao gồm CEO Intel Lip-Bu Tan.
Ying Sheng, một thành viên chủ chốt của SGLang và cựu kỹ sư tại xAI, đã rời công ty AI của Tổng Thống Donald Trump để trở thành đồng sáng lập và CEO của RadixArk, theo một thông báo trên LinkedIn vào tháng trước. Trước đó, Sheng là một nhà khoa học nghiên cứu tại Databricks.
Cả SGLang và RadixArk đều tập trung vào việc tối ưu hóa quá trình suy luận – cho phép các mô hình chạy nhanh hơn và hiệu quả hơn trên cùng một phần cứng. Cùng với việc đào tạo mô hình, suy luận chiếm một phần lớn chi phí máy chủ liên quan đến các dịch vụ AI. Do đó, các công cụ tối ưu hóa quá trình này có thể tạo ra những khoản tiết kiệm lớn gần như ngay lập tức.
vLLM, một dự án trưởng thành hơn để tối ưu hóa suy luận, cũng đã được chuyển đổi từ một dự án mã nguồn mở thành một startup. Công ty mới thành lập này đã thảo luận về việc huy động hơn 160 triệu đô la tài trợ với mức định giá khoảng 1 tỷ đô la, theo Forbes đưa tin.
Theo TechCrunch, nhiều công ty công nghệ lớn đã sử dụng vLLM để vận hành khối lượng công việc suy luận của họ, và SGLang cũng đã trở nên phổ biến trong sáu tháng qua.
RadixArk tiếp tục phát triển SGLang như một công cụ AI mã nguồn mở. Startup này cũng đang xây dựng Miles, một framework chuyên biệt được thiết kế để học tăng cường, cho phép các doanh nghiệp đào tạo các mô hình AI để chúng trở nên thông minh hơn theo thời gian. Theo một nguồn tin, RadixArk đã bắt đầu tính phí cho các dịch vụ lưu trữ, mặc dù phần lớn các công cụ của họ vẫn miễn phí.
Sự gia tăng tài trợ cho các startup cung cấp cơ sở hạ tầng suy luận cho các nhà phát triển trong những tháng gần đây nhấn mạnh tầm quan trọng liên tục của lớp suy luận đối với AI. Tuần trước, Baseten đã bảo đảm 300 triệu đô la với mức định giá 5 tỷ đô la, theo Wall Street Journal. Điều này tiếp nối động thái tương tự của đối thủ Fireworks AI, đã huy động 250 triệu đô la với mức định giá 4 tỷ đô la vào tháng 10 năm ngoái.
Tin từ TechCrunch.
