Giữa bối cảnh hạ tầng trí tuệ nhân tạo (AI) ngày càng phát triển mạnh mẽ, áp lực tăng tốc khả năng xử lý thông tin từ các bộ xử lý đồ họa (GPU) ngày càng lớn. Nắm bắt xu hướng này, công ty Tensormesh vừa thông báo gọi vốn thành công 4,5 triệu USD, chính thức bước ra khỏi chế độ bí mật.
Khoản đầu tư được dẫn đầu bởi Laude Ventures, cùng với sự tham gia của nhà tiên phong trong lĩnh vực cơ sở dữ liệu Michael Franklin. Tensormesh sử dụng nguồn vốn này để phát triển phiên bản thương mại của tiện ích mã nguồn mở LMCache, được thành lập bởi Yihua Cheng. LMCache có khả năng giảm chi phí xử lý thông tin lên đến 10 lần, một lợi thế đã giúp nó được ứng dụng rộng rãi và nhận được sự hỗ trợ từ các “ông lớn” như Google và Nvidia.
Trọng tâm của công nghệ này là bộ nhớ đệm (KV cache), một hệ thống bộ nhớ giúp xử lý các dữ liệu phức tạp hiệu quả hơn bằng cách nén chúng thành các giá trị khóa. Trong các kiến trúc truyền thống, KV cache bị loại bỏ sau mỗi truy vấn, nhưng CEO của Tensormesh, Juchen Jiang, cho rằng đây là một nguồn lãng phí lớn.
“Nó giống như việc có một nhà phân tích thông minh đọc tất cả dữ liệu, nhưng họ lại quên những gì đã học sau mỗi câu hỏi,” ông Jiang chia sẻ. Hệ thống của Tensormesh giữ lại bộ nhớ đệm này, cho phép nó được tái sử dụng khi mô hình thực hiện một quy trình tương tự trong các truy vấn khác. Điều này đặc biệt hữu ích cho các giao diện trò chuyện, nơi các mô hình cần liên tục tham khảo nhật ký trò chuyện ngày càng tăng khi cuộc trò chuyện diễn ra. Các hệ thống agent cũng gặp vấn đề tương tự, với một lượng lớn các hành động và mục tiêu cần được ghi nhớ.
Theo TechCrunch, việc triển khai các thay đổi này có thể gặp khó khăn do tính phức tạp về kỹ thuật. Tensormesh hy vọng sản phẩm của họ sẽ đáp ứng nhu cầu thị trường, giúp các công ty AI tiết kiệm thời gian và nguồn lực. Tensormesh dự đoán sẽ có nhiều nhu cầu cho một sản phẩm “sẵn sàng sử dụng”.
Tin tức được đăng tải trên TechCrunch.
