DeepSeek là một đội ngũ nghiên cứu và phát triển tập trung vào việc tạo ra các giải pháp hạ tầng tối ưu cho trí tuệ nhân tạo (AI). Dù không phải là một cái tên quá nổi tiếng như các ông lớn công nghệ, họ là một nhóm nhỏ nhưng đầy tham vọng, với các thành viên đến từ nhiều quốc gia như Mỹ, Trung Quốc, và châu Âu. Trụ sở của DeepSeek đặt tại Thung lũng Silicon– cái nôi của công nghệ, nhưng tầm nhìn của họ thì mang tính toàn cầu. Điều đặc biệt ở DeepSeek là họ không chỉ phát triển các công nghệ tiên tiến mà còn cam kết chia sẻ chúng với cộng đồng qua mã nguồn mở.   

Hiện tại, DeepSeek đang gây chú ý với việc mở mã nguồn cho Fire-Flyer File System (3FS)– một hệ thống tập tin phân tán được thiết kế đặc biệt để hỗ trợ các tải công việc AI quy mô lớn. Nói đơn giản, 3FS là một giải pháp lưu trữ giúp xử lý dữ liệu khổng lồ một cách nhanh chóng và hiệu quả, điều mà các ứng dụng AI hiện đại rất cần, đặc biệt trong việc huấn luyện và suy luận các mô hình machine learning.  

Công nghệ cốt lõi đằng sau 3FS là Chain Replication with Apportioned Queries (CRAQ). Đây là một kỹ thuật giúp đảm bảo tính nhất quán của dữ liệu mà không làm phức tạp hệ thống, rất thân thiện với các nhà phát triển. Nhờ CRAQ, 3FS có thể duy trì hiệu suất cao ngay cả trong môi trường phân tán phức tạp.  

Vậy 3FS có gì nổi bật?

• Thứ nhất hiệu suất cao: Trong một thử nghiệm với cụm 180 nút (mỗi nút có 16 ổ SSD NVMe 14TiB và 2 card mạng InfiniBand 200Gbps), 3FS đạt tốc độ đọc tổng hợp lên đến 6.6 TiB/s. Hiệu suất này vẫn rất ổn định ngay cả khi có các background process từ các tác vụ AI chạy song song.
• Thứ 2 công nghệ tiên tiến: 3FS sử dụng kỹ thuật Chain Replication with Apportioned Queries (CRAQ), giúp đảm bảo tính nhất quán dữ liệu mà không làm phức tạp hệ thống.  Như vậy ta có thể thấy kỹ thuật này rất thân thiện với các developer.
• Thứ 3 ứng dụng thực tế:DeepSeek đã dùng 3FS để sắp xếp 110.5 TiB dữ liệu chỉ trong 30 phút 14 giây trên một cụm gồm 25 nút lưu trữ và 50 nút tính toán – một con số cực kỳ ấn tượng!

Hiệu suất và ứng dụng thực tế

Nói về hiệu suất, 3FS thực sự ấn tượng. Trong một thử nghiệm mà họ công bố với cụm 180 nút (mỗi nút có 16 ổ SSD NVMe 14TiB và 2 card mạng InfiniBand 200Gbps), 3FS đạt tốc độ đọc tổng hợp lên đến 6.6 TiB/s. Đáng chú ý hơn, hiệu suất này vẫn ổn định ngay cả khi có tải nền từ các tác vụ AI chạy song song. Để dễ hình dung, DeepSeek đã dùng 3FS để sắp xếp 110.5 TiB dữ liệu chỉ trong 30 phút 14 giây trên một cụm gồm 25 nút lưu trữ và 50 nút tính toán – một con số siêu ấn tượng!

Chúng ta hãy cùng nhìn report của họ để có một cái nhìn tổng quan nhé:

Peak throughput

GraySort 

KVCache

Tại sao 3FS quan trọng cho AI?

Bạn có bao giờ tự hỏi làm thế nào để xử lý hàng terabyte dữ liệu một cách nhanh chóng cho các mô hình AI? Đó chính là vấn đề mà 3FS giải quyết. Trong thế giới AI ngày nay, dữ liệu là “vàng”, và khả năng truy cập, lưu trữ, và xử lý dữ liệu nhanh chóng là chìa khóa để thành công. 3FS không chỉ giúp tăng tốc quá trình huấn luyện mô hình mà còn đảm bảo rằng các ứng dụng AI có thể suy luận và đưa ra quyết định trong thời gian thực. Với 3FS, các nhà nghiên cứu và kỹ sư có thể tập trung vào việc phát triển AI mà không phải lo lắng về bottleneck từ phía lưu trữ nữa.

Tầm nhìn tương lai của DeepSeek 

DeepSeek không dừng lại ở đây. Họ đang tiếp tục cải tiến 3FS, hướng tới việc tăng hiệu suất và tích hợp sâu hơn với các framework AI phổ biến như TensorFlow hay PyTorch. Mục tiêu của họ là tạo ra một hạ tầng lưu trữ mạnh mẽ, dễ tiếp cận, giúp “dân chủ hóa” công nghệ AI cho mọi người. Việc mở mã nguồn 3FS là một bước đi táo bạo, thể hiện cam kết của DeepSeek với cộng đồng mã nguồn mở. Nhờ vậy, không chỉ các công ty lớn mà cả startup, nhà nghiên cứu, hay cá nhân đam mê AI đều có thể tận dụng 3FS để nâng cao dự án của mình.

Các bạn có thể đọc thêm về dự án tại: https://github.com/deepseek-ai/3FS?tab=readme-ov-file