Tin tức

Facebook mở mã nguồn MyRocksDB Engine và thuật toán nén ZStandard

07 / 09 / 2016

Facebook mới đây công cố mở mã nguồn hai công cụ là MyRocksZStandard tại hội thảo quốc tế @Scale 2016 của Facebook. Trong khi MyRocks là một database engine để tận dụng tất cả các tính năng của MySQL nằm trên cơ sở dữ liệu RocksDB, thì ZStandard là một thuật toán nén có khả năng thực hiện tốt hơn tất cả các tiêu chuẩn hiện tại.

Trong hơn một năm trở lại đây, các tập đoàn và công ty lớn lần lượt công bố mã nguồn mở các dự án nghiên cứu của họ ra thế giới và Facebook cũng không phải là ngoại lệ. Vào tháng 5, Facebook đã thực hiện mã nguồn mở platform CTF Hacking Game. Facebook CTF là một platform để host các thử thách về hacking theo phong cách Jeopardy và "Vua trên đồi" (King of the Hill). Tiếp tục, tại hội thảo @Scale tại Facebook năm 2016, Facebook tiếp tục thực hiện công bố mã nguồn mở hai dự án nữa, đó là MyRocksDB Engine và ZStandard.

MyRocksDB Engine

MyRocks platform làm nhiệm vụ tích hợp RocksDB vào trong MySQL như một database engine. Nó cho phép lập trình viên có thể sử dụng RocksDB như phần lưu trữ cho backend mà vẫn có thể tận dụng được tất cả lợi ích của MySQL. MyRocks được tạo ra để xử lý các vấn đề tồn tại của RocksDB, đó là RocksDB không hỗ trợ tầng SQL. Vì thế, trong MyRocks platform MySQL sẽ chạy ở trên RocksDB.

Sau khi tiến hành thử nghiệm MyRocks ở tầng user database, Facebook nhận thấy kết quả rõ rệt đó là có thể tiết kiệm tới 50% ổ lưu trữ so với sử dụng InnoDB engine. Điều này tương đương với việc có thể tiết kiệm được một nửa số server cho user database.

Thuật toán nén dữ liệu ZStandard

Đồng thời với công bố platform MyRocks, Facebook cũng công bố mở mã nguồn của thuật toán nén ZStandard 1.0 và có thể sử dụng như một thư viện hay dưới dạng câu lệnh. Thuật toán này cho thấy sự khác biệt rõ rệt về kết quả nén dữ liệu, không chỉ có thể nén tốt hơn nhiều so với các chuẩn nén dữ liệu hiện tại, mà còn thực hiện nhanh gấp đôi.

Tham khảo thêm tại trang blog của Facebook.


Quay lại danh sách
CHIA SẺ BÀI VIẾT
KodeMate
Chat với chúng tôi Chat với chúng tôi - kodemate.com