Migrate hệ thống dữ liệu sang Databricks

Thực hiện di chuyển toàn diện các khối lượng công việc (workload) có lưu lượng truy cập cao từ AWS DynamoDB sang Databricks Lakehouse thông qua S3. - Giải pháp kỹ thuật: Thiết kế kiến trúc tách biệt (decoupled architecture) sử dụng tính năng xuất dữ liệu PITR và nạp dữ liệu bằng PySpark. Đồng thời, triển khai hạ tầng bằng Terraform và tối ưu hóa Delta Lake để quản lý sơ đồ dữ liệu (schema evolution) và phân vùng. - Kết quả: Hệ thống cho phép thực hiện phân tích và triển khai Machine Learning với độ trễ thấp trên cả dữ liệu có cấu trúc và dữ liệu lồng nhau phức tạp