T. Q. Trí

Data Analytics, Data Warehouse design, ETL data, sql tuning, Building BI tool, Python

Quảng Ngãi

Freelancer đang cập nhật kỹ năng

Giới thiệu

Kinh nghiệm 5 năm trong lĩnh vực thiết kế, quản lý và vận hành database cho các hệ thống lớn ( Viễn Thông, Game,...)

Thiết kế vận hành và tối ưu hệ thống IFRS (International Financial Reporting Standards) cho cty VNG:

- Thiết kế hệ thống DW lưu trữ data theo chuẩn

- ETL data từ nhiều hệ thống vào DW (data source: files, Mysql, MSSQL, Oracle) và DW là Oracle sử dụng ODI với plsql

- Dựng website BI để phân tích và thiết kế các report phục vụ nhiều đối tượng người dùng sử dụng OBIEE

- Review code của team khi thực hiện việc thực thi code từ môi trường develop sang môi trường production

- Thiết kết và quản trị Database, DW phục vụ đọc ghi dữ liệu lớn ( hệ thống data 1 table đến cả tỉ records, với 1 ngày gần 30 triệu records cho 1 sản phẩm) với dung lượng database lên đến 10TB

- Việc ETL và build report daily, weekly, monthy đều có schedule tự động. Có cơ chế quản lý schedule hoạt động như thế nào, fail ở đâu, và tự động chạy lại

- Tạo và quản lý cơ chế backup DB dùng full backup và Data Guard, backup DW, và BI dùng schedule backup schema và metadata xml file

Code Python phục vụ gửi email, load file csv và đọc file csv view html email

Code python cào data từ website export ra csv lưu trữ sau đó import vô db rồi xử lý dữ liệu để có được dữ liệu cần phân tích