Vận hành hạ tầng Kubernetes, CI/CD và giám sát cho nền tảng CSKH đa kênh

BỐI CẢNH Nền tảng chăm sóc khách hàng đa kênh phục vụ nhiều chuỗi bán lẻ, gồm nhiều microservice Node.js/NestJS chạy trên Kubernetes với 3 môi trường CI / UAT / PROD. Hệ thống được bàn giao từ đơn vị phát triển bên ngoài sang đội vận hành nội bộ. VAI TRÒ Kỹ sư DevOps trong đội hạ tầng: tiếp nhận bàn giao, vận hành CI/CD, giám sát và xử lý sự cố. 1. TIẾP NHẬN BÀN GIAO & KIẾN TRÚC - Rà soát source code, domain, cấu hình của cả 3 môi trường; lập tài liệu và checklist bàn giao. - Vẽ sơ đồ luồng truy cập: Cloudflare → API Gateway → Istio Ambient Mesh → Kubernetes, làm tài liệu chung cho đội vận hành. 2. CI/CD & GITOPS - Phân tích, chuẩn hóa pipeline Jenkins; xử lý phụ thuộc Helm chart bị thiếu khiến pipeline không build được. - Tham gia chuyển đổi pipeline sang phiên bản Jenkins mới; image lưu tập trung trên Harbor. - Triển khai theo mô hình GitOps với ArgoCD: trạng thái từng môi trường quản lý bằng Git, dễ kiểm tra và rollback. 3. LOG, GIÁM SÁT & CẢNH BÁO - Sửa chính sách vòng đời dữ liệu (ILM) trên Elasticsearch: xử lý xung đột index template, cấu hình rollover cho data stream, đặt thời gian lưu log theo mức độ quan trọng của từng service. - Giảm dung lượng log bằng ingest pipeline; thu thập log toàn cụm bằng Filebeat DaemonSet. - Xây dựng luật cảnh báo Kibana APM nội dung tiếng Việt; thiết kế stack trace/log cho Service Mesh với OpenTelemetry, Grafana Tempo, Loki. 4. XỬ LÝ SỰ CỐ - Kết nối Kafka bị từ chối: xác thực SASL/SCRAM và phân quyền ACL. - Service NestJS lỗi trong container: cấu hình OIDC, kết nối MySQL, biến môi trường. - Lỗi CORS giữa các service, vòng lặp chuyển hướng SSL qua Cloudflare, phân giải DNS nội bộ. CÔNG NGHỆ Kubernetes, Istio Ambient Mesh, Helm, ArgoCD, Jenkins, Harbor, Kafka, Keycloak, API Gateway (Kong/Tyk), Cloudflare, Elasticsearch, Kibana APM, Filebeat, OpenTelemetry, Grafana, Docker, Node.js/NestJS, MySQL. KẾT QUẢ Hệ thống được tiếp nhận đầy đủ tài liệu cho cả 3 môi trường; pipeline CI/CD hoạt động ổn định theo mô hình GitOps; dung lượng log được kiểm soát theo chính sách rõ ràng; lỗi ứng dụng được cảnh báo chủ động thay vì chờ người dùng phản ánh. Kinh nghiệm này được áp dụng ở quy mô gọn nhẹ cho các dự án của khách hàng: Docker, CI/CD tự deploy, backup và cảnh báo lỗi.