Crawl Dữ liệu Sản phẩm có Đăng nhập & Xử lý Popup – Xuất Excel

Tôi đã phát triển một công cụ tự động hóa bằng Python để crawl dữ liệu sản phẩm từ website thương mại điện tử yêu cầu đăng nhập và có nhiều tương tác động như popup, modal, banner. Công cụ được thiết kế để hoạt động ổn định trong môi trường có ràng buộc về UI và bảo mật, với khả năng tự động đăng nhập, đóng popup, điều hướng phân trang và duy trì session trong suốt quá trình crawl. Hệ thống thu thập dữ liệu có cấu trúc bao gồm tên sản phẩm, SKU, giá gốc, giá khuyến mãi, URL sản phẩm và trạng thái tồn kho, sau đó xuất ra file Excel (.xlsx) được chuẩn hóa, có header rõ ràng, encoding đúng và sẵn sàng cho phân tích hoặc import vào hệ thống khác. Công cụ được xây dựng bằng Python, Selenium WebDriver, BeautifulSoup và openpyxl, kết hợp delay thông minh và cơ chế retry để hạn chế rủi ro bị chặn bot. Kết quả cho phép crawl khoảng 500 sản phẩm trong chưa tới 3 phút, script có thể tái sử dụng và tùy chỉnh dễ dàng chỉ bằng cách thay đổi URL hoặc thông tin đăng nhập, đồng thời hỗ trợ nhiều sheet Excel khi cần.