Xây dựng ứng dụng tự động crawler dữ liệu từ website (có website cần đăng nhập bằng tài khoản và mật khẩu) Mới

TUYỂN DỤNG LẬP TRÌNH VIÊN PHÁT TRIỂN ỨNG DỤNG TẢI DỮ LIỆU TỰ ĐỘNG

Hình thức: Remote

Mô tả công việc

Chúng tôi cần tuyển một lập trình viên xây dựng ứng dụng desktop trên Windows có chức năng tự động đăng nhập và tải dữ liệu hàng loạt từ một website mà chúng tôi có tài khoản và quyền truy cập hợp lệ. Website này không yêu cầu nhập mã captcha.

Ứng dụng cần thay thế quy trình thủ công hiện tại: thay vì đăng nhập, tra cứu và chọn nút tải dữ liệu bằng tay, ứng dụng sẽ làm tự động theo danh sách cấu hình sẵn, rồi sắp xếp dữ liệu tải về một cách gọn gàng.

Chức năng chính của ứng dụng

• Quản lý nhiều tài khoản đăng nhập và nhiều mã đối tượng tra cứu cho mỗi tài khoản.

• Tự đăng nhập và giữ phiên đăng nhập để dùng cho cả buổi làm việc.

• Tra cứu dữ liệu theo khoảng thời gian và theo các bộ lọc do người dùng chọn.

• Tải tệp về, đổi tên và sắp xếp vào thư mục theo mẫu người dùng đặt.

• Tải song song nhiều luồng để tăng tốc độ, kèm cơ chế giới hạn tốc độ hợp lý để không gây quá tải cho website.

• Đồng bộ tăng dần: ghi nhớ dữ liệu đã tải, các lần sau chỉ tải phần mới.

• Lưu tiến độ để tiếp tục khi bị gián đoạn (mất mạng, hết phiên), tự thử lại khi gặp lỗi tạm thời.

• Giao diện quản lý danh sách, nút điều khiển chạy/dừng/tạm dừng và thanh tiến độ trực quan.

• …

Chi tiết cụ thể vui lòng liên hệ

Công nghệ yêu cầu

Chúng tôi định hướng công nghệ như sau, ưu tiên ứng dụng nhẹ, tốn ít tài nguyên và dung lượng nhỏ, tốc độ tải cao và ổn định:

• Ngôn ngữ chính: Go (Golang) hoặc rust

• Giao diện: thư viện giao diện gốc Windows cho Go (Walk) hoặc Fyne. (Nếu ứng viên mạnh về C#, chấp nhận phương án thay thế: C# với WinForms trên .NET Framework 4.8.)

• Kết nối mạng: thư viện chuẩn net/http của Go, hỗ trợ HTTP/2, giữ kết nối (connection pooling) và quản lý cookie/phiên.

• Phân tích HTML: goquery hoặc tương đương.

• Cơ sở dữ liệu cục bộ: SQLite (ví dụ modernc.org/sqlite, thuần Go) để lưu cấu hình, danh sách, tiến độ và chỉ mục đồng bộ tăng dần.

• Xử lý song song: goroutine kết hợp worker pool.

Yêu cầu ứng viên

• Thành thạo Go, có kinh nghiệm làm việc với HTTP client, xử lý song song và quản lý phiên đăng nhập. (Hoặc thành thạo C# nếu theo phương án thay thế.)

• Có kinh nghiệm phân tích cấu trúc HTML của website và trích xuất dữ liệu.

• Hiểu biết về SQLite và thiết kế lưu trữ dữ liệu cục bộ.

• Biết xây dựng giao diện desktop trên Windows.

Sản phẩm bàn giao

• Mã nguồn đầy đủ kèm hướng dẫn build.

• Tệp cài đặt hoặc tệp thực thi hoàn chỉnh.

• Tài liệu hướng dẫn sử dụng cơ bản.

Cách thức ứng tuyển:

1. Viết mô tả về một ứng dụng tương tự đã thực hiện kèm video minh họa

2. Đường dẫn GitHub/GitLab hoặc mã nguồn dự án đã làm. Ưu tiên công cụ tải hoặc thu thập dữ liệu, ứng dụng desktop, hoặc dự án có xử lý song song.