Web scraping là kỹ thuật tự động tải trang web và trích xuất dữ liệu có cấu trúc như giá sản phẩm, tin tức hay bài đánh giá bằng script, thay vì copy thủ công từng dòng. Python trở thành lựa chọn số một cho công việc này nhờ hệ sinh thái thư viện mạnh mẽ và cú pháp dễ đọc, phù hợp cho cả người mới bắt đầu lẫn dự án lớn.
Về bản chất, web scraping chỉ gồm hai bước. Đầu tiên, script gửi yêu cầu HTTP tới máy chủ bằng thư viện requests để tải về mã HTML của trang — giống hệt cách trình duyệt mở trang, nhưng không chạy JavaScript. Sau đó, thư viện BeautifulSoup phân tích cây DOM và dùng selector để tìm đúng phần tử chứa dữ liệu cần lấy, rồi trích xuất văn bản hoặc thuộc tính của chúng.
Bộ thư viện nòng cốt
| Thư viện | Vai trò | Phù hợp khi |
|---|---|---|
| requests | Gửi nhận HTTP | Tải trang tĩnh, gọi API, script nhỏ |
| BeautifulSoup | Phân tích cây HTML/XML | Trích dữ liệu từ trang tĩnh, học tập |
| Scrapy | Framework crawl hoàn chỉnh | Dự án lớn, crawl hàng nghìn trang |
| Selenium | Điều khiển trình duyệt thật | Trang render bằng JavaScript, cần click và điền form |
| Playwright | Thế hệ mới của Selenium | Scraping hiện đại, trang JavaScript nặng |
Trong đó, requests và BeautifulSoup là bộ đôi cơ bản nhất, đủ dùng cho phần lớn bài toán thu thập dữ liệu. Scrapy nên được cân nhắc khi bạn cần crawl ở quy mô lớn nhờ khả năng xử lý bất đồng bộ, pipeline xuất JSON/CSV và cơ chế chống bị chặn có sẵn. Còn với các trang hiện đại xây dựng bằng React hay Vue — nơi dữ liệu chỉ xuất hiện sau khi JavaScript chạy — bạn cần Selenium hoặc Playwright để điều khiển trình duyệt thực sự.
Ví dụ tối thiểu với requests và BeautifulSoup
Đoạn code dưới đây tải một trang và in ra danh sách tiêu đề cùng đường dẫn của từng sản phẩm:
import requests
from bs4 import BeautifulSoup
url = "https://example.com/san-pham"
html = requests.get(url, headers={"User-Agent": "Mozilla/5.0"}).text
soup = BeautifulSoup(html, "html.parser")
for item in soup.select(".product h3 a"):
print(item.text.strip(), item["href"])
Lưu ý header User-Agent: nhiều máy chủ chặn các yêu cầu không có thông tin trình duyệt. Sau khi trích xuất, bạn có thể lưu kết quả vào CSV, JSON hoặc cơ sở dữ liệu để phục vụ phân tích tiếp theo.
Đạo đức và pháp lý khi scraping
Scraping không phải là vùng xám vô luật lệ. Ba nguyên tắc cần nắm trước khi viết script:
- Đọc robots.txt: file này nằm tại domain.com/robots.txt, chỉ rõ phần nào của trang được phép crawl. Tôn trọng chỉ dẫn Disallow là chuẩn mực ngành.
- Giới hạn tốc độ: chèn time.sleep(1-2) giữa các yêu cầu để không làm quá tải máy chủ — vừa lịch sự vừa tránh bị chặn IP.
- Không thu thập dữ liệu cá nhân: tên, email, số điện thoại của người dùng châu Âu bị GDPR bảo vệ, vi phạm có thể dẫn tới mức phạt rất nặng. Chỉ lấy dữ liệu công khai, phi cá nhân.
Ngoài ra, điều khoản sử dụng (ToS) của website cũng có thể cấm scraping kể cả khi robots.txt cho phép. Dữ liệu công khai thường an toàn, còn nội dung sau đăng nhập hoặc thông tin cá nhân thì không nên động vào. Quy tắc vàng: scrape như một người dùng lịch sự — chậm rãi, tôn trọng và không bán lại dữ liệu nhạy cảm.
Các bước xây dựng scraper hoàn chỉnh
Một scraper đúng chuẩn không chỉ là đoạn script tải trang. Quy trình thực tế gồm bốn giai đoạn: khảo sát cấu trúc trang bằng công cụ DevTools của trình duyệt để xác định selector chính xác, viết script thu thập, xử lý dữ liệu thô (loại bỏ khoảng trắng thừa, chuẩn hóa định dạng ngày tháng, giá tiền) và cuối cùng lưu kết quả vào file hoặc cơ sở dữ liệu. Việc bổ sung xử lý lỗi — chẳng hạn bắt ngoại lệ khi trang không tồn tại hoặc máy chủ trả mã 403 — giúp script chạy ổn định qua nhiều phiên mà không cần can thiệp thủ công.
Nếu dữ liệu thay đổi thường xuyên, hãy đóng gói scraper thành hàm hoặc lớp có tham số đầu vào, để có thể tái sử dụng cho nhiều trang có cấu trúc tương tự. Với các dự án lớn hơn, Scrapy cung cấp sẵn cơ chế quản lý hàng đợi URL, chính sách tôn trọng robots.txt và khả năng xuất dữ liệu ra nhiều định dạng chỉ với vài dòng cấu hình.
Khi nào nên dùng API thay vì scraping
Nhiều nền tảng lớn cung cấp API chính thức cho phép truy cập dữ liệu hợp pháp và ổn định hơn hẳn scraping. Nếu website có API công khai, hãy ưu tiên dùng nó: không lo thay đổi cấu trúc HTML, không vi phạm điều khoản, và dữ liệu luôn sạch sẽ. Scraping chỉ nên là phương án cuối khi API không tồn tại hoặc không đáp ứng nhu cầu.
