Cho phép máy quét DuLieuCaNhan.vn
Một số website đặt sau tường lửa ứng dụng web (WAF) hay lớp chống bot, ví dụ trang thử thách của Cloudflare. Khi đó máy quét của DuLieuCaNhan.vn nhận mã lỗi 401, 403 hay 429 và không quét được website. Nếu đây là website của bạn, bạn có thể cho riêng máy quét đi qua theo các bước dưới đây.
Vì sao máy quét bị chặn
Máy quét mở trang bằng trình duyệt Chromium chạy tự động, như một khách lần đầu ghé thăm. Lớp chống bot thường cho khách thật đi qua sau một bước kiểm tra trong trình duyệt, nhưng chặn trình duyệt chạy tự động. Máy quét không tìm cách vượt qua: nó luôn xưng tên bằng user agent của mình, không giả làm khách thật và không đổi địa chỉ IP để lách. Cho máy quét đi qua hay không là quyết định của chủ website.
Cách nhận ra máy quét
- User agent của máy quét có chữ
DuLieuCaNhanScanner. - Máy quét chạy từ một địa chỉ IP cố định; địa chỉ IP sẽ công bố tại đây khi dịch vụ chạy chính thức.
- Mỗi lượt quét chỉ mở một vài trang của website như một khách xem trang: máy quét không bấm nút, không gửi form và không đăng nhập.
Cloudflare: quy tắc bỏ qua (Skip) cho riêng máy quét
- Trong bảng điều khiển Cloudflare, chọn tên miền của website rồi mở trang Security rules (ở bảng điều khiển cũ: Security → WAF → Custom rules). Chọn Create rule → Custom rules để tạo một quy tắc mới, đặt tên dễ nhận ra, ví dụ "Cho phép máy quét DuLieuCaNhan.vn".
- Ở phần điều kiện, ghép hai điều kiện bằng And: User Agent chứa
DuLieuCaNhanScanner, và IP Source Address bằng (equals) địa chỉ IP của máy quét ở trên. Bạn cũng có thể bấm Edit expression rồi dán biểu thức bên dưới. - Ở phần hành động, chọn Skip, rồi chỉ chọn bỏ qua đúng phần đang chặn máy quét: All remaining custom rules (các quy tắc tuỳ chỉnh còn lại), All rate limiting rules (quy tắc giới hạn tần suất) hay All Super Bot Fight Mode rules.
- Đặt quy tắc này lên trước các quy tắc chặn khác, lưu, rồi quét lại website hay bấm Kiểm tra cài đặt.
Biểu thức của quy tắc
Biểu thức đầy đủ sẽ hiện ở đây cùng địa chỉ IP của máy quét.
Bot Fight Mode (tính năng chống bot có ở gói Free của Cloudflare) không bỏ qua được bằng quy tắc tuỳ chỉnh; chỉ Super Bot Fight Mode bỏ qua được. Khi website bật Bot Fight Mode, máy quét vẫn không quét được website, và bạn có thể giữ nguyên như vậy.
Tường lửa khác
Với tường lửa khác (plugin bảo mật của WordPress, tường lửa của hosting hay của CDN khác), tạo một quy tắc cho phép tương tự: chỉ cho qua request khớp cả user agent có chữ DuLieuCaNhanScanner lẫn địa chỉ IP của máy quét. Nếu tường lửa chỉ cho phép theo địa chỉ IP, chỉ thêm đúng địa chỉ IP đó.