ProxymaCrawler
Trình thu thập của Proxyma. Nó tải trang cho người đã thêm trang web của bạn làm nguồn dữ liệu.
Các yêu cầu của nó đến từ máy đang chạy bản Proxyma đó. User agent:
Một trang web được thu thập khi bật hiển thị JavaScript sẽ được tải bằng trình duyệt, với user agent của trình duyệt đó.
Nó tuân theo các quy tắc Disallow trong robots.txt cho User-agent * và ProxymaCrawler. Để chặn nó:
Câu hỏi về nó: contact@proxyma.ai