ZH
開始使用

整合 · 自動化與擷取

搭配 Scrapy 使用 HProxy。

讓每個 Scrapy 請求都經由 HProxy 住宅出口送出。
開始使用閱讀完整指南
  • 3 個步驟
  • 可用的程式碼
  • HTTP 與 SOCKS5
  • 登入資訊放在代理網址中

為什麼需要代理

為什麼要搭配 Scrapy 使用代理

Scrapy 是 Python 專用的擷取框架,為大量爬取而打造,擁有自己的排程器、管線與 middleware。

Scrapy 最適合執行大量的並行請求,而這正是最快觸發依 IP 計算之速率限制的原因。在它後面放一個輪換式 IP 池,才能讓高並行設定不至於讓整個爬取被封鎖。

Setup

在 Scrapy 中設定 HProxy

  1. 1

    透過每個請求的 meta 字典設定代理,或在 downloader middleware 中全域設定。

  2. 2

    把你的登入資訊放在代理網址中,主機與連接埠來自控制台。

  3. 3

    等 IP 池承擔起負載之後再提高 CONCURRENT_REQUESTS,在那之前別提高。

值得知道

若是整個專案,請在自訂的 HttpProxyMiddleware 中設定代理,不必逐一請求設定。

這裡顯示的主機、連接埠與登入資訊只是格式;你確切的值就在你的控制台上,可以直接複製。

Scrapy,搭配 HProxy

# in your spider
def start_requests(self):
    yield scrapy.Request(
        "https://ipinfo.io/json",
        meta={"proxy": "http://user-country-us:[email protected]:8080"},
    )

Scrapy 個問題

常見問題

在 Scrapy 專案中,代理應該設定在哪裡?

快速的工作逐一請求設定就可以,若是整個專案,以 HttpProxyMiddleware 為基礎的自訂 middleware 才是正確的地方。集中設定代表每個 spider 都會繼承它,而你只需在一個檔案中修改端點,不必在你建立的每個請求中修改。

如何在 Scrapy 中輪換代理?

使用閘道代理時,你不必這麼做:IP 池會在同一個不變的端點後面,為每個請求分配不同的出口。如果你自己管理一份個別位址的清單,常見的做法是用 middleware 為每個請求分配一個位址,不過要達到同樣的結果,需要動的地方更多。

Scrapy 的並行設定與代理限制如何互相影響?

會直接影響,而且值得刻意設定。Scrapy 的並行請求設定決定了你一次推送多少流量,而透過太少位址推送高並行量,會比依序執行更快觸發依位址計算的速率限制。並行量與 IP 池大小必須一起調整。

在 Scrapy 中我還應該遵守 robots.txt 嗎?

Scrapy 預設會遵守它,而這個預設值值得保留。被禁止的路徑正是任何正當用途都不會請求的地方,所以忽略這個檔案是讓位址被標記最可靠的方式之一,更不用說這本身就是不好的做法。

隨時為你準備好。

你的控制台只要十秒就到。不用業務電話,免訂閱,沒有最低金額。