從每 GB 8 美元到 0.65 美元：一次爬蟲基礎設施遷移的完整攻略

快速結論： 遷移爬蟲基礎設施不是技術專案——它是一門掛著程式碼的會計學。本文是把住宅代理工作負載從 Bright Data 搬到 Thordata 的分階段攻略，寫給將動手的工程師，也寫給要簽核的財務主管。不攻擊任何廠商：Bright Data 是優秀的產品，只是它的定價是為另一種買家設計的，而那種買家不是大多數正在成長的團隊。

促成這份攻略的遷移場景你一定不陌生：一個資料團隊的爬蟲量每年成長 40%，按 GB 計費的帳單跟著一起漲，然後 CFO 開始問一些工程團隊無法坦然回答的問題。

先做一次誠實的比較

Bright Data 打造了業界最完整的網路資料平台之一——龐大的 IP 池、成熟的解鎖產品線、企業級合規工具。公開定價如實反映了這個定位：住宅流量按用量支付每 GB $8，月繳方案為每 GB $5 至 $7（每月 $499 至 $1,999），1 TB 以上另有議價空間，新帳戶還有最高 $500 的儲值金加碼。

Thordata 的公開住宅代理定價則是一條直白的級距滑桿：1 GB 時 $2.00/GB，約 150 GB 時降至 $1.00/GB，1 TB 時 $0.73/GB，5,000 GB 時 $0.65/GB。沒有方案綁約、不需要找業務談，最低購買量 1 GB。

不同月用量下的實際差異：

兩個但書讓這個比較保持公允。第一，Bright Data 1 TB 以上的費率是談出來的，大買家通常低於牌價。第二，Bright Data 的溢價買到的是真東西：企業合約、DPA、SLA，以及對受監管產業至關重要的合規體系。如果你的採購流程需要這些文件，那些價值是真的，而這篇文章暫時不適合你。

對其他人——有技術能量、自助式採購的團隊，代理只是個原物料投入——中段用量的價差實在太大，大到無法視而不見。

第一階段：盤點（第 1 週，不改任何程式碼）

所有失敗的遷移都跳過了這一階段。動任何端點之前，先做出一頁式盤點：

• 按產品線拆流量。 原始住宅流量、解鎖型請求、爬蟲 API 呼叫、SERP API 呼叫。每一種對應到 Thordata 不同的產品與計價方式。
• 按目標網域拆流量。 哪些網域吃掉最多 GB？走原始代理抓肥大的 HTML 頁面，往往換成按結果計費的爬蟲 API 更便宜——遷移正是修正這件事的時機。
• 連線階段模式。 你的黏性連線需要維持多久？Thordata 支援最長 90 分鐘的黏性連線，且國家／州／城市／ASN 定位不額外收費——先確認你的模式放得進去。
• 通訊協定需求。 HTTP／HTTPS／SOCKS5 都支援，但你自寫的客戶端程式碼可能寫死了某一種。

第一階段的產出是一份工作負載地圖，具體寫著「我們對網域 B 發送 X 個類型 A 的請求、連線模式為 C」。這份文件的價值勝過任何廠商的遷移指南，包括本文。

第二階段：平行運行（第 2 至 3 週）

用同一份工作負載同時跑兩家供應商，測量三件事：成功率、回應延遲、每筆交付結果的成本。Thordata 的 SERP API 與 Web Scraper API 免費試用額度讓 API 側的比較不花一毛錢，住宅代理側也有試用方案。

# 雙寫模式：同一份工作，兩家供應商，比較結果
import requests

def fetch_dual(url, config):
    results = {}
    for provider, cfg in config["providers"].items():
        try:
            r = requests.get(
                url,
                proxies=cfg["proxy"],
                timeout=cfg.get("timeout", 30),
            )
            results[provider] = {
                "status": r.status_code,
                "bytes": len(r.content),
                "latency_ms": r.elapsed.microseconds // 1000,
            }
        except Exception as e:
            results[provider] = {"status": "error", "error": str(e)}
    return results

PROVIDERS = {
    "legacy":   {"proxy": {"http": "http://user:pass@brd.superproxy.io:22225"}},
    "thordata": {"proxy": {"http": "http://user:pass@res.thordata.com:18000"}},
}

成功率比較是終結口水戰的地方。Thordata 公布其住宅網路成功率為 99.7%，但你的目標網站才是唯一有效的基準——採用這個模式的電商團隊，通常會針對自家流量最大的 20 個網域比較封鎖率，並單憑那組數據做決定。

第三階段：流量切換（第 4 週）

漸進切換，不要選一天全切：一週內從 10% 到 50% 到 100%，同時盯著下游的資料品質指標，而不只是 HTTP 狀態碼。兩個平台細節讓這一階段比想像中輕鬆：

端點格式是標準的。 Thordata 的住宅代理使用熟悉的 gateway:port 搭帳密（或 IP 白名單）驗證，控制台還內建端點產生器，可產生釘選位置的端點。多數自寫的代理中介軟體只需要改一行。

SDK 覆蓋 API 側。 對使用爬蟲 API 而非原始代理的團隊，pip install thordata-sdk 加上更換 API key 與 base URL，就能遷移大部分標準採集作業。Python、Node.js、PHP、Go、Java、C# 都有程式碼範例。

第四階段：除役與重編預算（第 5 至 6 週）

只有在 100% 流量乾淨運行一整週後才取消舊合約。然後用新結構重做預算——這是這個專案第二次回收成本的地方：多數團隊在第一階段就發現，原本一部分原始代理流量早該走爬蟲 API，按交付結果計費（每 1,000 筆約 $0.50 起）而非按 HTML 的 GB 計費。

給專案負責人的標準檢查清單：

1. 工作負載盤點完成，流量結構已文件化
2. 平行運行至少 7 天，成功率在容許範圍內
3. 兩家供應商的每筆交付結果成本已實測
4. 黏性連線與地理定位模式已驗證
5. 警報與儀表板已重新指向
6. 乾淨的 100% 週之後才取消舊約
7. 新預算預測已由財務簽核

那些不該遷移的工作負載呢？

有些工作負載確實該留在原地。如果你的用量低於每月 20 GB，省下的錢是真實的但不大——遷移投入不值得一個季度的工程時間。如果部署環境受法規監管、必須簽 DPA，企業級流程是功能而不是負擔。如果你的技術棧依賴某個 Bright Data 獨有、評估中找不到對應品的產品，那是正當的阻礙——不過值得先翻一遍完整產品目錄，因為多數團隊發現 Thordata 的產品面（住宅、行動、ISP、資料中心代理；超過 120 個現成目標的 Web Scraper API；Web Unlocker；Scraping Browser；資料集）涵蓋得比預期多。

有一類工作負載值得特別一提：SERP 採集。遷移 Google／Bing 排名追蹤的團隊，應該把這類工作完全移出原始代理——按次計費的 SERP API（每 1,000 次回應約 $0.70 起）加上受管的 SERP 監控解決方案，才是正確的架構，無論其他流量最終留在哪家代理商。持續 SERP 資料爬取服務處理排程、驗證碼與結構化交付，這部分工作負載的遷移往往本身就是一個 sprint 內能完成的小專案。

財務最在乎的部分

兩家供應商在中段用量的牌價差距是 3 至 7 倍，但誠實的預估節省幅度會低一些——計入留在原地的負載、API 產品重新配置與級距差異後，通常落在 50% 到 70%。即使取保守值，一個每月花 $2,000 住宅流量、遷移到 $0.73/GB 等級的團隊，一季省下的錢就足以支付遷移消耗的工程時間。

先用免費試用額度跑第二階段的平行測試，把自家的成功率與帳單並排放著看，讓你的工作負載自己說話。這份攻略當初就是這麼寫出來的——而如果你的流量組合裡有 SERP，就從回本最快的 SERP 監控遷移路徑開始。完成第一階段的團隊通常會發現：SERP 形狀的流量是按 GB 計費下最吃虧的一塊，也是最該第一個搬走的簡單勝利。