SOCKS5 代理配置 — HKO + Polymarket

背景

香港天文台 (HKO) 及 Polymarket 域名在中国大陆被 DNS 污染 / 阻断：

通过阿里云境外服务器 (aliyun.sopher.cool) 建立 SSH SOCKS5 隧道，绕过 GFW。

真实 IP（仅 HKO，阿里云解析）：

架构

┌──────────────────────────────────────────────────┐
│                  Flask app (:8899)                │
│                                                  │
│  ┌─────────────────┐   ┌──────────────────────┐  │
│  │ urllib.request   │   │ subprocess.run(curl) │  │
│  │  (monkey-patch)  │   │  → ~/bin/curl        │  │
│  └────────┬─────────┘   └──────────┬───────────┘  │
│           │                        │              │
│           ▼                        ▼              │
│  ┌────────────────────────────────────────────┐   │
│  │  urllib3 SOCKSProxyManager (连接池)         │   │
│  │  4 pools × 4 connections = keep-alive      │   │
│  │  socks5://127.0.0.1:11080                  │   │
│  └────────────────────┬───────────────────────┘   │
└───────────────────────┼───────────────────────────┘
                        │ SSH -D 11080
                        ▼
┌──────────────────────────────────────────────────┐
│          aliyun.sopher.cool (境外)                │
│          SSH Server                              │
└──────────────────────┬───────────────────────────┘
                       │ 直连
                       ▼
              ┌──────────────────┐
              │  HKO / Polymarket │
              └──────────────────┘

代理域名列表

_PROXY_DOMAINS = {
    # HKO weather
    'www.hko.gov.hk', 'data.weather.gov.hk', 'www.weather.gov.hk',
    # Polymarket
    'polymarket.com', 'gamma-api.polymarket.com', 'lb-api.polymarket.com',
    'data-api.polymarket.com', 'clob.polymarket.com',
}

实现细节

1. urllib3 连接池（长链接 keep-alive）

# app.py: 启动时创建全局连接池
from urllib3.contrib.socks import SOCKSProxyManager

_PROXY_POOL = SOCKSProxyManager(
    'socks5://127.0.0.1:11080',
    num_pools=4,      # 4 个连接池（按域名分组）
    maxsize=4,        # 每池最多 4 个连接
    timeout=Timeout(connect=10, read=15),
)

2. urllib.request.urlopen monkey-patch

所有 Python 代码中的 urllib.request.urlopen 自动走代理池：

# app.py: 透明拦截，无需修改现有业务代码
_original_urlopen = urllib.request.urlopen

def _patched_urlopen(url_or_req, args, *kwargs):
    hostname = urlparse(url).hostname
    if hostname in _PROXY_DOMAINS:
        r = _PROXY_POOL.request(method, url, ...)
        return io.BytesIO(r.data)  # file-like wrapper
    return _original_urlopen(url_or_req, args, *kwargs)

urllib.request.urlopen = _patched_urlopen

3. curl 子进程代理

app.py 中有 6 个 _curl() 函数用 subprocess.run(['curl', ...]) 调用 API。

通过 ~/bin/curl 包装脚本自动注入 --socks5-hostname：

#!/bin/bash
# ~/bin/curl — 检测目标域名，自动添加 SOCKS5 代理参数
PROXY_DOMAINS=("hko.gov.hk" "weather.gov.hk" "polymarket.com" ...)

for arg in "$@"; do
    for domain in "${PROXY_DOMAINS[@]}"; do
        if [[ "$arg" == "$domain" ]]; then
            exec /usr/bin/curl --socks5-hostname 127.0.0.1:11080 "$@"
        fi
    done
done
exec /usr/bin/curl "$@"

launchd 环境变量注入 PATH：

<key>EnvironmentVariables</key>
<dict>
    <key>PATH</key>
    <string>/Users/bot_zdw/bin:/usr/bin:/bin:...</string>
</dict>

性能

对比旧方案：旧方案每次新建 TCP/TLS 连接，改为连接池后 HKO 端点从 ~1.5s → ~1.0s。

服务管理

核心服务

健康检查

常用命令

# 代理隧道状态
launchctl list | grep hko-proxy

# 重启代理
launchctl kickstart -k gui/$(id -u)/com.polymarket.hko-proxy

# 重启 Web 服务
kill $(lsof -t -i :8899) && \
  launchctl kickstart -k gui/$(id -u)/com.polymarket.web

# 手动测试代理
curl -s --socks5-hostname localhost:11080 \
  "https://www.hko.gov.hk/wxinfo/json/one_json.xml" | jq .currwx

# 测试 Web API
curl -s http://localhost:8899/api/weather/hk/live | jq .

# 测试 Polymarket API（通过 curl wrapper）
~/bin/curl -s -m 5 \
  "https://data-api.polymarket.com/activity?user=0x...&limit=1" | jq .

# 测试连接池（keep-alive 生效）
for i in {1..5}; do
  curl -s -o /dev/null -w "%{time_total}s\n" \
    http://localhost:8899/api/weather/hk/live
done

自动重启

故障排查

代理不可用 → 自动降级

启动时检测 SOCKS5 端口，不可用时 _PROXY_POOL = None，所有请求走直连。

DNS 仍然被污染

SOCKS5 代理使用 rdns=True（或 curl --socks5-hostname），域名由代理端（aliyun）解析。

urllib3 LibreSSL 警告

LibreSSL 2.8.3 → NotOpenSSLWarning

无害，可忽略。macOS Python 3.9 自带的 LibreSSL。

修改代码后不生效

Flask 生产模式不热重载。必须：

kill $(lsof -t -i :8899)
launchctl kickstart -k gui/$(id -u)/com.polymarket.web

文件清单

更新日志