爬虫设置-3proxy+tinydns 设置代理服务

1 准备一台linux 服务器，公网访问；python3 环境，python2 也ok(没人用python2了）
2 安装3proxy yum install 3proxy 如果yum 查看没有，需要安装yum 源：yum install https://dl.fedoraproject.org/pub/epel/epel-release-latest-8.noarch.rpm
3 配置 /etc/3proxy.cfg 文件
cp 3proxy.cfg 3proxy.cfg-ar
rm -rf 3proxy.cfg
vim 3proxy.cfg
文件内容如下：

nserver 80.240.25.96
#DNS缓存
#nscache 65535
timeouts 1 5 30 60 180 1800 15 60
daemon
#users ox:CL:ox
#log /data/log/3proxy/3proxy.log D
log /var/log/3proxy/3proxy.log
logformat "- +_L%t.%. %N.%p %E %U %C:%c %R:%r %O %I %h %T"
rotate 30
external 0.0.0.0
internal 0.0.0.0
auth iponly
maxconn 1000
allow *
#parent 1000 http 94.191.114.51 3130
#bandlimin 50000000 * * * 3130
proxy -n -p3130
flush

运行 service 3proxy start

安装tinydns 服务
pip install tinydns
vim /etc/tinydns.conf

填写配置文件
[tinydns]
m.so.com=171.8.167.12,180.163.239.219,42.236.98.98,180.163.251.63,104.192.110.225,101.198.191.56,221.181.72.215
www.so.com=171.8.167.22,180.163.239.218,171.8.167.31,180.163.251.85,42.236.9.70,27.115.124.192,104.192.110.226,117.135.153.183,117.135.153.171,101.198.191.55,111.7.73.11
运行命令：
tinydns -c /etc/tinydns.conf
这样dns 服务代理，就实现了
测试
proxies = {“https”: “http://80.240.25.96:3130”, “http”: “http://80.240.25.96:3130”}
res = requests.get(“https://www.so.com”,proxies=proxies)
就会随机解析到不同的IP，提高我们爬虫效率
————————————————
版权声明：本文为CSDN博主「瓶瓶罐罐的」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/zhplz123/article/details/106727989

「梦想一旦被付诸行动，就会变得神圣，如果觉得我的文章对您有用，请帮助本站成长」

赞(0) 打赏

一分也是爱

支付宝扫一扫打赏

微信扫一扫打赏