建站
咨詢
售后
建站咨詢
新聞中心
這里有您想知道的互聯(lián)網(wǎng)營銷解決方案
單機Linux部署多IP squid3
網(wǎng)絡(luò)爬蟲最終要的資源就是IP地址，尤其是在各大網(wǎng)站紛紛把自家數(shù)據(jù)當(dāng)初看家寶貝的“大數(shù)據(jù)時代”。即使IP地址多了，爬蟲改成分布式，管理那么多服務(wù)器上的爬蟲也是夠頭疼的。一種方法就是配置代理服務(wù)器，爬蟲只在幾臺機器是跑就可以啦。
配置多IP地址
Linux（以Ubuntu為例）配置單機多IP地址還是很簡單的，編輯/etc/netword/interfaces文件即可：
auto eno1:90iface eno1:0 inet static
address 192.168.8.90
netmask 255.255.255.0
gateway 192.168.8.1auto eno1:91iface eno1:91 inet static
address 192.168.8.91
netmask 192.168.8.255
gateway 192.168.8.1
以上配置中，eno1是網(wǎng)卡的名字，eno1:90是配置在該網(wǎng)卡的一個虛擬網(wǎng)卡的名字，并給該虛擬網(wǎng)卡配置了IP：192.168.8.90。按照這個規(guī)則，可以給eno1這個網(wǎng)卡綁定很多IP，如果這些IP都是公網(wǎng)IP，就可以把它當(dāng)配置成爬蟲的多代理服務(wù)。
配置squid3多IP出口
機器有了多IP，如果不對squid做相應(yīng)的配置，出口IP還只能是一個，其他IP都不能用得上。 編輯/etc/squid/squid.conf配置文件，做相應(yīng)配置
acl ip_90 myip 192.168.8.90tcp_outgoing_address 192.168.8.90 ip_90
acl ip_91 myip 192.168.8.91tcp_outgoing_address 192.168.8.91 ip_91
以上配置就是對每個進來的IP的請求設(shè)置出口IP，從而達到一機多IP代理的實現(xiàn)。
當(dāng)前名稱：單機Linux部署多IP squid3
分享路徑：http://www.5511xx.com/article/djjdijd.html
