`
mcj8089
  • 浏览: 191312 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Java中使用代理IP获取网址内容(防IP被封,做数据爬虫)

阅读更多

推荐两个代理IP网站:

 

1. 全网代理IP:http://proxy.goubanjia.com/

 

2. 爱赚免费IP:http://ip.izmoney.com/

 

Java语言有两种方式使用代理IP访问网址并获取内容,

 

方式一,设置System系统属性

 

// 设置代理IP
System.getProperties().setProperty("proxySet", "true"); 	
System.getProperties().setProperty("http.proxyHost", "218.26.204.66");
System.getProperties().setProperty("http.proxyPort", "8080");

HttpUrlConnection connection = (HttpUrlConnection)new URL("http://www.baidu.com/").openConnection();
connection.setConnectTimeout(6000); // 6s
connection.setReadTimeout(6000);
connection.setUseCaches(false);

if(connection.getResponseCode == 200){
  System.out.println("使用代理IP连接网络成功");
}

 

方式二,使用java.net.Proxy类

 

// 使用java.net.Proxy类设置代理IP
Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress("123.22.43.3", 8080);       HttpUrlConnection connection = (HttpUrlConnection)new URL("http://www.baidu.com/").openConnection(proxy);
connection.setConnectTimeout(6000); // 6s
connection.setReadTimeout(6000);
connection.setUseCaches(false);

if(connection.getResponseCode == 200){
  System.out.println("使用代理IP连接网络成功");
}

 

分享到:
评论

相关推荐

    Java网络爬虫抓取代理ip

    通过Java网络爬虫爬取指定代理ip网上的ip,利用了jsoup、httpclient技术实现

    Java爬虫Jsoup+httpclient获取动态生成的数据

    主要介绍了Java爬虫Jsoup+httpclient获取动态生成的数据的相关资料,需要的朋友可以参考下

    java爬虫,利用代理IP爬取大众点评网站内容.zip

    如果您下载了本程序,但是该程序无法运行,或者您不会部署,那么您可以选择退款或者寻求我们的帮助(如果找我们帮助的...然而,使用爬虫需要遵守法律和伦理规范,尊重网站的使用政策,并确保对被访问网站的服务器负责。

    java多线程代理IP池

    简单的来说,启动后,会一直定时的获取代理ip,并自动检测代理ip的活跃度。运用多线程的技术,在极短的时间内获取大量的ip进行筛选。架构也比较清楚,方便大家学习参考 需要主要的是,代理ip获取成功后是放在redis...

    网络代理,网络爬虫刷IPJava版,最新有效刷ip方法

    网络代理,网络爬虫刷IPJava版,最新有效刷ip方法 Java代码,包括代理ip采集,设置代理服务、获取列表,刷IP,网页解析等知识

    Java采集最新动态代理IP

    Jsoup实现代理IP的爬取,突破IP的访问限制,实现动态IP代理

    java-爬取代理IP

    使用java编写的爬虫,主要爬去代理IP,并存入数据库,方便其他项目使用

    模拟登录的Java爬虫实现.zip

    爬虫(Web Crawler)是一种自动化程序,用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储,以便后续...然而,使用爬虫需要遵守法律和伦理规范,尊重网站的使用政策,并确保对被访问网站的服务器负责。

    java爬虫获取网页数据导出到excle.zip

    如果您下载了本程序,但是该程序无法运行,或者您不会部署,那么您可以选择退款或者寻求我们的帮助(如果找我们帮助的...然而,使用爬虫需要遵守法律和伦理规范,尊重网站的使用政策,并确保对被访问网站的服务器负责。

    Java 各类爬虫代码.zip

    爬虫(Web Crawler)是一种自动化程序,用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储,以便后续...然而,使用爬虫需要遵守法律和伦理规范,尊重网站的使用政策,并确保对被访问网站的服务器负责。

    instagram用户信息 照片 视频动态 Java爬虫.zip

    如果您下载了本程序,但是该程序无法运行,或者您不会部署,那么您可以选择退款或者寻求我们的帮助(如果找我们帮助的...然而,使用爬虫需要遵守法律和伦理规范,尊重网站的使用政策,并确保对被访问网站的服务器负责。

    房产数据爬虫java 房天下.zip

    爬虫(Web Crawler)是一种自动化程序,用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储,以便后续...然而,使用爬虫需要遵守法律和伦理规范,尊重网站的使用政策,并确保对被访问网站的服务器负责。

    Java利用HtmlUtil和jsoup爬取知网中国专利数据的爬虫程序.zip

    爬虫(Web Crawler)是一种自动化程序,用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储,以便后续...然而,使用爬虫需要遵守法律和伦理规范,尊重网站的使用政策,并确保对被访问网站的服务器负责。

    java网络爬虫-通过登陆网站携带COOKIE信息爬取网站数据

    最近开发用到了爬取题库的功能,直接是无法爬取的,通过分析,发现可以通过账号登陆,携带COOKIE信息爬取网站数据。为了方便交流学习,现将代码公开。

    利用JAVA的JFinal模块建立的爬虫代理IP池(proxy_pool).zip

    如果您下载了本程序,但是该程序存在问题无法运行,那么您可以选择退款或者寻求我们的帮助(如果找我们帮助的话,是...然而,使用爬虫需要遵守法律和伦理规范,尊重网站的使用政策,并确保对被访问网站的服务器负责。

    java爬虫与ES数据分析.zip

    如果您下载了本程序,但是该程序无法运行,或者您不会部署,那么您可以选择退款或者寻求我们的帮助(如果找我们帮助的...然而,使用爬虫需要遵守法律和伦理规范,尊重网站的使用政策,并确保对被访问网站的服务器负责。

    python编写的爬虫代理ip池.zip

    python编写的爬虫代理ip池.zip 运行环境 python3 和mysql数据库 下载使用 下载源码 git clone .git 或者在下载zip文件 安装依赖 pip install -i https://pypi.douban.com/simple/ -r requments.txt 创建数据库 ...

    携程去哪儿机票爬虫,添加ip代理请求携程和去哪儿网,Java语言

    携程去哪儿机票爬虫,添加ip代理请求携程和去哪儿网,Java语言

    Java编写多个爬虫实例

    Java爬虫实例类说明如下: DownLoadFile 文件下载 HtmlParserTool Html解析 MyCrawler 爬虫 ConsistentHash 一致性Hash WordCount Map-Reduce算法例子 Retrive 文件下载 IP 获得IP地址示例 ip QQ纯真数据库示例 ...

    Boss直聘Java爬虫.zip

    爬虫(Web Crawler)是一种自动化程序,用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储,以便后续...然而,使用爬虫需要遵守法律和伦理规范,尊重网站的使用政策,并确保对被访问网站的服务器负责。

Global site tag (gtag.js) - Google Analytics