mcj8089
mcj8089 · 共 40 篇文章
数据抓取原理及常见爬虫框架、代理示例
文章转自 http://www.data5u.com/ 数据爬虫概述 爬虫,即网络爬虫(Web crawler),是一种自动获取网页内容的程序。 是搜索引擎的重要组成部分,因此搜索引擎优化很大程度上就是针对爬虫而做出的优化。 搜索引擎的处理对象是互联网网页,日前网页数量以百亿计,所以搜索引擎首先面临的问题就是:如何能够设计出高效的下载系统,以将如此海量的网页数据传送到本地,在本地形成互联网网页的镜像备份。 网络爬虫即起此作用,它是搜索引擎系统中很关键也很基础的构件。 这里主要介绍与网络爬虫相关的技术,尽管爬虫技术经过几十年的发展,从整体框架上已相对成熟,现阶段已经有各种语言开发的成熟的爬虫项…
使用动态代理IP让爬虫效率提高N倍
package com.goubanjia.test; import java.io.BufferedInputStream; import java.io.InputStream; import java.net.HttpURLConnection; import java.util.ArrayList; import java.util.List; import org.jsoup.Jsoup; import com.gargoylesoftware.htmlunit.BrowserVersion; import com.gargoylesoftware.htmlunit.ProxyCo…
2016-08-16 14:38 · Java · 评论(0)
SpringMVC的MAVEN项目报错ClassNotFoundException
maven中已经引入了springmvc相关jar包,在启动tomcat的时候报错 java.lang.ClassNotFoundException: org.springframework.web.context.ContextLoaderListener 解决办法: 1. 项目上右键,选择Properties 2. 选择Deployment Assembly 3. 点击Add按钮 4. 选择Java Build path Enries 5. 选择Maven Dependencies 搞定!
2016-03-19 18:11 · Spring · 评论(0)
CentOS7 安装软件部署环境
安装Mysql CentOS 7的yum源中貌似没有正常安装mysql时的mysql-sever文件,需要去官网上下载 # wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm # rpm -ivh mysql-community-release-el7-5.noarch.rpm # yum install mysql-community-server 成功安装之后重启mysql服务 # service mysqld restart 初次安装mysql是root账户是没有密码的 设置密码的方法 # mys…
2016-03-03 15:33 · Linux · 评论(0)
nginx+tomcat+redis完成session共享
本文记录nginx+redis+tomcat实现session共享的过程 nginx安装: http://blog.csdn.net/grhlove123/article/details/47834673 redis安装: http://blog.csdn.net/grhlove123/article/details/47783471 准备两个tomcat,修改相应的端口 名称 IP 端口 tomcat版本 JDK tomcat1 10.10.49.23 8080 7.0.40 1.7.0_25 tomcat2 10.10.49.15 8081 7.0.40 1.7.0_25 修改nginx…
2016-02-15 11:25 · 评论(0)
算法复杂度分析
转载自http://www.cnblogs.com/gaochundong/p/complexity_of_algorithms.html 为什么要进行算法分析? 预测算法所需的资源 计算时间(CPU 消耗) 内存空间(RAM 消耗) 通信时间(带宽消耗) 预测算法的运行时间 在给定输入规模时,所执行的基本操作数量。 或者称为算法复杂度(Algorithm Complexity) 如何衡量算法复杂度? 内存(Memory) 时间(Time) 指令的数量(Number of Steps) 特定操作的数量 磁盘访问数量 网络包数量 渐进复杂度(Asymptotic Complexity) 算法的…
2016-01-20 15:41 · 评论(0)
毕生心血,Sprin教程都在这里了
1. 韩顺平 Spring视频教程 http://www.yunpansoso.com/detail/1/JoMJLn.html 2. WEB开发必备技术,SpringMVC视频教程 http://www.yunpansoso.com/detail/1/KhLPJmJ.html 3. SpringMVC 3.0版本系列视频教程 http://www.yunpansoso.com/detail/1/IhHKOkO.html 4. 李守红 springMVC视频教程 http://www.yunpansoso.com/detail/1/OlPKJgH.html 5. 尚硅谷SpringMVC视频…
2016-01-10 09:30 · 评论(0)
Hibernate 视频+文档教程汇总
1. 尚学堂Hibernate视频教程 比较全面的讲解了Hibernate知识,好几节视频教程。 2. Struts2、Spring、Hibernate、iBatis教程汇总 全面讲解了J2EE中的这几个常用的框架,总结的很全面。 3. Hibernate面试题 对Hibernate常见面试题的总结。 视频很多,需要慢慢消化一下了。
2015-12-18 16:22 · 评论(0)
jquery IE8兼容问题
以前一直使用 jQuery-1.7.2结果发现IE6,7,8直接报错,后来换成 jQuery-1.11.x 完美兼容678
2015-12-18 16:12 · 评论(0)
分享一些实用的IT技术教程
1. bootstrap中文手册 2. Nosql数据库之Cassandra权威指南 3. Python数据结构与算法 4. PHP 3小时光速入门 5. PS教程 6. SpringMVC 视频教程 7. SpringMVC + Mybatis全套视频教程 8. Mybatis入门教程 9. Nosql数据库 Redis入门教程 10. JAVA面试宝典 11. Squid代理缓存服务器视频教程
2015-12-15 18:15 · 评论(0)
Tomcat 开启GZIP压缩网页
在Tomcat的server.xml文件中得Connector中添加 compression="on" compressionMinSize="2048" noCompressionUserAgents="gozilla, traviata" compressableMimeType="text/html,text/xml,text/plain,text/css,text/javascript,text/json,application/x-javascript,application/javascript,application/json" 即可。
2015-12-09 14:18 · 评论(0)
一招教你如何搜索国内各大网盘资源
国内网盘众多,比较常用的有百度云网盘、新浪微盘、千军万马网盘、115网盘等。 那么如果想要搜索网盘资源怎么办? 这些网盘并没有提供搜索功能,下面介绍一个网站 云盘搜搜 ,可以很方便搜索网盘资源。 网址: http://www.yunpansoso.com
2015-12-02 14:17 · 评论(0)
Mybatis批量更新配置(Mysql batch update)
Mybatis在Mysql批量更新中不支持BEGIN与END关键字, 所以如下配置是错误的: <update id="batchUpdate" parameterType="java.util.List"> <foreach collection="list" item="item" index="index" open="begin" close="end;" separator=";"> update test <set> test=${item.test}+1 </set> where id = ${item.id} </foreach> </update> 正确做法如下: 方法一:执…
使用Squid搭建内网视频缓存系统
videocache地址: http://cachevideos.com/documentation/introduction 软件需要:videocache、squid-2.7、apache2、redis、python2.7 操作系统:Ubuntu 文件缓存路径:/var/www/html/videocache/ 操作步骤: ================== 1. 安装Python:Ubuntu系统自带Python2.7版本,跳过本步骤 2. 安装Mysql(这步没有用到,可以直接跳过) $ apt-get install mysql-server mysql-client libmy…
2015-10-13 11:30 · Squid · 评论(0)