jeecms 爬虫 1.3 正式版 (附带整合 jeecms2012工程源码)

jeecms 爬虫 1.3 正式版 (附带整合 jeecms2012工程源码)
这次把爬虫和定时任务框架提炼了出来，新增了分页内容采集参数设置，同时修改了2012分页BUG，添加了 专题选择，内容直接可进入选择的专题，根据是否有图片 判断内容类型：普通/图文.等。。。爬虫内部也做了不少修改。还有些细节的调整就不一一列举了，有兴趣的朋友，下来看看，让我们共同进步。如有什么问题请QQ交流： 164863067

jeecms 交流群：217868618,爬虫交流群：217690017

我的小站：www.meishih.com就是基于此爬虫建立的，已经采集了上万条数据了。
有做网站的朋友 交换个链接吧：），这年头自己搞网站不容易，大家相互帮助哈：）,先谢了！
小站网址：www.meishih.com
小站名称：美食汇

/**********************2012-02-14 更新*******************************/
修改了采集内容分页问题，增加采集内容分页补全URL字段
程序和SQL已经更新

/**********************2012-03-02 更新*******************************/
新增采集参数：是否去重，是否使用代理，代理服务器地址及端口
新增爬虫配置参数文件，系统启动自动加载
修复采集有分页时，无法停止BUG....等
其他一些小化
程序和SQL已经更新
采集参数表SQL:
`repeat_check_type` varchar(20) NOT NULL DEFAULT 'NONE' COMMENT '重复类型',
  `use_proxy` varchar(20) DEFAULT 'false' COMMENT '是否使用代理',
  `proxy_port` varchar(100) DEFAULT NULL COMMENT '代理地址端口',
  `proxy_address` varchar(100) DEFAULT NULL COMMENT '代理地址',

评论

1 楼 xiaoyuecsdn 2013-04-13  

不错 我喜欢 希望会有更好的作品