spider-flow 0.4.0 发布,Java 开源爬虫平台

spider-flow 是一个无需写代码的爬虫平台,通过定义流程的方式制定爬虫

更新日志

  • 新增自定义函数功能
  • 新增输出节点支持输出至数据库或csv文件
  • 新增获取元素节点和上级元素方法elementVar.subling()、elementVar.parent()、elementVar.parents()、elementsVar.parents()
  • 修复日志文件内容为空的问题  #I1AXQK
  • 修复输出时可能出现的ArrayIndexOutOfBoundsException异常
  • 优化界面显示,并将右侧属性配置移到底部
  • 优化file函数,将下载调整为file.download(path,url)和file.download(path,urls)
  • 优化程序逻辑,将递归执行改为非递归执行

原文 

https://www.oschina.net/news/114126/spider-flow-0-4-0-released

本站部分文章源于互联网,本着传播知识、有益学习和研究的目的进行的转载,为网友免费提供。如有著作权人或出版方提出异议,本站将立即删除。如果您对文章转载有任何疑问请告之我们,以便我们及时纠正。

PS:推荐一个微信公众号: askHarries 或者qq群:474807195,里面会分享一些资深架构师录制的视频录像:有Spring,MyBatis,Netty源码分析,高并发、高性能、分布式、微服务架构的原理,JVM性能优化这些成为架构师必备的知识体系。还能领取免费的学习资源,目前受益良多

转载请注明原文出处:Harries Blog™ » spider-flow 0.4.0 发布,Java 开源爬虫平台

赞 (0)
分享到:更多 ()

评论 0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址