spider-flow 0.5.0 发布,Java 开源爬虫平台

spider-flow 是一个无需写代码的爬虫平台,通过定义流程的方式制定爬虫。  

本次更新内容如下:

  • 新增注释节点
  • 新增字符串反转义函数
  • 新增属性窗口切换靠右/靠底
  • 新增消息通知功能(任务启动通知、任务停止通知)
  • 新增自动重试功能
  • 新增自动去重功能
  • 新增流程历史版本记录
  • 新增rest服务异步启动、查看状态、停止接口
  • 新增长任务模式
  • 新增输出节点可选编码格式
  • 新增函数elementsVar.htmls、outerHtmls、texts、attrs、ownTexts、wholeTexts等方法
  • 修复全局参数回显不出值的BUG
  • 修复删除任务时未停止任务的BUG
  • 修复日志下载内容为空的BUG
  • 修复输出csv文件被定的问题
  • 优化编辑器可跨页面/tab复制粘贴节点
  • 优化循环,增加开始位置、结束位置、循环次数或集合,循环下标等
  • 优化页面样式
  • 优化文档

ocr插件

  • 优化配置,单独提取出配置列表(与数据源类似)

mailbox插件

  • 优化配置,单独提取出配置列表(与数据源类似)

产品规划

从v0.6.0版本起前端将改用vue重构,有兴趣的小伙伴可以联系我~

截图

spider-flow 0.5.0 发布,Java 开源爬虫平台

spider-flow 0.5.0 发布,Java 开源爬虫平台

spider-flow 0.5.0 发布,Java 开源爬虫平台

spider-flow 0.5.0 发布,Java 开源爬虫平台

Github

https://github.com/javamxd/spider-flow

原文 

https://www.oschina.net/news/114847/spider-flow-0-5-0-released

本站部分文章源于互联网,本着传播知识、有益学习和研究的目的进行的转载,为网友免费提供。如有著作权人或出版方提出异议,本站将立即删除。如果您对文章转载有任何疑问请告之我们,以便我们及时纠正。

PS:推荐一个微信公众号: askHarries 或者qq群:474807195,里面会分享一些资深架构师录制的视频录像:有Spring,MyBatis,Netty源码分析,高并发、高性能、分布式、微服务架构的原理,JVM性能优化这些成为架构师必备的知识体系。还能领取免费的学习资源,目前受益良多

转载请注明原文出处:Harries Blog™ » spider-flow 0.5.0 发布,Java 开源爬虫平台

赞 (0)
分享到:更多 ()

评论 0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址