25种Java机器学习工具和库 Java 编程技术

25种Java机器学习工具和库

http://www.demnag.com/b/java-machine-learning-tools-libraries-cm570/ 这是25种Java机器学习工具和库的列表。 Weka 拥有一系列用于数据挖掘任务的机器学习算法。算法可以直接应用于数据集,也可以从您自己的Java代码调用。Weka包含用于数据预处理,分类,回归,聚类,关联规则和可视化的工具。 ...
阅读全文
发生在Optimizely公司的由批量到流式分析的故事 编程技术

发生在Optimizely公司的由批量到流式分析的故事

本文原作者为Optimizely的分布式系统工程师David Yu。 我们在Optimizely公司的使命就是帮助决策者们把数据转变为行动。这需要我们能够快速并可靠地移动数据。我们每天要处理几十亿个用户事件,包括浏览网页、点击和定制事件等。能以最快的速度将与用户有关的关键业务信息提供给我们的客户,这一直都是我们最高优先级的任务。正因如此,我们一直都在寻求创新的方式来改进我们的数据处理流水线。 ...
阅读全文
流处理技术谬见大消除 编程技术

流处理技术谬见大消除

我们在思考流处理问题上花了很多时间,更酷的是,我们也花了很多时间帮助其他人认识流处理,以及如何在他们的组织里应用流处理来解决数据问题。 我们首先要做的是纠正人们对流处理(作为一个快速变化的领域,这里有很多误见值得我们思考)的错误认识。 在这篇文章里,我们选出了其中的六个作为例子。因为我们对 Apache Flink 比较熟悉,所以我们会基于Flink来讲解这些例子。 谬见1:没有不...
阅读全文
实时流处理Storm、Spark Streaming、Samza、Flink孰优孰劣? 编程技术

实时流处理Storm、Spark Streaming、Samza、Flink孰优孰劣?

分布式流处理需求日益增加,包括支付交易、社交网络、物联网(IOT)、系统监控等。业界对流处理已经有几种适用的框架来解决,下面我们来比较各流处理框架的相同点以及区别。 分布式流处理是对无边界数据集进行连续不断的处理、聚合和分析。它跟MapReduce一样是一种通用计算,但我们期望延迟在毫秒或者秒级别。这类系统一般采用有向无环图(DAG)。 DAG是任务链的图形化表示,我们用它来描述流处理作业...
阅读全文
LinkedIn 的Kafka 生态 编程技术

LinkedIn 的Kafka 生态

Apache Kafka 是一个高度可扩展的消息系统,在LinkedIn 的中心数据管道中扮演着关键角色。LinkedIn 早在2010年就开发了Kafka,现在每天在1400个节点上处理超过1.4万亿条消息。Kafka 的 高稳定性 和 低延迟 ,使我们能够使用Kafka 支撑LinkedIn 的许多新的关键任务用例,包括在 Espresso 中使用基于Kafka 的副本取代MySQL 副本, ...
阅读全文
LinkdeIn 的 Kafka 生态系统 编程技术

LinkdeIn 的 Kafka 生态系统

原文: Kafka Ecosystem at LinkedIn 作者: Joel Koshy 翻译:孙薇 责编:钱曙光,关注架构和算法领域,寻求报道或者投稿请发邮件qianshg@csdn.net,另有「CSDN 高级架构师群」,内有诸多知名互联网公司的大牛架构师,欢迎架构师加微信qshuguang2008申请入群,备注姓名+公司+职位。 ...
阅读全文
Apache流计算框架详细对比 编程技术

Apache流计算框架详细对比

原文 几个月之前我们在这里讨论过[]( http://www.cakesolutions.net/teamblogs/introduction-into-distributed-real-time-stream-processing) 目前对于这种日渐增加的分布式流计算的需求的原因。当然,目前也有很多的各式各样的框架被用于处理这一些问题。现在我们会在这篇文章中进行回顾,来讨论下各种框...
阅读全文
用Apache Spark进行大数据处理——第三部分:Spark流 编程技术

用Apache Spark进行大数据处理——第三部分:Spark流

介绍 在“用Apache Spark进行大数据处理”系列的前两篇文章中,我们看到了Apache Spark框架是什么(第一部分)还有如何使用Spark SQL库访问数据的SQL接口(第二部分)。 这些方案是基于批处理模式下静态信息处理的,比如作为一个按小时或天运行的任务。但若是在数据驱动的业务决策场景下,当需要飞快地分析实时数据流以执行分析并创建决策支持时,又该如何呢? ...
阅读全文
Loading...