标签:HDFS

Spring

Flink 在有赞实时计算的实践

19

darida 发布于 2019-01-16

一、前言 这篇主要由五个部分来组成: 首先是有赞的实时平台架构。 其次是在调研阶段我们为什么选择了 Flink。在这个部分,主要是 Flink 与 Spark 的 structured streaming 的一些对比和选择 Flink 的原因。 第三个就是比较重点的内容,Flin...

阅读(14)评论(0)赞 (0)

编程技术

Airflow 成为 Apache 软件基金会的顶级项目

刘莉莉 发布于 2019-01-14

Airflow 是一个开源的大数据工作流管理系统,在 Adobe、Airbnb、Etsy、谷歌、ING、Lyft、PayPal、Reddit、Square、推特和美联航等组织得到广泛应用。 2019 年 1 月 8 日,位于马萨诸塞州 Wakefield 的 Apache 软件基...

阅读(21)评论(0)赞 (0)

Java

Flink Checkpoint超时问题常见排查思路

2

songhua.gao 发布于 2019-01-11

本文大致理一下checkpoint出现超时问题的排查思路:(本文基于flink-1.4.2) 超时判断逻辑 jobmanager定时 trigger checkpoint ,给source处发送trigger信号,同时会启动一个异步线程,在 checkpoint timeout ...

阅读(24)评论(0)赞 (0)

Java

知乎容器化构建系统设计和实践

6

刘莉莉 发布于 2019-01-03

关于 知乎应用平台团队基于 Jenkins Pipeline 和 Docker 打造了一套持续集成系统。Jenkins Master 和 Slave 基于 Docker 部署,每次构建也是在容器中进行。目前有三千个 Jenkins Job,支撑着整个团队每日近万次的构建和部署量。...

阅读(36)评论(0)赞 (0)

编程技术

Index R 时序数仓技术架构

1

xiaoli.he 发布于 2019-01-03

IndexR是由舜飞科技研发的实时OLAP系统。于 2017 年 1 月初正式开源,目前已经更新至 0.6.1 版本,其作者认为IndexR具有以下特点: 超大数据集,低查询延时(超大数据集由HDFS保证,查询低延迟由MPP架构的Drill和IndexR专门设计的存储格式保证) ...

阅读(29)评论(0)赞 (0)

Java

Java 学习之路

Harries 发布于 2018-12-31

前几天刷微博,看到博主 @Java大本营 发了一个图片,总结 Java 一些常见的知识点,感觉挺好,整理成文字版,发在我的个人博客,作为一个大家学习复习的文档,也欢迎有人在评论中留下各种参考资料,一下是正文。 一、基础篇 1. JVM ①. JVM 内存结构 堆、栈、方法区、直接...

阅读(56)评论(0)赞 (0)

Java

HIVE自定义函数的扩展

1

尖兵 发布于 2018-12-30

作者简介 淳敏,物流架构师同时也是一位team leader,工作认真负责,曾在休假期间“面向大海编程”,不明觉厉 在Hive中,用户可以自定义一些函数,用于扩展HiveQL的功能。Hive 自定义函数主要包含以下三种: UDF(user-defined function) 单独...

阅读(33)评论(0)赞 (0)

编程技术

分布式存储架构设计

4

xiaoli.wang 发布于 2018-12-17

互联网系统,存储与计算是极其重要两个方面。无论是服务端mysql数据库、redis缓存以及计算应用框架spring、dubbo等,还是大数据hdfs、hbase以及mapreduce、spark等计算框架。都体现了存储计算是互联网应用系统两个核心方面。 存储三种类型基于hash数...

阅读(44)评论(0)赞 (0)

编程技术

滴滴 Elasticsearch 多集群架构实践

4

小丁 发布于 2018-12-17

Elasticsearch 是基于 Lucene 实现的分布式搜索引擎,提供了海量数据实时检索和分析能力。Elastic 公司开源的一系列产品组成的 Elastic Stack,可以为日志服务、搜索引擎、系统监控等提供简单、易用的解决方案。 滴滴 Elasticsearch 简介...

阅读(38)评论(0)赞 (0)

Java

Java 工程师快速入门深度学习,就从 Deeplearning4j 开始

5

darida 发布于 2018-12-13

作者:万宫玺 随着机器学习、深度学习为主要代表的人工智能技术的逐渐成熟,越来越多的 AI 产品得到了真正的落地。无论是以语音识别和自然语言处理为基础的个人助理软件,还是以人脸识别为基础的刷脸付费系统,这些都是 AI 技术在现实生活中的实际应用。应当说 AI 正在走进千家万户,来到...

阅读(45)评论(0)赞 (0)

Java

学习 Livy(一):初识 Livy

1

puefu.he 发布于 2018-12-11

除了 Apache Spark 本身提供的 spark-submit 、 spark-shell 和 ThriftServer 之外, Apache Livy 提供了另一种与 Spark 集群交互的方式,通过 REST 接口。 此外,Apache Livy 支持同时维护多个会话。...

阅读(49)评论(0)赞 (0)

Spring

开发笔记 – Spring Boot集成HBase

8

yeseng 发布于 2018-12-05

最近在重新整理 搜书吧 (一个做图书比价的平台)的系统架构,目前图书产品数量超过了200万条。各种数据加起来超过40G了,使用Mysql数据库存储服务器吃不消,于是考虑使用HBase存储大部分数据。 一、摘要 以前 搜书吧 的数据量比较小,使用数据库+静态文件存储的方式就可以搞定...

阅读(68)评论(0)赞 (0)

编程技术

微服务和API网关-实现(11.30)

xubiao.zhuang 发布于 2018-11-30

这篇思考下对于微服务或API网关,对我们当前的自研ESB服务总线的调整思路。 首先对于微服务网关时候,我们注册接入和管理的核心将变化为Http Rest接口服务,而原来我们的ESB总线更多的是管理SOAP WS服务为主。这是最大的一个变化点。其次就是原来更多的是基于服务规范和契约...

阅读(56)评论(0)赞 (0)

Java

如何用 Uber JVM Profiler 等可视化工具监控 Spark 应用程序?

3

刘莉莉 发布于 2018-11-30

关键要点 持续可靠地运行 Spark 应用程序是一项具有挑战性的任务,而且需要一个良好的性能监控系统。 - 在设计性能监控系统时有三个目标——收集服务器和应用程序指标、在时序数据库中存储指标,并提供用于数据可视化的仪表盘。 Uber JVM Profiler 被用于监控 Spar...

阅读(64)评论(0)赞 (0)

Java

HBase 内核组件协调及RegionServer JVM参数调优-OLAP商业环境实战

xiaoli.wang 发布于 2018-11-27

本套技术专栏是作者(秦凯新)平时工作的总结和升华,通过从真实商业环境抽取案例进行总结和分享,并给出商业应用的调优建议和集群环境容量规划等内容,请持续关注本套博客。版权声明:禁止转载,欢迎学习。QQ邮箱地址:1120746959@qq.com,如有任何学术交流,可随时联系。 1 弱...

阅读(79)评论(0)赞 (0)

Java

微服务监控

17

darida 发布于 2018-11-27

微服务监控主要分为两部分,一部分是对微服务本身的监控,另一方面是对整个调用链的监控。目前,我们主要采用dubbo作为rpc框架,所以下面重点介绍dubbo监控。 1、dubbo监控 1.1、原理 dubbo架构如下: 通过阅读dubbo源码,所有的rpc方法调用都会经过Monit...

阅读(86)评论(0)赞 (0)

Java

Spark 调优(二):JVM 调优

hanze 发布于 2018-11-20

Spark 由 Scala/Java 编写的,Spark 的 Driver 和 Executor 是运行在集群中的 JVM 进程,依赖 Java 内存管理和 GC。在生产环境中,通常使用几十上百甚至更大的内存,这在传统的 Java 应用中极为少见。 Spark 通过 spark....

阅读(56)评论(0)赞 (0)

Java

知乎容器化构建系统设计和实践

6

xubiao.zhuang 发布于 2018-11-16

编辑推荐: 本文来自于网络,主要介绍了 知乎团队基于 Jenkins Pipeline 和 Docker 打造的持续集成系统的相关介绍等相关内容。 知乎选用 Jenkins 作为构建方案,因其强大和灵活,且有非常丰富的插件可供使用和扩展。早期,应用数量较少时,每个开发者都手动创建...

阅读(112)评论(0)赞 (0)