标签:Presto

Java

Java后端开发工程师是否该转大数据开发?

1

刘莉莉 发布于 2019-10-13

撰写我对java后端开发工程师选择方向的想法,写给在java后端选择转方向的人 背景 看到一些java开发工程师,对java后端薪酬太悲观了。认为换去大数据领域就会高工资。觉得java后端没有前途。我从事java后端开发,对大数据领域工作有些了解,但不深入。本文描述一下我对jav...

阅读(31)评论(0)赞 (0)

Spring

一文聊透 Dubbo 优雅停机

4

Harries 发布于 2019-10-11

点击蓝色“ 程序猿DD ”关注我 回复“ 资源 ”获取独家整理的学习资料! 作者 | kiritomoe 来源 |  公众号「Kirito的技术分享」 1 前言 一年之前,我(老徐)曾经写过一篇《研究优雅停机时的一点思考》,主要介绍了 kill -9,kill...

阅读(26)评论(0)赞 (0)

Spring

在kubernetes上运行Spring Cloud Gateway(二)

6

dulong 发布于 2019-10-09

作者:青木,工程师,DevOps践行者,微服务化,容器化业务实践者。 在 之前文章 中( 点击查看 ),我们搭建好了基本的网关的架子。这篇文章中 我们继续剩下的部分,将网关和部署到k8s中,并结合Ingress完成域名访问我们的网关,通过Secret完成网关HTTPS的安全加密。...

阅读(32)评论(0)赞 (0)

编程技术

爱奇艺​海量数据实时分析服务技术架构演进

9

wenming.gapo 发布于 2019-09-22

1.现状与挑战 爱奇艺目前使用到的大数据相关技术有Druid、Impala、Kudu、Kylin、Presto、ElasticSearch等,并且随着各技术框架的版本升级而升级。 比如: Druid是一个分布式的支持实时分析的数据存储系统,数据与时间强相关,已由0.10.0版本升...

阅读(43)评论(0)赞 (0)

编程技术

​海量数据实时分析服务技术架构演进

9

zhuangli 发布于 2019-09-16

1.现状与挑战 爱奇艺目前使用到的大数据相关技术有Druid、Impala、Kudu、Kylin、Presto、ElasticSearch等,并且随着各技术框架的版本升级而升级。 比如: Druid是一个分布式的支持实时分析的数据存储系统,数据与时间强相关,已由0.10.0版本升...

阅读(29)评论(0)赞 (0)

Java

在工作中常用到的SQL

10

xiaoli.he 发布于 2019-07-30

只有光头才能变强。 文本已收录至我的GitHub仓库,欢迎Star: github.com/ZhongFuChen… 最近在公司做了几张报表,还记得刚开始要做报表的时候都快把SQL给忘光了(当时在广州休假了1个月多,在实习期间也没咋写过SQL),回到公司的第一个需求就是做报表。 ...

阅读(91)评论(0)赞 (0)

Java

手动编译 Flink 1.9 踩坑实录

xiaoli.he 发布于 2019-07-26

大家期盼已久的1.9已经剪支有些日子了,兴冲冲的切换到跑去编译,我在之前的文章《尝尝Blink》里也介绍过如何编译,本文只针对不同的地方以及遇到的坑做一些说明,希望对遇到同样问题的朋友有一些帮助。 首先,切换分支 git checkout release-1.9 这次我们不修改p...

阅读(146)评论(0)赞 (0)

编程技术

宜人贷PaaS数据服务平台Genie:技术架构及功能

21

darida 发布于 2019-06-17

上篇:架构及组件 一、数据平台的发展 1.1 背景介绍 随着数据时代的到来,数据量和数据复杂度的增加推动了数据工程领域的快速发展。为了满足各类数据获取/计算等需求,业内涌现出了诸多解决方案。但大部分方案都遵循以下原则: 降低数据处理成本 合理提高数据使用/计算效率 提供统一的编程...

阅读(127)评论(0)赞 (0)

编程技术

在Kubernetes中优雅下线微服务应用

2

xubiao.zhuang 发布于 2019-06-10

在去年写过一篇关于微服务优雅上下线的文章,比较笼统的将了一下微服务保证优雅上下线的一些方式。但随着应用的逐渐k8s化,原有的微服务下线会存在一些问题。 下线信号钩子 之前针对优雅下线使用的还是通过信号响应的方式。一个是docker以及k8s中下线信号SIGTERM,由于这个信号会...

阅读(94)评论(0)赞 (0)

编程技术

胡喜:蚂蚁金服十五年技术架构演进之路

8

zhuangli 发布于 2019-05-09

蚂蚁金服过去十五年,通过技术重塑了支付服务小微贷款服务。我们认为 Blockchain (区块链)、Artificial intelligence(人工智能)、Security(安全)、 IoT(物联网)和 Cloud computing(云计算),这五大 BASIC 技术仍会是...

阅读(144)评论(0)赞 (0)

编程技术

如何搭建大数据平台技术架构?

8

xiaoli.wang 发布于 2019-04-26

编辑推荐: 来源于作者艾佳,本文以掌慧纵盈为案例,阐述了物联网企业的业务架构和数据架构,以及技术选型的思考过程。 如何搭建大数据平台技术架构?有没有好的大数据平台架构案例? 请看下文 借助“互联网+大数据+机场”三轮驱动,掌慧纵盈每年为6.4亿人次出行提供无线网络连接服务。 随着...

阅读(188)评论(0)赞 (0)

Java

使用Helm简化K8S应用管理

22

小丁 发布于 2019-04-09

一、背景介绍 在使用纯手工维护yaml文件方式完成内网开发和两套测试环境和现网生成环境的核心微服务pod化之后。发现主要痛点如下: 1、工作负载相关的yaml文件维护量巨大,且易出错。(目前内网共有77个工作负载) 2、研发人员对工作负载配置改动的需求比较频繁,例如修改jvm相关...

阅读(149)评论(0)赞 (0)

Java

使用init-containers满足程序猿刚需

8

hellas 发布于 2019-03-29

随着现网生产环境容器化改造逐步完成,核心的业务都由K8S集群中的pod对外提供服务。各个微服务应用间的内部资源调用次数、调用链耗时、调用阈值告警、超时错误等信息指标对保障业务健康运行来说显得非常重要。由于现网使用的是云容器引擎服务,公有云提供了一整套的解决方案。下面是华为云和阿里...

阅读(162)评论(0)赞 (0)

Java

在Java中使用redisTemplate操作缓存

3

邓龙华 发布于 2019-02-25

背景 在最近的项目中,有一个需求是对一个很大的数据库进行查询,数据量大概在几千万条。但同时对查询速度的要求也比较高。 这个数据库之前在没有使用Presto的情况下,使用的是Hive,使用Hive进行一个简单的查询,速度可能在几分钟。当然几分钟也并不完全是跑SQL的时间,这里面包含...

阅读(161)评论(0)赞 (0)

Java

在Java中使用redisTemplate操作缓存

3

wenming.gapo 发布于 2019-01-18

背景 在最近的项目中,有一个需求是对一个很大的数据库进行查询,数据量大概在几千万条。但同时对查询速度的要求也比较高。 这个数据库之前在没有使用 Presto 的情况下,使用的是Hive,使用Hive进行一个简单的查询,速度可能在几分钟。当然几分钟也并不完全是跑SQL的时间,这里面...

阅读(193)评论(0)赞 (0)

编程技术

Airflow 成为 Apache 软件基金会的顶级项目

刘莉莉 发布于 2019-01-14

Airflow 是一个开源的大数据工作流管理系统,在 Adobe、Airbnb、Etsy、谷歌、ING、Lyft、PayPal、Reddit、Square、推特和美联航等组织得到广泛应用。 2019 年 1 月 8 日,位于马萨诸塞州 Wakefield 的 Apache 软件基...

阅读(163)评论(0)赞 (0)

编程技术

Index R 时序数仓技术架构

1

xiaoli.he 发布于 2019-01-03

IndexR是由舜飞科技研发的实时OLAP系统。于 2017 年 1 月初正式开源,目前已经更新至 0.6.1 版本,其作者认为IndexR具有以下特点: 超大数据集,低查询延时(超大数据集由HDFS保证,查询低延迟由MPP架构的Drill和IndexR专门设计的存储格式保证) ...

阅读(254)评论(0)赞 (0)

编程技术

kubernetes 中删除 pod 导致客户端连接不存在的 IP 超时问题

zhuangli 发布于 2018-12-11

在 k8s 平台测试自研 Service Mesh 方案时,发现更新服务时,会有少量请求耗时剧增。跟踪排查后确认是由于 Pod 被删除后,原先的 Pod 的 IP 不存在,客户端建立连接超时引起。 现象 正常升级某个服务的 Deployment。 升级策略,先起一个新实例,再停一...

阅读(295)评论(0)赞 (0)