标签:Hadoop

Java

学习 Livy(一):初识 Livy

1

puefu.he 发布于 2018-12-11

除了 Apache Spark 本身提供的 spark-submit 、 spark-shell 和 ThriftServer 之外, Apache Livy 提供了另一种与 Spark 集群交互的方式,通过 REST 接口。 此外,Apache Livy 支持同时维护多个会话。...

阅读(10)评论(0)赞 (0)

Java

漫话:如何给女朋友解释什么是 RPC

28

xiaoli.wang 发布于 2018-12-11

周末一大早,我正在电脑前面看新闻,突然女朋友大喊起来:哇,杭州下大雪啦,快来看啊。我并没有理她,于是她跑过来拉我。 雪后杭州 RPC 是Remote Procedure Call的缩写,译为远程过程调用。是一个计算机通信协议。 为什么需要远程调用 在 如何给女朋友解释什么是分布式...

阅读(11)评论(0)赞 (0)

Spring

java B2B2C源码电子商务平台—大话Spring Cloud

1

xiaoli.wang 发布于 2018-12-06

研究了一段时间Spring Boot了准备向Spring Cloud进发,公司架构和项目也全面拥抱了Spring Cloud。在使用了一段时间后发现Spring Cloud从技术架构上降低了对大型系统构建的要求,使我们以非常低的成本(技术或者硬件)搭建一套高效、分布式、容错的平台...

阅读(31)评论(0)赞 (0)

Spring

开发笔记 – Spring Boot集成HBase

8

yeseng 发布于 2018-12-05

最近在重新整理 搜书吧 (一个做图书比价的平台)的系统架构,目前图书产品数量超过了200万条。各种数据加起来超过40G了,使用Mysql数据库存储服务器吃不消,于是考虑使用HBase存储大部分数据。 一、摘要 以前 搜书吧 的数据量比较小,使用数据库+静态文件存储的方式就可以搞定...

阅读(40)评论(0)赞 (0)

编程技术

新一代大数据与人工智能基础架构技术的发展与趋势

112

xiaoli.wang 发布于 2018-12-03

2018年是开源软件历史上最精彩的一年,2个IPO加上5个并购,开源技术到达新的高度。回溯过去大数据时代的15年,开源技术的创新潮流,包括集群技术,流计算,数据库,容器技术和机器学习,可谓一波接着一波。 2003-2004年Google发布的GFS和MapReduce论文,对业界...

阅读(23)评论(0)赞 (0)

编程技术

浅谈助力零信任安全架构的云IAM设计

10

xiaoli.he 发布于 2018-11-30

作者简介:伏明明,中通快递信息安全负责人,负责中通信息安全体系搭建和安全解决方案的规划实施,具备丰富的信息安全管理经验,擅长安全产品的规划设计和架构。关于信息安全方面的话题,有需要可以添加微信(bright_fu)交流。 前言 随着云计算、大数据等技术在企业大规模的推广使用,持续...

阅读(28)评论(0)赞 (0)

编程技术

HPE收购BlueData突显人工智能和分析野心

1

小丁 发布于 2018-11-30

至顶网软件频道消息: HPE今天透露,计划收购BlueData Software,这是一家专注于让企业更容易使用人工智能和分析工具的初创公司。 HPE预计将于1月底完成该交易,具体财务条款没有对外披露,但猜测收购价至少为八位数。BlueData已经从投资者那里融资了3900万美元...

阅读(31)评论(0)赞 (0)

编程技术

亿级流量系统架构之如何设计每秒十万查询的高并发架构【石杉的架构笔记】

8

尖兵 发布于 2018-11-30

欢迎关注个人公众号:石杉的架构笔记(ID:shishan100) 周一至周五早8点半!精品技术文章准时送上! 亿级流量架构专栏: 亿级流量系统架构之如何支撑百亿级数据的存储与计算 亿级流量系统架构之如何设计高容错分布式计算系统 亿级流量系统架构之如何设计承载百亿流量的高性能架构 ...

阅读(27)评论(0)赞 (0)

编程技术

大架构观(11.28)

wenming.gapo 发布于 2018-11-30

最近这几个月招人,发现一个很普遍的现象,就是你要是招聘开发人员或高级开发人员,收到的简历很少而且很难有合适的,但是你要是招架构师往往就能收到一堆的简历,即使薪酬待遇一样的情况下也是如此。对于软件开发这个行业,相信能够做架构师是很多人的职业规划和努力的目标,这不仅仅是待遇方面的能力...

阅读(20)评论(0)赞 (0)

Java

如何用 Uber JVM Profiler 等可视化工具监控 Spark 应用程序?

3

刘莉莉 发布于 2018-11-30

关键要点 持续可靠地运行 Spark 应用程序是一项具有挑战性的任务,而且需要一个良好的性能监控系统。 - 在设计性能监控系统时有三个目标——收集服务器和应用程序指标、在时序数据库中存储指标,并提供用于数据可视化的仪表盘。 Uber JVM Profiler 被用于监控 Spar...

阅读(37)评论(0)赞 (0)

编程技术

大架构观(11.28)

刘莉莉 发布于 2018-11-30

最近这几个月招人,发现一个很普遍的现象,就是你要是招聘开发人员或高级开发人员,收到的简历很少而且很难有合适的,但是你要是招架构师往往就能收到一堆的简历,即使薪酬待遇一样的情况下也是如此。对于软件开发这个行业,相信能够做架构师是很多人的职业规划和努力的目标,这不仅仅是待遇方面的能力...

阅读(30)评论(0)赞 (0)

Java

微服务监控

17

darida 发布于 2018-11-27

微服务监控主要分为两部分,一部分是对微服务本身的监控,另一方面是对整个调用链的监控。目前,我们主要采用dubbo作为rpc框架,所以下面重点介绍dubbo监控。 1、dubbo监控 1.1、原理 dubbo架构如下: 通过阅读dubbo源码,所有的rpc方法调用都会经过Monit...

阅读(45)评论(0)赞 (0)

Java

Java程序员别停在35岁,如何让Java程序员走的更远

4

hellas 发布于 2018-11-27

但是由于程序员工作的特性,可能从30岁开始,很多人就已经花白头发,可能除了考虑那些复杂的业务逻辑实现以外,就是考虑未来的路应该如何前进了。 看看下面这个曲线,可能很多行业都是这样,到了一定的年龄,人的价值体现就开始慢慢的下降了,只是程序员的时间更短一点。 就我自己身边的情况来说,...

阅读(33)评论(0)赞 (0)

Java

Web 扫描工具

2

zhuangli 发布于 2018-11-26

jboss,tomcat,weblogic,未授权访问扫描工具。 #前言 之前一直在挖src,然后复现了一下最近的几个中间件漏洞,感觉其实厂商很多对中间件使用还是比较多了。如果在漏洞刚刚暴露出来就可以写好批量利用的脚本的化,确实是可以割一波稻草,于是就想写一个批量的脚本,以后出了...

阅读(31)评论(0)赞 (0)

Java

如何阅读Java源码 ,阅读java的真实体会

1

hellas 发布于 2018-11-16

刚才在论坛不经意间,看到有关源码阅读的帖子。回想自己前几年,阅读源码那种兴奋和成就感,不禁又有一种激动。 源码阅读,我觉得最核心有三点:技术基础+强烈的求知欲+耐心。 说到技术基础,我打个比方吧,如果你从来没有学过Java,或是任何一门编程语言如C++,一开始去啃《Core Ja...

阅读(134)评论(0)赞 (0)

Java

斩获BAT-offer大神的两万字面试干货分享

hellas 发布于 2018-11-12

0.写在最前 首先呢我的面试经历和一些面霸和收割机的大神相比绝不算丰富,但我这三个月应该能代表很大一部分人的心路历程: 从无忧无虑也无知的状态,然后遭遇挫败,跌入低谷,连续数天的黑暗,慢慢调整,逼着自己不能松懈,看到改变,收获肯定,分享经历。 先大概说下自己的面试经历吧( 详细的...

阅读(84)评论(0)赞 (0)

Java

2018年排名Top 100的Java类库――在分析了277,975份源码之后得出的结论

2

xirruiqiang 发布于 2018-11-08

时间如流水,转眼间2018年已经要接近尾声了,过去的一年,可以说是疯狂的一年。SpaceX成功发射了重型猎鹰火箭,苹果成为首个突破一万亿美元市值的上市公司。 2018年,在IT圈也发生了许多大事和喜事,SpringBoot 2发布、Java发布了10 和 11两个版本、GitHu...

阅读(46)评论(0)赞 (0)

Java

2018年排名Top 100的Java类库——在分析了277,975份源码之后得出的结论

3

xiaoli.he 发布于 2018-11-08

时间如流水,转眼间2018年已经要接近尾声了,过去的一年,可以说是疯狂的一年。SpaceX成功发射了重型猎鹰火箭,苹果成为首个突破一万亿美元市值的上市公司。 2018年,在IT圈也发生了许多大事和喜事,SpringBoot 2发布、Java发布了10 和 11两个版本、GitHu...

阅读(48)评论(0)赞 (0)