转载

AdMaster技术副总裁卢亿雷:分布式数据库挑战与分析

SDCC 2015将于2015年11月19-21日在北京.朗丽姿西山花园酒店召开。在大会召开之际,笔者采访到了AdMaster技术副总裁卢亿雷,请他分享分布式数据库面临的挑战,以及怎样成为一名优秀的技术人?届时,卢亿雷将在新一代数据库调优实战论坛中带来《分布式数据库挑战与分析》的主题分享,欢迎前来现场聆听【点击这里抢票】。

AdMaster技术副总裁卢亿雷:分布式数据库挑战与分析

AdMaster技术副总裁 卢亿雷

CSDN:首先请简单介绍下自己、公司以及目前所负责的领域

卢亿雷: AdMaster技术副总裁,大数据资深专家, CCF大数据专委委员。主要负责数据的采集、清洗、存储、挖掘等整个数据流过程,确保提供高可靠、高可用、高扩展、高性能系统服务,提供Hadoop/HBase/Storm/Spark/ElasticSearch等离线、流式及实时分布式计算服务。 对分布式存储和分布式计算、超大集群、大数据分析等有深刻理解及实践经验。有超过10年云计算、云存储、大数据经验。拥有多项发明专利,《一种分布式文件系统及其数据访问方法》和《一种数据备份的版本管理方法及装置》等。

AdMaster精硕科技是领先的营销数据技术公司,主要专注数据挖掘、分析和管理。以软件即服务 (SAAS)的商业模式,帮助企业创造价值。业务主要覆盖:第三方数字广告审计和社会化媒体、电商及跨多屏整合领域的大数据分析、管理、应用及综合解决方案。终端涵盖个人电脑及移动设备。AdMaster拥有超过1000台的服务器集群,完成每天超过100亿的采集请求,每天有对上1000亿数据进行几千个维度的离线、流式、实时分析和计算,同时,我们还拥有业界最前沿OLAP的SSD集群。

CSDN:从联想到百度到Carbonite China再到目前的AdMaster,这一路走来,给你最大的收获是什么?

卢亿雷: 2006年曾作为联想网盘核心人员就职于联想研究院; 2010年加入百度基础架构部,负责Hadoop集群优化;2011年,应邀组建Carbonite China团队,作为技术总监及架构师,主持并规划上线“凯备份”产品,保证了Carbonite在NASDAQ顺利上市。经历了由大公司到创业公司,从云存储行业到大数据行业,最大的收获是技术视野的开拓转变为技术与业务的完美融合,由小处着手到大处着眼,由纯技术到技术与管理的融合等。

CSDN:你认为,目前分布式数据库面临的挑战有哪些?

卢亿雷: 分布数据库对传统数据库的很多理论都提出了挑战。如在 SSD存储下怎么样提高数据库性能;如怎么样在高可靠性的前提下提高数据库插入和查询性能;如在支持分布式事务前提下如何提高数据调用性能;如对几千至几万列的复杂查询提供秒级返回结果;如对CAP理论以及存储方式都有不同程度的挑战,特别是对OLAP,CAP理论里的C(Consistency)一致性,会有不同程度的弱化等。

CSDN:你认为一名优秀的技术人应该具备怎样的素质?

卢亿雷: 技术方面在系统可用的情况下,保证技术架构的延展性,不要设计过度;一定要精通一门程序语言;英文阅读能力也还需要不错,需要经常关注国内外各种新技术状态,需要和几个知名专家经常沟通技术;另外有写文档的习惯,有模块化、自动化思想。非技术方面需要有主动沟通意识,多参加行业技术探讨性活动,最后一点是一定要了解业务。

CSDN:日常工作中你会通过哪些渠道来提升个人能力?

卢亿雷: 主要通过业界同行交流、朋友圈(微信、微博等)以及各种著名会议(国外、国内)的分享来获取信息及提升社交能力,特别是关注 github、Apache开源项目、slashdot等获取最新技术,另外如果关注某个项目,我会加入用户和开发邮件列表里,及时掌握项目进展。还有就是我会参加一些会议及做一些分享,以此来提高个人演讲能力;尽量多跟业界交流,不光是会获取丰富信息,而且可以分享自己经验一起促进整个行业发展;最后是获取新知识后一定要实践,我自己经常会去搭系统测试。

CSDN:你目前还会关注哪些新技术?给从事数据库方面的开发者一些学习建议吧。

卢亿雷: 主要关注大数据相关的技术,重点关注分布式内存数据以及分布式多维查询系统,如实时的 OLAP系统,比如说Redis、Gemfire和HBase、Cassandra、Druid、Drill、Pinot、ElasticSearch等。我建议如果想从事数据库方面的开发,一定要对操作系统、网络原理、一门编程语言很熟悉,然后再熟悉分布式系统原理,接下来一定要对数据库设计原理了解,包括传统关系型数据库以及NoSQL数据库。最后需要熟悉开源的数据库如MySQL、HBase等这类的数据库的架构设计、优化以及适应场景。

CSDN:在本次SDCC 2015上想分享的话题是?

卢亿雷: 在本次 SDCC2015上分享的主题是《分布式数据库挑战与分析》,包括有分布式数据库介绍(包括ACID、CAP理论模型等)、OLTP和OLAP对比分析、分布式数据库遇到的问题分析以及分布式数据库实际案例分析等。

CSDN:你最期待在本次SDCC 2015上听到哪些内容?

卢亿雷: 最期待看到国内对软件生态系统贡献情况,以及他们各自的案例有哪些;另外还想了解国内和国外 OLAP发展情况。

AdMaster技术副总裁卢亿雷:分布式数据库挑战与分析

强大的讲师阵容……

由CSDN举办的 SDCC 2015中国软件开发者嘉年华 将于11月19-21日在北京举行,本次大会涵盖:新型数据库、编程语言、工具与平台、产品与设计、前端开发、算法、微信开发、架构实践、安全等九大分论坛。 想了解更多精彩演讲,想要见到更多顶级软件开发者, 敬请关注 SDCC 2015中国软件开发者大会官网 ,【点击这里抢票】。

正文到此结束
Loading...