转载

大耳狐，挖掘“互联网+”时代数据价值

2016数博会上，李克强总理谈到：谁掌握了先机，谁就掌握了未来。他将大数据誉为“钻石矿”，并表示大数据、云计算、物联网推动的“互联网＋”对传统行业的改造力度前所未有。确实，未来5-10年，中国大数据产业将迎来黄金增长期。2015年中国大数据市场规模达到115.9亿元，增速达38%，预计2016年至2018年将维持40%左右的高速增长。

同时，个体及组织之间互联性的增强也使得数据增长达到了空前的速度。数据量和信息量的快速增长，以及针对此而进行的数据挖掘收集分析，使其产出了前所未有的社会和商业价值。针对数据分析而开发的软硬件技术及平台也在日益创新，在迈向“互联网＋”的进程中，互联网公司一马当先将数据分析平台融入其业务，搜狐大数据平台“大耳狐”就是其中一例。

搜狐“大耳狐”：灵活、可靠、安全

在“大耳狐”平台建立前，搜狐就已经将大数据应用于新闻客户端，可根据用户浏览习惯去分析用户喜好，从而智能化的给用户推荐其可能感兴趣的资讯。“随着数据分析需求的急剧增多，大量极有价值的数据都迫切需要在Hadoop集群中进行深度分析，因此需要频繁新增集群节点，以满足快速发展的业务需求，”搜狐大数据平台负责人、搜狐研发中心高级经理、搜狐-英特尔联合创新实验室搜狐负责人彭毅表示，“也就是因为如此，数量庞大的节点管理也给日常运维带来了更大的挑战。”所以，搜狐亟需一套自动化系统，能够方便地部署新集群，监控集群中所有节点的核心参数，跟踪集群中任务的执行情况，自由添加新节点，并灵活分配节点上所要安装的服务组件，统一管理用户数据和作业。“大耳狐”便应运而生，从而用来对Hadoop集群进行供应、管理和监控。

大耳狐，挖掘“互联网+”时代数据价值

搜狐大数据平台负责人、搜狐研发中心高级经理、搜狐-英特尔联合创新实验室搜狐负责人彭毅

“大耳狐”平台有几大鲜明优势，不但安全可靠，各业务线的各项应用都能在该平台上方便灵活地调用，工作人员也能实时监控业务运行和资源的使用情况。同时，该平台界面直观，用户可以轻松有效地查看信息并管理集群，还能够提供基于业务线下属的二级用户的权限管理，管理非常便捷。在对业务线提供技术服务的同时，平台工作人员不断地收集用户业务线的需求，随之不断地对产品进行更新迭代，提供更新、更快的计算服务。

实力源自英特尔在软硬件上的融合支持

“大耳狐”大数据平台对于搜狐的重要性不言而喻，它能够为其终端用户提供更加精准的产品和内容。而长期以来，在推动数据分析领域快速发展的英特尔公司，与搜狐不断进行合作，助力搜狐构建起大数据分析平台，并于2014年4月14日创建联合创新实验室，基于双方的资源对前沿技术进行深入挖掘与探索。对于“大耳狐”底层平台，搜狐-英特尔联合创新实验室自然是功不可没。

“在‘大耳狐’项目中，英特尔和搜狐在硬件平台和底层调度优化方面共同做了相当多的努力。”搜狐大数据平台核心技术人员穆迪表示，“在最初进行集群硬件架构时，团队对比了Facebook、推特等架构技术路线，彼时在硬件选择上的权衡基本都基于该技术路线的思路。根据核数、内存大小、硬盘容量、硬盘个数到网络吞吐量等因素，我们综合权衡了集群计算能力的需求，最终决定采用英特尔至强E5 v3处理器作为该平台的计算引擎，提供高效计算能力。同时采用的英特尔万兆网卡也为网络数据吞吐提供了强有力的支撑。”

“除了硬件性能方面的支持，我们还在英特尔的帮助下，将Spark与Hadoop集成在一个平台内。”据搜狐大数据平台核心技术人员、搜狐研发中心高级研究员王帅介绍，“Hadoop虽然已经是互联网企业最主流的大数据分析平台，但同时Spark的优势也非常明显，我们考虑将二者结合使用。结合使用后的平台又对技术提出了更高的要求，正是英特尔的帮助下，才使得每天60TB-200TB的数据量的大量整合计算得以进行处理，这都离不开英特尔强大的计算平台。”

未来，大数据改变游戏规则

现在以及未来，数据都将是改变游戏规则的关键因素。除了已经走在前端的互联网行业，金融、电信、医疗、智能交通，甚至传统制造业也都在向“大数据”和“互联网＋”的融合时代前行。

一直以来，英特尔充分发挥大数据方面的领先技术优势，已经帮助众多领域的合作伙伴实现了大数据的真正落地。针对搭建在IA架构上的大数据平台，英特尔也一直在不断完善和优化。另外在推动Hadoop、Spark等开源社区的发展上，英特尔也一直是重要的贡献者，目前英特尔在全球与Hadoop的合作贡献已经排到了第四位，对Spark生态系统的贡献则已位居第三。

在未来，英特尔仍会继续推进大数据技术的创新和发展，持续携手合作伙伴，通过对软、硬件的协同支持，开发更多符合用户需求的大数据解决方案，发挥技术领先性和多方合作释放的产业势能，切实推动大数据为各行各业带来的卓有成效的变革。

原文 http://www.cbinews.com/server2/news/2016-06-12/250427.htm

正文到此结束