转载

LinkedIn开源Dr. Elephant

　　英文原文：Open Sourcing Dr. Elephant——Self-Serve Performance Tuning for Hadoop and Spark

　　编者按本文来源于全球最大的职业社交网站 LinkedIn 领英，文章版权归作者本人所有。

　　今天 LinkedIn 宣布开源 Dr. Elephant，Dr. Elephant 能够很好地帮助用户理解、分析和优化 Hadoop 和 Spark 的工作流。LinkedIn 在去年第八届 Hadoop Summit 上第一次在社区呈现。

　　动机

　　Hadoop 是一个分布式数据存储和大数据处理框架，体量大、组件复杂，因而每个组件的性能优化就显得异常重要。在优化底层硬件资源，网络架构，OS 和其它堆栈的同时，也需要对集群上运行的任务进行优化。

　　什么是 Dr. Elephant?

　　Dr. Elephant 是一个 Hadoop 和 Spark 的性能监控和调优工具。Dr. Elephant 能自动化收集所有指标，进行数据分析，并以简单易用的方式进行呈现。Dr. Elephant 的目标是提高开发人员的开发效率和增加集群任务调试的高效性。Dr. Elephant 支持对 Hadoop 和 Spark 任务进行可插拔式、配置化以及基于规则的启发式 job 性能分析，并且根据分析结果给出合适的建议来指导如何调优使任务更有效率。

　　为什么选择 Dr. Elephant？

　　其它开源或者商用 Hadoop 优化工具都是收集系统资源指标和监控集群资源信息，关注点仅在于简化 Hadoop 集群的发布和管理，而很少有工具是来帮助 Hadoop 优化任务流。这些工具不支持 Hadoop 集群的规模化和 Hadoop 框架的增长，而 Dr. Elephant 支持 Hadoop 生态的各种框架，并且很容易的扩展到新的框架，已经支持 Spark。Dr. Elephant 让用户更清晰的掌握 Hadoop 和 Spark 原理，并帮助其轻松的优化任务。

　　Dr. Elephant 如何工作？

　　Dr. Elephant 从 YARN Resource Manager 周期性获取所有最近运行成功和失败的应用列表，然后从 Job History Server 中攫取每个应用的元数据，包括 job counters、任务配置和任务数据。有了元数据后，Dr. Elephant 进行启发式分析，并生成每个任务的诊断报告，从而进行相应的整体优化。Dr. Elephant 将会标记出五个等级问题严重性，指出潜在的性能问题。

LinkedIn开源Dr. Elephant