标签：Hadoop

dulong 发布于 2020-07-23

数据中台的概念满天飞，但是数据中台的落地始终是一个难点，很难统一。 最近几年，随着企业数据的爆炸式增长，以及大数据与人工智能的普及和推广，越来越多的企业意识到“数据”对企业的重要性。建设“数据驱动型”企业也成了越来越多企业的战略目标之一。加大数据领域的投入，促使了IT部门开启了 ...

阅读(31)评论(0)赞 (0)标签：Hadoop / http / https / SDN / src / UI / 人才 / 代码 / 企业 / 函数式编程 / 分布式 / 博客 / 大数据 / 应用架构 / 开发 / 开源 / 推广 / 数据 / 智能 / 架构师 / 架构设计 / 管理

songhua.gao 发布于 2020-07-23

目前 CSDN , 博客园 , 简书 同步发表中,更多精彩欢迎访问我的 gitee pages 目录 切片与MapTask并行度决定机制 Job提交流程源码和切片源码详解 FileInputFormat切片机制 CombineTextInputFormat切片机制 Combine...

阅读(30)评论(0)赞 (0)标签：ACE / Agent / apache / App / apr / ArrayList / ask / bean / BeanUtils / bug / build / cache / cat / CEO / client / copyProperties / CTO / db / dist / equals / final / git / Google / Hadoop / HashMap / HDFS / HTML / http / https / HTTP协议 / id / IDE / input file / IO / ip / java / Java类 / Job / Jobs / key / lib / list / map / mapper / Master / MQ / NFV / ORM / parse / remote / SDN / src / ssl / stream / tab / tag / tar / tk / UI / UTC / value / web / Word / XML / 产品 / 代码 / 协议 / 博客 / 压力 / 参数 / 同步 / 大数据 / 实例 / 小米 / 工作原理 / 并发 / 开发 / 总结 / 数据 / 数据分区 / 文件系统 / 时间 / 测试 / 源码 / 目录 / 索引 / 线程 / 统计 / 缓存 / 网站 / 解析 / 递归 / 配置 / 集群 / 需求

darida 发布于 2020-07-22

编辑推荐: 本文主要讲解了Serverless 相关产品在运维行业中的基本应用，监控告警的使用方法以及控告警功与 Serverless 技术进行结合。 来自于博客园，,由火龙果软件Anna编辑、推荐。 在实际生产中，我们经常需要做一些监控脚本来监控网站服务或者 API 服务是否可...

阅读(91)评论(0)赞 (0)标签：Action / Agent / API / App / Apple / bug / Chrome / consumer / description / DNS / DOM / final / find / Hadoop / HTML / http / https / id / IO / ip / js / json / key / lib / list / Logging / mail / Markdown / message / MQ / mysql / node / ORM / parse / PHP / python / rand / Region / Service / sql / src / ssl / tab / UI / update / web / XML / 下载 / 云 / 产品 / 代码 / 企业 / 凌晨 / 博客 / 压力 / 参数 / 定制 / 希望 / 开发 / 总结 / 数据 / 时间 / 服务器 / 测试 / 监控平台 / 站长 / 管理 / 网站 / 自动化 / 解析 / 软件 / 运营 / 部署 / 阿里云 / 集群 / 需求

darida 发布于 2020-07-22

微服务理论 一、微服务简介 什么是微服务架构 服务拆分粒度更细 ：根据业务拆分。 独立部署 ：每个服务部署在物理上隔离，互不影响。 独立维护 ：根据组织架构拆分，分团队维护。 服务治理 ：服务数量变多，需要有统一的服务治理平台。 如何权衡微服务的利弊 优点 强模块化边界 可独立部...

阅读(34)评论(0)赞 (0)标签：2015 / ACE / Android / apache / API / App / apr / ArrayList / bug / cache / Cassandra / cat / category / client / consul / consumer / Dashboard / db / Docker / dubbo / Elasticsearch / ELK / equals / Eureka / Facebook / Feign / find / git / GitHub / Google / Hadoop / HBase / http / HTTP/2 / https / id / IDE / IO / ip / java / JavaScript / js / json / JVM / key / Kubernetes / list / map / MQ / Netflix / Nginx / ORM / PHP / provider / python / QPS / REST / ribbon / Service / servlet / spring / Spring cloud / springcloud / SpringMVC / sql / src / stream / tar / TCP / Uber / UDP / UI / XML / zookeeper / zuul / 一致性 / 事故 / 云 / 互联网 / 代码 / 分布式 / 协议 / 参数 / 同步 / 基金 / 定制 / 实例 / 并发 / 开发 / 开源 / 开源项目 / 微博 / 微服务 / 技术圈 / 数据 / 数据库 / 时间 / 服务器 / 服务注册 / 服务端 / 注册中心 / 测试 / 消息队列 / 灰度发布 / 目录 / 端口 / 管理 / 系统设置 / 索引 / 线程 / 组织 / 缓存 / 网卡 / 解析 / 负载均衡 / 运营 / 进程 / 部署 / 配置 / 配置中心 / 长连接 / 阿里巴巴 / 限流 / 集群 / 需求 / 高可用 / 高并发

xirruiqiang 发布于 2020-07-20

目前 CSDN , 博客园 , 简书 同步发表中,更多精彩欢迎访问我的 gitee pages 目录 HDFS NN,2NN,DN及HDFS2.x新特性 HDFS NN,2NN,DN及HDFS2.x新特性 NameNode和SecondaryNameNode（重点） NN和2NN...

阅读(42)评论(0)赞 (0)标签：App / apr / cat / client / CTO / Datanode / db / description / dist / git / Hadoop / HDFS / heartbeat / http / https / id / IO / ip / java / Logging / map / Namenode / node / ORM / Property / Proxy / rmi / root / SDN / Secondary Namenode / secondarynamenode / src / ssh / tar / TCP / UI / value / web / XML / 主机 / 删除 / 博客 / 参数 / 同步 / 大数据 / 安全 / 数据 / 文件系统 / 时间 / 目录 / 管理 / 解析 / 进程 / 递归 / 配置 / 集群 / 需求

hanze 发布于 2020-07-20

检验自己技术跟级别的快速方法，就是跟面试官大佬们“切磋”一下，一试便知： 大佬：你有写过分布式的业务吗？ 我：我写过一个基于HDFS分布式存储的KVStore，上层使用Hadoop的API实现。 大佬：那个是分布式存储，我想了解一下分布式业务？ 我：（赶紧纠正）那dubbo算吗？...

阅读(41)评论(0)赞 (0)标签：API / Atom / dubbo / Hadoop / HDFS / http / https / id / java / JAVA架构 / lib / redis / ribbon / Sentinel / spring / Spring cloud / src / UI / 二维码 / 互联网 / 企业 / 免费 / 分布式 / 分布式事务 / 同步 / 多线程 / 安全 / 实例 / 小公司 / 并发 / 微服务 / 教材 / 数据 / 数据库 / 时间 / 注册中心 / 源码 / 电商网站 / 百度 / 线程 / 组织 / 统计 / 缓存 / 网站 / 美团 / 解析 / 认证 / 负载均衡 / 部署 / 阿里巴巴 / 限流 / 集群 / 高可用 / 高并发

Harries 发布于 2020-07-19

目前 CSDN , 博客园 , 简书 同步发表中,更多精彩欢迎访问我的 gitee pages 目录 MapReduce精通(一) MapReduce入门 MapReduce定义 MapReduce优缺点 优点 缺点 MapReduce核心思想 总结：分析WordCount数据流...

阅读(45)评论(0)赞 (0)标签：apache / API / App / apr / ask / bean / client / core / dependencies / git / Hadoop / HDFS / HTML / http / https / id / IDE / IO / ip / java / Java类 / Job / junit / key / lib / linux / list / Logging / map / mapper / maven / ORM / parse / pom / root / SDN / spring / src / tab / tar / tk / UI / value / Word / XML / 协议 / 博客 / 参数 / 同步 / 大数据 / 实例 / 开发 / 总结 / 数据 / 测试 / 目录 / 统计 / 进程 / 遍历 / 配置 / 集群 / 需求

Harries 发布于 2020-07-18

零、背景 近一段时间在学习和实践用go来实现微服务架构的开发，本文来记录下什么情况下要使用微服务架构，分析下利弊。并且用grpc初步实现微服务的模型。 一、服务端架构的演进 1、单体架构 在 Web 应用程序发展的早期，大部分工程是将所有的服务端功能模块打包成单个巨石型应用，最终...

阅读(39)评论(0)赞 (0)标签：apache / client / consul / Go 语言 / Google / Hadoop / http / https / id / ip / java / JavaScript / Java环境 / js / json / key / Kubernetes / linux / list / Master / message / node / Node.js / PHP / plugin / python / remote / Service / SOA / solr / spring / Spring cloud / src / tar / TCP / Uber / UI / unix / value / web / windows / Word / XML / zab / zookeeper / 一致性 / 互联网 / 代码 / 免费 / 分布式 / 分布式系统 / 分布式锁 / 协议 / 压力 / 参数 / 实例 / 并发 / 并发编程 / 开发 / 开源 / 微服务 / 快的 / 总结 / 教育 / 数据 / 数据库 / 时间 / 服务注册 / 服务端 / 架构师 / 模型 / 注册中心 / 测试 / 管理 / 组织 / 编译 / 负载均衡 / 部署 / 配置 / 锁 / 集群 / 需求 / 高可用

yeseng 发布于 2020-07-18

周末了，觉得我还有很多作业没有写，针对目前大家对OOM的类型不太熟悉，那么我们来总结一下各种OOM出现的情况以及解决方法。 我们把各种OOM的情况列出来，然后逐一进行代码编写复现和提供解决方法。 1. 堆溢出-java.lang.OutOfMemoryError: Java he...

阅读(48)评论(0)赞 (0)标签：ACE / Agent / apache / API / App / ArrayList / bug / cache / cat / CEO / cglib / classpath / client / Collection / Collections / core / CTO / db / DNS / druid / executor / final / find / git / GitHub / Google / Hadoop / HTML / http / https / id / IDE / IO / ip / java / js / json / jstack / JVM / kk / lib / list / map / mysql / Netty / NIO / ORM / parse / plugin / provider / Proxy / queue / redis / scala / Service / sql / src / ssl / stream / tar / Twitter / UI / value / zip / 代码 / 多线程 / 总结 / 数据 / 文件上传 / 空间 / 线程 / 线程池 / 网站 / 解决方法 / 递归 / 配置

hanze 发布于 2020-07-18

文章作者：朱凯 编辑整理：Hoh 内容来源：《ClickHouse原理解析与应用实践》 导读： 随着业务的迅猛增长，Yandex.Metrica目前已经成为世界第三大Web流量分析平台，每天处理超过200亿个跟踪事件。 能够拥有如此惊人的体量，在它背后提供支撑的ClickHous...

阅读(32)评论(0)赞 (0)标签：cat / CTO / db / DDL / dist / Elasticsearch / Hadoop / HashSet / HashTable / HBase / HDFS / HTML / http / https / id / IO / ip / js / json / Master / MQ / mysql / NOSQL / ORM / parse / redis / Select / Service / sql / src / stream / struct / tab / UI / web / XML / 万物 / 专注 / 主从架构 / 云 / 产品 / 代码 / 企业 / 分布式 / 分布式系统 / 分页 / 删除 / 功夫 / 协议 / 压力 / 参数 / 图片 / 地球 / 处理器 / 备份 / 多线程 / 大数据 / 存储引擎 / 安全 / 实例 / 希望 / 广告 / 开发 / 开源 / 开源软件 / 快的 / 搜索引擎 / 数据 / 数据库 / 文章 / 时间 / 智能 / 服务器 / 本质 / 权限控制 / 架构师 / 架构设计 / 模型 / 汽车 / 测试 / 管理 / 系统架构 / 索引 / 线下 / 线程 / 组织 / 缓存 / 自动化 / 苹果 / 解析 / 设计模式 / 软件 / 递归 / 部署 / 配置 / 集群 / 需求 / 高可用

Harries 发布于 2020-07-17

1 Kafka Kafka是一个开源分布式的流处理平台，一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。Kafka由Scala和Java编写，2012年成为Apache基金会下顶级项目。 2 Kafka优点 低延迟：Kafka支持低延迟消息传递，速...

阅读(35)评论(0)赞 (0)标签：ACE / apache / App / Bootstrap / build / cat / constant / consumer / CTO / DOM / entity / equals / final / git / GitHub / Hadoop / http / https / id / IDE / IO / ip / java / js / json / JVM / key / list / map / mapper / maven / message / pom / producer / rand / REST / scala / SDN / spring / Spring Boot / springboot / src / struct / tar / UI / value / XML / zookeeper / 下载 / 云 / 公网IP / 分布式 / 参数 / 基金 / 安全 / 开发 / 开源 / 微信公众号 / 数据 / 文章 / 时间 / 服务器 / 构造方法 / 测试 / 源码 / 目录 / 端口 / 管理 / 编译 / 网站 / 自动生成 / 部署 / 配置 / 集群

刘莉莉 发布于 2020-07-16

目前 CSDN , 博客园 , 简书 同步发表中,更多精彩欢迎访问我的 gitee pages 目录 HDFS的Shell操作（开发重点） HDFS客户端操作（开发重点） 网络拓扑-节点距离计算 机架感知（副本存储节点选择） HDFS 简介及操作 HDFS概述 HDFS产出背景及...

阅读(64)评论(0)赞 (0)标签：ACE / apache / API / App / cat / classpath / client / cmd / core / CTO / Datanode / dependencies / dist / eclipse / FAQ / final / find / git / Hadoop / HDFS / HTML / http / https / id / IDE / IO / ip / java / junit / lib / linux / list / Logging / map / maven / Namenode / node / ORM / remote / root / SDN / shell / spring / src / stream / tab / tar / UI / value / windows / XML / zip / 下载 / 代码 / 分布式 / 分布式文件系统 / 删除 / 协议 / 博客 / 参数 / 同步 / 大数据 / 开发 / 操作系统 / 数据 / 文件系统 / 时间 / 服务器 / 注释 / 测试 / 目录 / 空间 / 统计 / 缓存 / 编译 / 配置 / 集群

刘莉莉 发布于 2020-07-15

一、背景 本文将用一个蚂蚁集团线上实际案例，分享我们是如何排查由于 inflation 引起的 MetaSpace FGC 问题。 蚂蚁集团的智能监控平台深度利用了 Spark 的能力进行多维度数据聚合，Spark 由于其高效、易用、分布式的能力在大数据处理中十分受欢迎。 关于智...

阅读(49)评论(0)赞 (0)标签：ACE / API / cache / CTO / ECS / executor / find / Full GC / git / GitHub / grep / Hadoop / HTML / http / https / id / IDE / IO / ip / java / Job / JVM / lib / list / ORM / Property / remote / Service / src / ssl / struct / tab / tar / UI / zab / 云 / 代码 / 全链路压测 / 分布式 / 分布式系统 / 参数 / 大数据 / 安全 / 实例 / 工程师 / 开发 / 开源 / 总结 / 招聘 / 数据 / 智能 / 架构设计 / 生命 / 监控平台 / 管理 / 经验总结 / 统计 / 缓存 / 编译 / 翻译 / 资金 / 高可用