标签:Hadoop
Harries Blog™ - Harries 发布于 2020-07-26
![]()
最近有很多小伙伴来问我,Java小白如何入门,如何安排学习路线,每一步应该怎么走比较好。原本我以为之前的几篇文章已经可以解决大家的问题了,其实不然,因为我之前写的文章都是站在Java后端的全局上进行思考和总结的,忽略了很多小白们的感受,而很多朋友都需要更加基础,更加详细的学习路线...
阅读(1687)赞 (1)标签:amqp / AOP / apache / API / cat / Codis / db / Docker / dubbo / eclipse / Elasticsearch / ELK / git / GitHub / Hadoop / HBase / HDFS / http / https / id / IDE / IO / ioc / ip / java / java基础 / JDBC / JVM / linux / list / map / maven / message / MQ / mysql / Mysql数据库 / Netty / Nginx / NIO / OpenStack / ORM / queue / rabbitmq / redis / RocketMQ / scala / session / solr / spring / Spring cloud / springboot / SpringMVC / sql / sqoop / src / stream / synchronized / tar / TCP / tomcat / UI / unix / volatile / web / zookeeper / 一致性 / 下载 / 专注 / 云 / 互联网 / 产品 / 代码 / 企业 / 免费 / 分布式 / 分布式事务 / 分布式系统 / 分布式锁 / 功夫 / 协议 / 博客 / 参数 / 同步 / 域名 / 基金 / 备份 / 多线程 / 大数据 / 学生 / 安全 / 安装 / 实例 / 工程师 / 希望 / 并发 / 并发编程 / 开发 / 开发者 / 开源 / 微信公众号 / 微服务 / 总结 / 搜索引擎 / 操作系统 / 教材 / 数据 / 数据库 / 文章 / 时间 / 智能 / 服务器 / 服务注册 / 服务端 / 架构师 / 模型 / 注册中心 / 测试 / 消息队列 / 源码 / 目录 / 程序员 / 端口 / 管理 / 索引 / 线程 / 缓存 / 编译 / 网站 / 虚拟化 / 解析 / 设计模式 / 负载均衡 / 质量 / 软件 / 进程 / 部署 / 配置 / 锁 / 限流 / 集合类 / 集群 / 高可用
Harries Blog™ - xirruiqiang 发布于 2020-07-24
![]()
昨天公司开经营会,晚上又一起聚餐,晚上回到家已经快12点,到家了就睡觉,但是昨天的博客忘记日更。当然还有一个原因就是由于最近还要更新头条文章,当两者都要去兼顾的时候也很容易分心。原来一般都是一早就更新新浪博客,因此很少忘记,而现在一般是早上先更新头条文章,而晚上才同步更新新浪博客...
阅读(129)赞 (0)标签:AOP / dubbo / Hadoop / HTML / http / https / SOA / spring / springcloud / src / ssh / UI / 产品 / 代码 / 企业 / 关键技术 / 分布式 / 博客 / 同步 / 大数据 / 安全 / 并发 / 开发 / 开源 / 微服务 / 性能问题 / 总结 / 技术平台 / 敏捷 / 数据 / 数据库 / 数据库访问 / 数据模型 / 文章 / 时间 / 本质 / 架构师 / 架构设计 / 模型 / 生命 / 目录 / 管理 / 线程 / 组织 / 缓存 / 编译 / 质量 / 软件 / 进程 / 部署 / 配置 / 需求 / 高可用 / 高并发
Harries Blog™ - dulong 发布于 2020-07-23
![]()
![]()
![]()
![]()
数据中台的概念满天飞,但是数据中台的落地始终是一个难点,很难统一。 最近几年,随着企业数据的爆炸式增长,以及大数据与人工智能的普及和推广,越来越多的企业意识到“数据”对企业的重要性。建设“数据驱动型”企业也成了越来越多企业的战略目标之一。加大数据领域的投入,促使了IT部门开启了 ...
阅读(77)赞 (0)标签:Hadoop / http / https / SDN / src / UI / 人才 / 代码 / 企业 / 函数式编程 / 分布式 / 博客 / 大数据 / 应用架构 / 开发 / 开源 / 推广 / 数据 / 智能 / 架构师 / 架构设计 / 管理
Harries Blog™ - songhua.gao 发布于 2020-07-23
![]()
![]()
![]()
![]()
![]()
![]()
![]()
![]()
目前 CSDN , 博客园 , 简书 同步发表中,更多精彩欢迎访问我的 gitee pages 目录 切片与MapTask并行度决定机制 Job提交流程源码和切片源码详解 FileInputFormat切片机制 CombineTextInputFormat切片机制 Combine...
阅读(81)赞 (0)标签:ACE / Agent / apache / App / apr / ArrayList / ask / bean / BeanUtils / bug / build / cache / cat / CEO / client / copyProperties / CTO / db / dist / equals / final / git / Google / Hadoop / HashMap / HDFS / HTML / http / https / HTTP协议 / id / IDE / input file / IO / ip / java / Java类 / Job / Jobs / key / lib / list / map / mapper / Master / MQ / NFV / ORM / parse / remote / SDN / src / ssl / stream / tab / tag / tar / tk / UI / UTC / value / web / Word / XML / 产品 / 代码 / 协议 / 博客 / 压力 / 参数 / 同步 / 大数据 / 实例 / 小米 / 工作原理 / 并发 / 开发 / 总结 / 数据 / 数据分区 / 文件系统 / 时间 / 测试 / 源码 / 目录 / 索引 / 线程 / 统计 / 缓存 / 网站 / 解析 / 递归 / 配置 / 集群 / 需求
Harries Blog™ - hellas 发布于 2020-07-23
![]()
从太空探索到基因组学,从反向编译器到机器人控制器,Java 都是现今世界的核心。为庆祝 Java 25 周年,甲骨文用一篇官方博文向大家介绍了 25 个优秀的 Java 应用程序。 Java 的故事始于 1991 年,当时 Sun Microsystems 试图将其在计算机工作站...
阅读(142)赞 (0)标签:2019 / ACE / Android / apache / API / App / Apple / apr / awk / bean / BIO / bus / Collection / Collections / CTO / eclipse / Elasticsearch / Facebook / FIT / git / GitHub / Google / Hadoop / http / https / IBM / id / IDE / IO / ip / java / Java 9 / jenkins / JVM / linux / map / mysql / NSA / Oracle / ORM / python / REST / scala / Security / sql / src / struct / tar / tk / Twitter / Uber / web / 下载 / 专注 / 云 / 产品 / 代码 / 企业 / 免费 / 分布式 / 创始人 / 地球 / 基金 / 大数据 / 字节码 / 安全 / 安装 / 工作原理 / 工程师 / 并发 / 开发 / 开源 / 开源软件 / 开源项目 / 微服务 / 快的 / 投资 / 排名 / 插件 / 搜索引擎 / 教育 / 数据 / 数据科学 / 文章 / 时间 / 智能 / 智能手机 / 服务器 / 模型 / 汽车 / 测试 / 漏洞 / 物联网 / 程序员 / 空间 / 管理 / 索引 / 线程 / 组织 / 缓存 / 编译 / 网站 / 美国 / 翻译 / 自动化 / 调试 / 谷歌 / 资金 / 软件 / 软件工程师 / 部署 / 金融 / 银行 / 锁 / 集群 / 领导
Harries Blog™ - darida 发布于 2020-07-22
![]()
![]()
![]()
![]()
![]()
![]()
![]()
![]()
编辑推荐: 本文主要讲解了Serverless 相关产品在运维行业中的基本应用,监控告警的使用方法以及控告警功与 Serverless 技术进行结合。 来自于博客园,,由火龙果软件Anna编辑、推荐。 在实际生产中,我们经常需要做一些监控脚本来监控网站服务或者 API 服务是否可...
阅读(165)赞 (0)标签:Action / Agent / API / App / Apple / bug / Chrome / consumer / description / DNS / DOM / final / find / Hadoop / HTML / http / https / id / IO / ip / js / json / key / lib / list / Logging / mail / Markdown / message / MQ / mysql / node / ORM / parse / PHP / python / rand / Region / Service / sql / src / ssl / tab / UI / update / web / XML / 下载 / 云 / 产品 / 代码 / 企业 / 凌晨 / 博客 / 压力 / 参数 / 定制 / 希望 / 开发 / 总结 / 数据 / 时间 / 服务器 / 测试 / 监控平台 / 站长 / 管理 / 网站 / 自动化 / 解析 / 软件 / 运营 / 部署 / 阿里云 / 集群 / 需求
Harries Blog™ - darida 发布于 2020-07-22
![]()
![]()
![]()
![]()
![]()
![]()
![]()
![]()
微服务理论 一、微服务简介 什么是微服务架构 服务拆分粒度更细 :根据业务拆分。 独立部署 :每个服务部署在物理上隔离,互不影响。 独立维护 :根据组织架构拆分,分团队维护。 服务治理 :服务数量变多,需要有统一的服务治理平台。 如何权衡微服务的利弊 优点 强模块化边界 可独立部...
阅读(91)赞 (0)标签:2015 / ACE / Android / apache / API / App / apr / ArrayList / bug / cache / Cassandra / cat / category / client / consul / consumer / Dashboard / db / Docker / dubbo / Elasticsearch / ELK / equals / Eureka / Facebook / Feign / find / git / GitHub / Google / Hadoop / HBase / http / HTTP/2 / https / id / IDE / IO / ip / java / JavaScript / js / json / JVM / key / Kubernetes / list / map / MQ / Netflix / Nginx / ORM / PHP / provider / python / QPS / REST / ribbon / Service / servlet / spring / Spring cloud / springcloud / SpringMVC / sql / src / stream / tar / TCP / Uber / UDP / UI / XML / zookeeper / zuul / 一致性 / 事故 / 云 / 互联网 / 代码 / 分布式 / 协议 / 参数 / 同步 / 基金 / 定制 / 实例 / 并发 / 开发 / 开源 / 开源项目 / 微博 / 微服务 / 技术圈 / 数据 / 数据库 / 时间 / 服务器 / 服务注册 / 服务端 / 注册中心 / 测试 / 消息队列 / 灰度发布 / 目录 / 端口 / 管理 / 系统设置 / 索引 / 线程 / 组织 / 缓存 / 网卡 / 解析 / 负载均衡 / 运营 / 进程 / 部署 / 配置 / 配置中心 / 长连接 / 阿里巴巴 / 限流 / 集群 / 需求 / 高可用 / 高并发
Harries Blog™ - xirruiqiang 发布于 2020-07-20
![]()
![]()
![]()
![]()
目前 CSDN , 博客园 , 简书 同步发表中,更多精彩欢迎访问我的 gitee pages 目录 HDFS NN,2NN,DN及HDFS2.x新特性 HDFS NN,2NN,DN及HDFS2.x新特性 NameNode和SecondaryNameNode(重点) NN和2NN...
阅读(102)赞 (0)标签:App / apr / cat / client / CTO / Datanode / db / description / dist / git / Hadoop / HDFS / heartbeat / http / https / id / IO / ip / java / Logging / map / Namenode / node / ORM / Property / Proxy / rmi / root / SDN / Secondary Namenode / secondarynamenode / src / ssh / tar / TCP / UI / value / web / XML / 主机 / 删除 / 博客 / 参数 / 同步 / 大数据 / 安全 / 数据 / 文件系统 / 时间 / 目录 / 管理 / 解析 / 进程 / 递归 / 配置 / 集群 / 需求
Harries Blog™ - hanze 发布于 2020-07-20
![]()
![]()
![]()
![]()
检验自己技术跟级别的快速方法,就是跟面试官大佬们“切磋”一下,一试便知: 大佬:你有写过分布式的业务吗? 我:我写过一个基于HDFS分布式存储的KVStore,上层使用Hadoop的API实现。 大佬:那个是分布式存储,我想了解一下分布式业务? 我:(赶紧纠正)那dubbo算吗?...
阅读(89)赞 (0)标签:API / Atom / dubbo / Hadoop / HDFS / http / https / id / java / JAVA架构 / lib / redis / ribbon / Sentinel / spring / Spring cloud / src / UI / 二维码 / 互联网 / 企业 / 免费 / 分布式 / 分布式事务 / 同步 / 多线程 / 安全 / 实例 / 小公司 / 并发 / 微服务 / 教材 / 数据 / 数据库 / 时间 / 注册中心 / 源码 / 电商网站 / 百度 / 线程 / 组织 / 统计 / 缓存 / 网站 / 美团 / 解析 / 认证 / 负载均衡 / 部署 / 阿里巴巴 / 限流 / 集群 / 高可用 / 高并发
Harries Blog™ - Harries 发布于 2020-07-19
![]()
![]()
![]()
![]()
![]()
![]()
![]()
![]()
目前 CSDN , 博客园 , 简书 同步发表中,更多精彩欢迎访问我的 gitee pages 目录 MapReduce精通(一) MapReduce入门 MapReduce定义 MapReduce优缺点 优点 缺点 MapReduce核心思想 总结:分析WordCount数据流...
阅读(101)赞 (0)标签:apache / API / App / apr / ask / bean / client / core / dependencies / git / Hadoop / HDFS / HTML / http / https / id / IDE / IO / ip / java / Java类 / Job / junit / key / lib / linux / list / Logging / map / mapper / maven / ORM / parse / pom / root / SDN / spring / src / tab / tar / tk / UI / value / Word / XML / 协议 / 博客 / 参数 / 同步 / 大数据 / 实例 / 开发 / 总结 / 数据 / 测试 / 目录 / 统计 / 进程 / 遍历 / 配置 / 集群 / 需求
Harries Blog™ - Harries 发布于 2020-07-18
![]()
![]()
![]()
![]()
![]()
![]()
![]()
![]()
零、背景 近一段时间在学习和实践用go来实现微服务架构的开发,本文来记录下什么情况下要使用微服务架构,分析下利弊。并且用grpc初步实现微服务的模型。 一、服务端架构的演进 1、单体架构 在 Web 应用程序发展的早期,大部分工程是将所有的服务端功能模块打包成单个巨石型应用,最终...
阅读(88)赞 (0)标签:apache / client / consul / Go 语言 / Google / Hadoop / http / https / id / ip / java / JavaScript / Java环境 / js / json / key / Kubernetes / linux / list / Master / message / node / Node.js / PHP / plugin / python / remote / Service / SOA / solr / spring / Spring cloud / src / tar / TCP / Uber / UI / unix / value / web / windows / Word / XML / zab / zookeeper / 一致性 / 互联网 / 代码 / 免费 / 分布式 / 分布式系统 / 分布式锁 / 协议 / 压力 / 参数 / 实例 / 并发 / 并发编程 / 开发 / 开源 / 微服务 / 快的 / 总结 / 教育 / 数据 / 数据库 / 时间 / 服务注册 / 服务端 / 架构师 / 模型 / 注册中心 / 测试 / 管理 / 组织 / 编译 / 负载均衡 / 部署 / 配置 / 锁 / 集群 / 需求 / 高可用
Harries Blog™ - yeseng 发布于 2020-07-18
![]()
![]()
![]()
![]()
周末了,觉得我还有很多作业没有写,针对目前大家对OOM的类型不太熟悉,那么我们来总结一下各种OOM出现的情况以及解决方法。 我们把各种OOM的情况列出来,然后逐一进行代码编写复现和提供解决方法。 1. 堆溢出-java.lang.OutOfMemoryError: Java he...
阅读(104)赞 (0)标签:ACE / Agent / apache / API / App / ArrayList / bug / cache / cat / CEO / cglib / classpath / client / Collection / Collections / core / CTO / db / DNS / druid / executor / final / find / git / GitHub / Google / Hadoop / HTML / http / https / id / IDE / IO / ip / java / js / json / jstack / JVM / kk / lib / list / map / mysql / Netty / NIO / ORM / parse / plugin / provider / Proxy / queue / redis / scala / Service / sql / src / ssl / stream / tar / Twitter / UI / value / zip / 代码 / 多线程 / 总结 / 数据 / 文件上传 / 空间 / 线程 / 线程池 / 网站 / 解决方法 / 递归 / 配置
Harries Blog™ - hanze 发布于 2020-07-18
![]()
![]()
![]()
![]()
![]()
![]()
![]()
![]()
文章作者:朱凯 编辑整理:Hoh 内容来源:《ClickHouse原理解析与应用实践》 导读: 随着业务的迅猛增长,Yandex.Metrica目前已经成为世界第三大Web流量分析平台,每天处理超过200亿个跟踪事件。 能够拥有如此惊人的体量,在它背后提供支撑的ClickHous...
阅读(85)赞 (0)标签:cat / CTO / db / DDL / dist / Elasticsearch / Hadoop / HashSet / HashTable / HBase / HDFS / HTML / http / https / id / IO / ip / js / json / Master / MQ / mysql / NOSQL / ORM / parse / redis / Select / Service / sql / src / stream / struct / tab / UI / web / XML / 万物 / 专注 / 主从架构 / 云 / 产品 / 代码 / 企业 / 分布式 / 分布式系统 / 分页 / 删除 / 功夫 / 协议 / 压力 / 参数 / 图片 / 地球 / 处理器 / 备份 / 多线程 / 大数据 / 存储引擎 / 安全 / 实例 / 希望 / 广告 / 开发 / 开源 / 开源软件 / 快的 / 搜索引擎 / 数据 / 数据库 / 文章 / 时间 / 智能 / 服务器 / 本质 / 权限控制 / 架构师 / 架构设计 / 模型 / 汽车 / 测试 / 管理 / 系统架构 / 索引 / 线下 / 线程 / 组织 / 缓存 / 自动化 / 苹果 / 解析 / 设计模式 / 软件 / 递归 / 部署 / 配置 / 集群 / 需求 / 高可用
Harries Blog™ - Harries 发布于 2020-07-17
![]()
![]()
![]()
![]()
1 Kafka Kafka是一个开源分布式的流处理平台,一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。Kafka由Scala和Java编写,2012年成为Apache基金会下顶级项目。 2 Kafka优点 低延迟:Kafka支持低延迟消息传递,速...
阅读(72)赞 (0)标签:ACE / apache / App / Bootstrap / build / cat / constant / consumer / CTO / DOM / entity / equals / final / git / GitHub / Hadoop / http / https / id / IDE / IO / ip / java / js / json / JVM / key / list / map / mapper / maven / message / pom / producer / rand / REST / scala / SDN / spring / Spring Boot / springboot / src / struct / tar / UI / value / XML / zookeeper / 下载 / 云 / 公网IP / 分布式 / 参数 / 基金 / 安全 / 开发 / 开源 / 微信公众号 / 数据 / 文章 / 时间 / 服务器 / 构造方法 / 测试 / 源码 / 目录 / 端口 / 管理 / 编译 / 网站 / 自动生成 / 部署 / 配置 / 集群
Harries Blog™ - 小丁 发布于 2020-07-17
![]()
背景: 新需求需要引入新jar包,引入后发现本地启动没有报错,发到测试环境提示某个bean无法创建,nested exception is java.lang.VerifyError: Bad type on operand stack。 解决: 1,没有引入新jar包之前是没有...
阅读(232)赞 (0)标签:2019 / ACE / Android / apache / App / apr / bean / bug / build / cat / CTO / db / dependencies / description / eclipse / Elasticsearch / Excel / Google / Hadoop / HBase / http / https / id / IDE / IO / ip / java / Java环境 / JDBC / jenkins / JMeter / js / key / lib / map / maven / mysql / Nginx / node / Oracle / plugin / pom / python / rand / retry / root / shell / spring / springboot / sql / src / tab / UI / web / XML / zookeeper / 下载 / 代码 / 分布式 / 协议 / 博客 / 同步 / 图片 / 域名 / 处理器 / 安全 / 安装 / 实例 / 希望 / 开发 / 总结 / 插件 / 数据 / 数据库 / 时间 / 服务器 / 注释 / 测试 / 测试环境 / 目录 / 编译 / 翻译 / 调试 / 部署 / 配置 / 需求
Harries Blog™ - 刘莉莉 发布于 2020-07-16
![]()
![]()
![]()
![]()
![]()
![]()
![]()
![]()
目前 CSDN , 博客园 , 简书 同步发表中,更多精彩欢迎访问我的 gitee pages 目录 HDFS的Shell操作(开发重点) HDFS客户端操作(开发重点) 网络拓扑-节点距离计算 机架感知(副本存储节点选择) HDFS 简介及操作 HDFS概述 HDFS产出背景及...
阅读(131)赞 (0)标签:ACE / apache / API / App / cat / classpath / client / cmd / core / CTO / Datanode / dependencies / dist / eclipse / FAQ / final / find / git / Hadoop / HDFS / HTML / http / https / id / IDE / IO / ip / java / junit / lib / linux / list / Logging / map / maven / Namenode / node / ORM / remote / root / SDN / shell / spring / src / stream / tab / tar / UI / value / windows / XML / zip / 下载 / 代码 / 分布式 / 分布式文件系统 / 删除 / 协议 / 博客 / 参数 / 同步 / 大数据 / 开发 / 操作系统 / 数据 / 文件系统 / 时间 / 服务器 / 注释 / 测试 / 目录 / 空间 / 统计 / 缓存 / 编译 / 配置 / 集群
Harries Blog™ - hellas 发布于 2020-07-15
前言 不进行优化的代码就是耍流氓。 总体来说大数据优化主要分为三点,一是充分利用CPU,二是节省内存,三是减少网络传输。 一、Hive/MapReduce调优 1.1 本地模式 Hive默认采用集群模式进行计算,如果对于小数据量,可以设置为单台机器进行计算,这样可以大大缩减查询触...
阅读(98)赞 (0)标签:ACE / Action / apache / App / apr / ArrayList / ask / Atom / cache / cat / Collection / core / CTO / DDL / description / dist / DOM / executor / final / Full GC / Hadoop / HashMap / HashSet / HDFS / HTML / http / id / IDE / IO / ip / java / JMeter / Job / JVM / key / list / map / Master / Namenode / NIO / node / ORM / Property / rand / Region / retry / scala / Select / sql / SQL执行 / stream / tab / tag / tar / tk / UI / value / web / Word / XML / 代码 / 参数 / 垃圾回收 / 备份 / 大数据 / 并发 / 开发 / 快的 / 数据 / 数据库 / 时间 / 服务器 / 空间 / 管理 / 线程 / 统计 / 缓存 / 进程 / 遍历 / 配置 / 集合类 / 集群
Harries Blog™ - 刘莉莉 发布于 2020-07-15
![]()
![]()
![]()
![]()
![]()
![]()
![]()
![]()
一、背景 本文将用一个蚂蚁集团线上实际案例,分享我们是如何排查由于 inflation 引起的 MetaSpace FGC 问题。 蚂蚁集团的智能监控平台深度利用了 Spark 的能力进行多维度数据聚合,Spark 由于其高效、易用、分布式的能力在大数据处理中十分受欢迎。 关于智...
阅读(106)赞 (0)标签:ACE / API / cache / CTO / ECS / executor / find / Full GC / git / GitHub / grep / Hadoop / HTML / http / https / id / IDE / IO / ip / java / Job / JVM / lib / list / ORM / Property / remote / Service / src / ssl / struct / tab / tar / UI / zab / 云 / 代码 / 全链路压测 / 分布式 / 分布式系统 / 参数 / 大数据 / 安全 / 实例 / 工程师 / 开发 / 开源 / 总结 / 招聘 / 数据 / 智能 / 架构设计 / 生命 / 监控平台 / 管理 / 经验总结 / 统计 / 缓存 / 编译 / 翻译 / 资金 / 高可用