标签：Hadoop

darida 发布于 2019-12-13

如今大数据在各行业的应用越来越广泛：运营基于数据关注运营效果，产品基于数据分析关注转化率情况，开发基于数据衡量系统优化效果等。 美图公司有美拍、美图秀秀、美颜相机等十几个 app，每个 app 都会基于数据做个性化推荐、搜索、报表分析、反作弊、广告等，整体对数据的业务需求比较多、...

阅读(1)评论(0)赞 (0)标签：2019 / Agent / aix / apache / API / App / apr / bug / bus / CTO / db / dist / Hadoop / HBase / HDFS / http / https / id / IO / java / js / json / linux / map / mapper / mongo / MongoDB / mysql / node / ORM / python / rsync / sql / sqoop / src / tab / token / UI / 井 / 产品 / 任务调度 / 企业 / 免费 / 分布式 / 协议 / 同步 / 大数据 / 安全 / 安装 / 广告 / 开发 / 总结 / 推广 / 数据 / 时间 / 服务器 / 服务端 / 架构师 / 测试 / 目录 / 管理 / 统计 / 缓存 / 编译 / 自动化 / 解析 / 认证 / 质量 / 运营 / 进程 / 部署 / 配置 / 集群 / 需求

xiaoli.he 发布于 2019-12-12

数据分析工作虽然隐藏在业务系统背后，但是具有非常重要的作用，数据分析的结果对决策、业务发展有着举足轻重的作用。随着大数据技术的发展，数据挖掘、数据探索等专有名词曝光度越来越高，但是在类似于Hadoop系列的大数据分析系统大行其道之前，数据分析工作已经经历了长足的发展，尤其是以BI...

阅读(16)评论(0)赞 (0)标签：2019 / App / CTO / Hadoop / HDFS / http / https / lambda / sql / src / UI / update / 一致性 / 分布式 / 图片 / 大数据 / 定制 / 总结 / 数据 / 数据库 / 数据挖掘 / 时间 / 模型 / 消息队列 / 管理 / 索引 / 统计 / 解析 / 软件 / 部署 / 需求

hanze 发布于 2019-12-12

一、背景 1.  威胁情报库建设的背景和需求 1)  新时代攻防趋势与需求的变化。 随着互联网特别是移动互联网的发展，网络环境愈发复杂，不同的攻击行为更具产业化、团伙化，入侵手法也愈发多样化与复杂化，传统以防御漏洞为主的安全策略在面对层出不穷的新型、持续性、高...

阅读(15)评论(0)赞 (0)标签：API / cat / DNS / Elasticsearch / ftp / Hadoop / HTML / http / https / IO / ip / QPS / REST / RESTful / rsync / session / shell / sql / src / TCP / UI / web / 主机 / 云 / 互联网 / 产品 / 企业 / 分布式 / 删除 / 加密 / 协议 / 域名 / 多个字段 / 大数据 / 安全 / 并发 / 开发 / 开源 / 微服务 / 性能优化 / 推广 / 数据 / 数据库 / 时间 / 智能 / 架构设计 / 模型 / 测试 / 消息队列 / 深度学习 / 漏洞 / 生命 / 病毒 / 目录 / 科技 / 突破 / 端口 / 管理 / 组织 / 缓存 / 自动化 / 自动生成 / 营销 / 解析 / 质量 / 软件 / 运营 / 遍历 / 部署 / 配置 / 金融 / 集群 / 需求 / 黑客

darida 发布于 2019-12-11

RPC和RPC框架 1.RPC(Remote Procedure Call) 即远程过程调用, 主要解决远程通信间的问题，不需要了解底层网络的通信机制。 2.RPC框架 RPC框架负责屏蔽底层的传输方式（TCP或者UDP）、序列化方式、以及通信细节。 实际使用中，并不需要关心底层...

阅读(9)评论(0)赞 (0)标签：client / consul / dubbo / Eureka / Hadoop / http / https / IO / ip / java / Netty / NIO / node / Proxy / remote / src / TCP / UDP / UI / zookeeper / 专注 / 交易系统 / 代码 / 分布式 / 分布式系统 / 协议 / 参数 / 并发 / 开源 / 操作系统 / 数据 / 时间 / 服务器 / 服务注册 / 服务端 / 注册中心 / 用户中心 / 端口 / 缓存 / 负载均衡 / 部署 / 阿里巴巴 / 集群 / 需求

xirruiqiang 发布于 2019-12-11

《程序人生》十年风雨技术人的书单整理 你知道的越多，你不知道的越多 点赞再看，养成习惯 给岁月以文明，而不是给文明以岁月 本文 GitHub https://github.com/JavaFamily 上已经收录，有一线大厂面试点思维导图，也整理了很多我的文档，欢迎Star和完善...

阅读(13)评论(0)赞 (0)标签：2019 / ACE / Action / apache / API / ask / bus / cat / client / Codis / core / CSS / db / git / GitHub / Google / Hadoop / HBase / HTML / HTML5 / http / https / iBATIS / id / IDE / IO / ip / java / JavaScript / Java内存模型 / Job / jquery / js / JVM / lib / MQ / mybatis / mysql / Netty / Nginx / NIO / node / Node.js / ORM / pom / python / rabbitmq / redis / RocketMQ / Sentinel / servlet / spring / sql / src / struct / tar / TCP / tomcat / UI / web / zookeeper / 万物 / 专注 / 云 / 互联网 / 人性 / 人才 / 人物 / 代码 / 兔子 / 内存模型 / 分布式 / 分布式锁 / 初学者 / 十年 / 协议 / 博客 / 地球 / 大数据 / 字节码 / 安装 / 工作原理 / 工程师 / 工资 / 希望 / 并发 / 并发编程 / 开发 / 开发者 / 开源 / 微博 / 性能优化 / 总结 / 战争 / 操作系统 / 数据 / 数据库 / 文章 / 时间 / 景色 / 智能 / 服务器 / 服务注册 / 本质 / 标题 / 模型 / 正则表达式 / 注册中心 / 注释 / 消息队列 / 游标 / 源码 / 生命 / 目录 / 程序员 / 管理 / 线程 / 统计 / 编译 / 美团 / 美国 / 自我修养 / 色调 / 解析 / 质量 / 软件 / 软件工程师 / 部署 / 配置 / 金融 / 银行 / 锁 / 集群 / 高可用 / 高并发

likai 发布于 2019-12-11

flink是一款开源的大数据流式处理框架，他可以同时批处理和流处理，具有容错性、高吞吐、低延迟等优势，本文简述flink在windows和linux中安装步骤，和示例程序的运行，包括本地调试环境，集群环境。另外介绍Flink的开发工程的构建。 首先要想运行Flink，我们需要下载...

阅读(15)评论(0)赞 (0)标签：ACE / Action / apache / App / ask / bug / build / cat / classpath / cmd / CTO / db / dependencies / description / eclipse / example / executor / find / git / GitHub / Google / Hadoop / HTML / http / https / id / IDE / IO / ip / java / Java环境 / Job / js / junit / JVM / lib / linux / Master / maven / mina / MQ / plugin / pom / Property / rmi / root / scala / session / shell / Slaves / src / stream / tail -f / tar / UI / unix / web / windows / Word / XML / 下载 / 主机 / 代码 / 大数据 / 安装 / 开发 / 开源 / 插件 / 数据 / 文章 / 服务器 / 测试 / 目录 / 管理 / 统计 / 编译 / 调试 / 部署 / 配置 / 集群

hanze 发布于 2019-12-10

1.1 传统的BIO编程 网络编程的基本模型是 Client/Server 模型，也就是两个进程之间进行相互通信，其中服务端提供位置信息(绑定的 IP 地址和监听端口)，客户端通过连接操作向服务端监听的地址发起连接请求，通过三次握手建立连接，如果连接建立成功，双方就可以通过网络套...

阅读(11)评论(0)赞 (0)标签：2019 / ACE / AIO / apache / API / ask / bean / BIO / bug / build / client / CTO / eclipse / Facebook / final / Hadoop / http / https / id / IDE / IO / ip / java / lib / mina / Netty / NIO / openfire / Reactor / Select / src / tab / UDP / UI / unix / update / 下载 / 互联网 / 代码 / 企业 / 分布式 / 初学者 / 协议 / 同步 / 域名 / 基金 / 多线程 / 大数据 / 安装 / 定制 / 并发 / 开发 / 开发者 / 开源 / 总结 / 数据 / 时间 / 服务器 / 服务端 / 架构师 / 模型 / 消息队列 / 源码 / 目录 / 端口 / 线程 / 线程池 / 缓存 / 编译 / 质量 / 软件 / 进程 / 配置 / 长连接 / 需求 / 高并发

songhua.gao 发布于 2019-12-05

2019年快结束了，给大家整理了今年来最经典的面试真题100道，每个题目都有详细的解答，收集了java基础，容器，多线程，反射，对象拷贝，Java Web，异常，网络，设计模式，Spring / Spring MVC，等专题的经典面试真题，和详细分析。没道题目都详细讲解，文章过长...

阅读(38)评论(0)赞 (0)标签：2019 / ACE / Action / AIO / Ajax / AOP / API / App / ArrayList / ask / Atom / bean / BIO / bug / build / bus / cache / cat / CEO / Chrome / Collection / Collections / core / CSS / CTO / DDL / Document / DOM / equals / executor / final / Hadoop / HashMap / HashSet / HashTable / HTML / HTML5 / HTML文件 / http / https / HTTP协议 / id / IDE / IO / ioc / ip / java / JavaScript / java反射 / java基础 / JAVA实例 / Java类 / js / json / JVM / key / LinkedList / list / map / message / mina / MQ / NIO / NSA / ORM / parse / PHP / Proxy / queue / rand / rmi / SDN / Security / Select / Service / servlet / session / spring / spring ioc / SpringMVC / sql / src / Statement / stream / Struts2 / synchronized / tab / tag / tar / TCP / token / UDP / UI / value / volatile / web / Word / XML / XSS攻击 / zab / 一对多 / 互联网 / 产品 / 代码 / 企业 / 保安 / 分布式 / 删除 / 协议 / 参数 / 同步 / 图片 / 垃圾回收 / 域名 / 处理器 / 多线程 / 安全 / 安装 / 实例 / 对象初始化 / 工作原理 / 并发 / 并发编程 / 广告 / 开发 / 微信公众号 / 总结 / 操作系统 / 数据 / 数据库 / 数据库访问 / 文章 / 时间 / 服务器 / 服务端 / 本质 / 构造方法 / 模型 / 正则表达式 / 汽车 / 测试 / 源码 / 漏洞 / 点到点 / 生命 / 目录 / 程序员 / 空间 / 端口 / 管理 / 类图 / 索引 / 线程 / 线程池 / 缓存 / 编译 / 网站 / 翻译 / 解析 / 认证 / 设计模式 / 详细分析 / 调试 / 软件 / 进程 / 进程调度 / 遍历 / 配置 / 重排序 / 银行 / 锁 / 长连接 / 集合类 / 集群 / 需求 / 静态方法 / 黑客

puefu.he 发布于 2019-12-04

中国建设银行有着将近 20 年的数据仓库建设历史，其技术平台的转型和应用建设过程，既是引领国内各大银行数据仓库建设的标杆和榜样，同时也可以说是国内银行业数仓建设历程的一个缩影。 2000 年初，建行开始启动数据仓库的规划和构建，最早采用了 Teradata 一体机平台，为业务提供...

阅读(22)评论(0)赞 (0)标签：apache / Dashboard / Hadoop / http / https / id / IO / key / sql / src / UI / 下载 / 云 / 互联网 / 互联网企业 / 产品 / 代码 / 企业 / 分布式 / 参数 / 大数据 / 希望 / 并发 / 应用架构 / 开发 / 快的 / 总结 / 投资 / 数据 / 数据库 / 数据模型 / 文章 / 时间 / 智能 / 架构演进 / 模型 / 测试 / 灵魂 / 生命 / 科技 / 空间 / 管理 / 网站 / 美国 / 自动化 / 营销 / 运营 / 部署 / 配置 / 金融 / 银行 / 集群 / 需求 / 项目管理 / 领导 / 高并发

puefu.he 发布于 2019-12-03

戳蓝字「TopCoder 」关注我们哦！ Netty一个主要的目标就是促进“关注点分离”： 使业务逻辑从网络基础设施应用程序中分离 。不仅仅是Netty框架，其他框架的设计目的也大都是为了使业务程序和底层技术解耦，使程序员更加专注于业务逻辑实现，提高开发质量和效率。Netty为什...

阅读(18)评论(0)赞 (0)标签：Atom / bug / CTO / db / dubbo / executor / final / Hadoop / http / https / id / IDE / IO / ip / JVM / Keep-Alive / MQ / Netty / NIO / QPS / Reactor / RocketMQ / Select / src / TCP / UI / 专注 / 业务层 / 产品 / 代码 / 协议 / 原子类 / 多线程 / 大数据 / 安全 / 实例 / 并发 / 开发 / 总结 / 数据 / 模型 / 程序员 / 空间 / 线程 / 线程池 / 负载均衡 / 质量 / 进程 / 锁 / 长连接 / 高并发

hellas 发布于 2019-12-02

关于程序员，除了做项目来提高自身的技术之外，还有一种提升自己的专业技能就是：多！看！书！ 小编整理出一篇Java进阶架构师之路的核心知识，同时也是面试时面试官必问的知识点，篇章也是包括了很多知识点，其中包括了有基础知识、Java集合、JVM、多线程并发、spring原理、微服务、...

阅读(22)评论(0)赞 (0)标签：ACE / API / App / apr / ArrayList / ask / bus / Cassandra / cat / CDN / client / CountDownLatch / CTO / CyclicBarrier / Datanode / db / Docker / ELK / Hadoop / Haproxy / HashSet / HBase / HDFS / http / https / Hystrix / IaaS / id / IO / ioc / ip / java / java反射 / java基础 / java注解 / java线程 / Java集合 / Job / JPA / JVM / key / lib / list / Logback / map / Master / message / mongo / MongoDB / MQ / mybatis / mybatis缓存 / Namenode / Netty / nfs / Nginx / NIO / node / OpenStack / ORM / PaaS / Proxy / queue / rabbitmq / redis / rmi / Secondary Namenode / Semaphore / Sleuth / spring / Spring Boot / spring ioc / sql / src / stream / tab / tar / TCP / tomcat / UI / value / volatile / zab / zip / zookeeper / 一致性 / 三阶段提交 / 云 / 代码 / 任务调度 / 免费 / 关键技术 / 关键词 / 分布式 / 分布式锁 / 加密 / 协议 / 反向代理 / 同步 / 命令模式 / 垃圾回收 / 多线程 / 存储引擎 / 工作原理 / 并发 / 微服务 / 数据 / 数据库 / 数据模型 / 服务注册 / 架构师 / 模型 / 生命 / 目录 / 程序员 / 程序猿 / 管理 / 索引 / 线程 / 线程同步 / 线程池 / 缓存 / 设计模式 / 负载均衡 / 进程 / 适配器 / 配置 / 配置中心 / 重排序 / 锁 / 集群

xiaoli.wang 发布于 2019-12-01

Hadoop在整个大数据技术体系中占有至关重要的地位，是大数据技术的基础和敲门砖，对Hadoop基础知识的掌握程度会在一定程度决定在大数据技术的道路上能走多远。 最近想要学习Spark，首先需要搭建Spark的环境，Spark的依赖环境比较多，需要Java JDK、Hadoop的...

阅读(52)评论(0)赞 (0)标签：2019 / apache / apr / build / cat / core / Datanode / dist / Document / DOM / example / executor / Hadoop / HDFS / HTML / http / https / id / IDE / IO / ip / java / key / lib / linux / list / Logging / Master / Namenode / node / Oracle / ORM / Property / rand / rsync / scala / Secondary Namenode / secondarynamenode / Security / shell / src / ssh / tab / tag / tar / Ubuntu / UI / value / web / XML / 下载 / 代码 / 分布式 / 大数据 / 安全 / 安装 / 操作系统 / 数据 / 文件系统 / 测试 / 目录 / 软件 / 配置 / 集群

zhuangli 发布于 2019-11-30

1 dubbox简介 随着互联网的发展，网站应用的规模不断扩大，常规的垂直应用架构已无法应对，分布式服务架构以及流动计算架构势在必行，亟需一个治理系统确保架构有条不紊的演进。 单一应用架构 当网站流量很小时，只需一个应用，将所有功能都部署在一起，以减少部署节点和成本。 此时，用于...

阅读(21)评论(0)赞 (0)标签：Ajax / apache / Apache Hadoop / API / bug / cache / cat / client / consumer / db / DOM / dubbo / example / Hadoop / http / https / HTTP协议 / id / IDE / IO / java / jetty / js / json / JVM / mina / MQ / Netty / NIO / ORM / provider / rand / redis / REST / rmi / Service / servlet / SOA / spring / src / TCP / tomcat / UI / web / WebService / XML / zookeeper / 一致性 / 互联网 / 代码 / 企业 / 免费 / 分布式 / 协议 / 博客 / 压力 / 参数 / 同步 / 多线程 / 安全 / 实例 / 幂等 / 幂等性 / 应用架构 / 开发 / 开源 / 微服务 / 插件 / 数据 / 数据库 / 时间 / 服务器 / 服务注册 / 服务端 / 模型 / 注册中心 / 测试 / 百度 / 目录 / 端口 / 管理 / 线程 / 组织 / 统计 / 缓存 / 网站 / 网站流量 / 谷歌 / 负载均衡 / 质量 / 遍历 / 部署 / 配置 / 长连接 / 集群 / 需求

darida 发布于 2019-11-28

很多人对于 BAT 的技术有一种莫名的崇拜感，觉得只有天才才能做出这样的系统，但经过前面对架构的本质、架构的设计原则、架构的设计模式、架构演进等多方位的探讨和阐述，你可以看到，其实并没有什么神秘的力量和魔力融合在技术里面，而是业务的不断发展推动了技术的发展，这样一步一个脚印，持续...

阅读(41)评论(0)赞 (0)标签：2019 / ACE / cache / CTO / db / DDL / Facebook / FastDFS / Google / Hadoop / HBase / HDFS / http / https / key / map / mongo / MongoDB / mysql / NOSQL / Oracle / ORM / Proxy / redis / sql / src / tab / UI / value / 一致性 / 云 / 互联网 / 京东 / 免费 / 关键技术 / 创业 / 创业公司 / 回答 / 图片 / 备份 / 大数据 / 实例 / 希望 / 开发 / 开源 / 微博 / 数据 / 数据库 / 时间 / 服务器 / 本质 / 架构师 / 架构演进 / 百度 / 程序员 / 空间 / 管理 / 缓存 / 网站 / 自动化 / 设计模式 / 部署 / 集群 / 需求