标签:Hadoop

编程技术

架构师详解:从0-1构建大数据平台

13

darida 发布于 2019-12-13

如今大数据在各行业的应用越来越广泛:运营基于数据关注运营效果,产品基于数据分析关注转化率情况,开发基于数据衡量系统优化效果等。 美图公司有美拍、美图秀秀、美颜相机等十几个 app,每个 app 都会基于数据做个性化推荐、搜索、报表分析、反作弊、广告等,整体对数据的业务需求比较多、...

阅读(1)评论(0)赞 (0)

编程技术

常用的几种大数据架构分析

7

xiaoli.he 发布于 2019-12-12

数据分析工作虽然隐藏在业务系统背后,但是具有非常重要的作用,数据分析的结果对决策、业务发展有着举足轻重的作用。随着大数据技术的发展,数据挖掘、数据探索等专有名词曝光度越来越高,但是在类似于Hadoop系列的大数据分析系统大行其道之前,数据分析工作已经经历了长足的发展,尤其是以BI...

阅读(16)评论(0)赞 (0)

编程技术

威胁情报的私有化生产和级联:威胁狩猎及情报共享

4

hanze 发布于 2019-12-12

一、背景 1.  威胁情报库建设的背景和需求 1)  新时代攻防趋势与需求的变化。 随着互联网特别是移动互联网的发展,网络环境愈发复杂,不同的攻击行为更具产业化、团伙化,入侵手法也愈发多样化与复杂化,传统以防御漏洞为主的安全策略在面对层出不穷的新型、持续性、高...

阅读(15)评论(0)赞 (0)

编程技术

白话讲解微服务注册发现及负载均衡

3

Harries 发布于 2019-12-12

一、公益图书馆例子 笔者不想直接用专业的术语来说明“微服务注册与发现”,所以我们来看生活中的一个案例:“公益图书馆”。随着人们生活水平的不断提高,追求精神食粮的朋友也越来越多。笔者曾经在一些城市看见过公益图书馆,其运行逻辑是:一些公益组织和个人提供一块场所,然后由组织内的人向图书...

阅读(10)评论(0)赞 (0)

Java

如何从0到1设计一个类Dubbo的RPC框架

6

darida 发布于 2019-12-11

RPC和RPC框架 1.RPC(Remote Procedure Call) 即远程过程调用, 主要解决远程通信间的问题,不需要了解底层网络的通信机制。 2.RPC框架 RPC框架负责屏蔽底层的传输方式(TCP或者UDP)、序列化方式、以及通信细节。 实际使用中,并不需要关心底层...

阅读(9)评论(0)赞 (0)

Java

《吐血整理》-顶级程序员书单集

84

xirruiqiang 发布于 2019-12-11

《程序人生》十年风雨技术人的书单整理 你知道的越多,你不知道的越多 点赞再看,养成习惯 给岁月以文明,而不是给文明以岁月 本文 GitHub https://github.com/JavaFamily 上已经收录,有一线大厂面试点思维导图,也整理了很多我的文档,欢迎Star和完善...

阅读(13)评论(0)赞 (0)

Java

Java 操作 HBase 教程

2

小丁 发布于 2019-12-11

一、简介 在上一篇文章 HBase 基础入门 中,我们已经介绍了 HBase 的一些基本概念,以及如何安装使用的方法。那么,作为一名 Javaer,自然是希望用 Java 的方式来与 HBase 进行对话了。所幸的是,HBase 本身就是用 Java 编写的,天生自带了 Java...

阅读(9)评论(0)赞 (0)

Java

Flink入门(三)——环境与部署

5

likai 发布于 2019-12-11

flink是一款开源的大数据流式处理框架,他可以同时批处理和流处理,具有容错性、高吞吐、低延迟等优势,本文简述flink在windows和linux中安装步骤,和示例程序的运行,包括本地调试环境,集群环境。另外介绍Flink的开发工程的构建。 首先要想运行Flink,我们需要下载...

阅读(15)评论(0)赞 (0)

Java

Netty入门:传统的BIO编程-Netty开发环境搭建

5

hanze 发布于 2019-12-10

1.1 传统的BIO编程 网络编程的基本模型是 Client/Server 模型,也就是两个进程之间进行相互通信,其中服务端提供位置信息(绑定的 IP 地址和监听端口),客户端通过连接操作向服务端监听的地址发起连接请求,通过三次握手建立连接,如果连接建立成功,双方就可以通过网络套...

阅读(11)评论(0)赞 (0)

Java

2019年100道经典JAVA面试真题解析

16

songhua.gao 发布于 2019-12-05

2019年快结束了,给大家整理了今年来最经典的面试真题100道,每个题目都有详细的解答,收集了java基础,容器,多线程,反射,对象拷贝,Java Web,异常,网络,设计模式,Spring / Spring MVC,等专题的经典面试真题,和详细分析。没道题目都详细讲解,文章过长...

阅读(38)评论(0)赞 (0)

编程技术

飞行中换发动机——金融数仓架构转型的最佳实践

4

puefu.he 发布于 2019-12-04

中国建设银行有着将近 20 年的数据仓库建设历史,其技术平台的转型和应用建设过程,既是引领国内各大银行数据仓库建设的标杆和榜样,同时也可以说是国内银行业数仓建设历程的一个缩影。 2000 年初,建行开始启动数据仓库的规划和构建,最早采用了 Teradata 一体机平台,为业务提供...

阅读(22)评论(0)赞 (0)

Java

Netty 总结篇

4

puefu.he 发布于 2019-12-03

戳蓝字「TopCoder 」关注我们哦! Netty一个主要的目标就是促进“关注点分离”: 使业务逻辑从网络基础设施应用程序中分离 。不仅仅是Netty框架,其他框架的设计目的也大都是为了使业务程序和底层技术解耦,使程序员更加专注于业务逻辑实现,提高开发质量和效率。Netty为什...

阅读(18)评论(0)赞 (0)

Java

2020面试预备你也能收割Offer,Java程序员必会知识清单全在这份pdf文档里

31

hellas 发布于 2019-12-02

关于程序员,除了做项目来提高自身的技术之外,还有一种提升自己的专业技能就是:多!看!书! 小编整理出一篇Java进阶架构师之路的核心知识,同时也是面试时面试官必问的知识点,篇章也是包括了很多知识点,其中包括了有基础知识、Java集合、JVM、多线程并发、spring原理、微服务、...

阅读(22)评论(0)赞 (0)

Java

Ubuntu 18.04下搭建单机Hadoop和Spark集群环境

29

xiaoli.wang 发布于 2019-12-01

Hadoop在整个大数据技术体系中占有至关重要的地位,是大数据技术的基础和敲门砖,对Hadoop基础知识的掌握程度会在一定程度决定在大数据技术的道路上能走多远。 最近想要学习Spark,首先需要搭建Spark的环境,Spark的依赖环境比较多,需要Java JDK、Hadoop的...

阅读(52)评论(0)赞 (0)

Java

别让自己“墙”了自己

3

刘莉莉 发布于 2019-12-01

这一两周与几个朋友聊天,有年轻的90后,也有大叔级的70后,这些人在我看来都是很有能力的人,但是一些喜好过于强烈,让我不经意地回顾了我工作20年来身边的人,有发展得好的,也有发展的不好的,有些人是很可惜的,因为限制他们的不是其它人,也不是环境,而是自己,所以,很想写下这篇文章。(...

阅读(30)评论(0)赞 (0)

Java

Java分布式开发不得不知的Dubbo技术详细介绍

18

zhuangli 发布于 2019-11-30

1 dubbox简介 随着互联网的发展,网站应用的规模不断扩大,常规的垂直应用架构已无法应对,分布式服务架构以及流动计算架构势在必行,亟需一个治理系统确保架构有条不紊的演进。 单一应用架构 当网站流量很小时,只需一个应用,将所有功能都部署在一起,以减少部署节点和成本。 此时,用于...

阅读(21)评论(0)赞 (0)

Java

深入了解Netty【三】Netty概述

3

Harries 发布于 2019-11-29

1、简介 Netty是一个异步事件驱动的网络应用程序框架,用于快速开发可维护的高性能协议服务器和客户端。 Netty是一个NIO客户端服务器框架,它支持快速、简单地开发协议服务器和客户端等网络应用程序。它大大简化和简化了网络编程,如TCP和UDP套接字服务器。 “快速而简单”并不...

阅读(21)评论(0)赞 (0)

编程技术

互联网架构模板:“存储层”技术

4

darida 发布于 2019-11-28

很多人对于 BAT 的技术有一种莫名的崇拜感,觉得只有天才才能做出这样的系统,但经过前面对架构的本质、架构的设计原则、架构的设计模式、架构演进等多方位的探讨和阐述,你可以看到,其实并没有什么神秘的力量和魔力融合在技术里面,而是业务的不断发展推动了技术的发展,这样一步一个脚印,持续...

阅读(41)评论(0)赞 (0)