标签:sqoop

Java

ASM字节码编程 | 如果你只写CRUD,那这种技术栈你永远碰不到!!!

4

xirruiqiang 发布于 2020-03-26

小傅哥 | bugstack.cn 沉淀、分享、成长,专注于原创专题案例,以最易学习编程的方式分享知识,让自己和他人都能有所收获。目前已完成的专题有;Netty4.x实战专题案例、用Java实现JVM、基于JavaAgent的全链路监控、手写RPC框架、架构设计专题案例、源码分析...

阅读(14)评论(0)赞 (0)

编程技术

好奇 Airbnb 在 AWS 技术架构,在这里都能找到答案

7

hanze 发布于 2020-01-16

本站点所有文章,仅代表个人想法,不代表任何公司立场,所有数据都来自公开资料 Airbnb 概况 公开资料显示,Airbedandbreakfast.com 在2008上线,总部位于美国旧金山,在 2009年站点缩写成 Airbnb.com,2015年8月,Airbnb正式宣布进驻...

阅读(104)评论(0)赞 (0)

编程技术

架构师详解:从0-1构建大数据平台

13

darida 发布于 2019-12-13

如今大数据在各行业的应用越来越广泛:运营基于数据关注运营效果,产品基于数据分析关注转化率情况,开发基于数据衡量系统优化效果等。 美图公司有美拍、美图秀秀、美颜相机等十几个 app,每个 app 都会基于数据做个性化推荐、搜索、报表分析、反作弊、广告等,整体对数据的业务需求比较多、...

阅读(71)评论(0)赞 (0)

编程技术

微服务场景下数据抽取与统计

7

yeseng 发布于 2019-11-01

案例小故事 某公司的技术架构体系目前还是以集群扩展体系为主,集群扩展体系架构如图9-1所示。在这种体系结构中,可以看到应用都是单块结构,但是单块结构的应用具有扩展性,通过部署在多个Tomcat上实现应用的集群,所有的应用都访问同一个数据库(这个库可以假设为Oracle数据库),数...

阅读(119)评论(0)赞 (0)

Java

网站渗透测试详细检测方法

hanze 发布于 2019-09-25

越来越多的网站以及app手机端客户注重安全渗透测试服务,上线前必须要对平台进行全面的预渗透测试找出安全漏洞以及BUG,很多客户找我们SINE安全,做渗透测试服务的时候对具体的流程可能不太了解,下面我们把具体的渗透测试方法流程大体写的全面一点给大家呈现。 渗透测试 一、渗透流程 信...

阅读(162)评论(0)赞 (0)

Java

网站渗透测试详细检测方法

likai 发布于 2019-09-25

越来越多的网站以及app手机端客户注重安全渗透测试服务,上线前必须要对平台进行全面的预渗透测试找出安全漏洞以及BUG,很多客户找我们SINE安全,做渗透测试服务的时候对具体的流程可能不太了解,下面我们把具体的渗透测试方法流程大体写的全面一点给大家呈现。 渗透测试 一、渗透流程 信...

阅读(98)评论(0)赞 (0)

Java

淘宝网从 100 到 1000 万高并发的架构演进之路

17

刘莉莉 发布于 2019-09-17

1、引言 本文以设计淘宝网的后台架构为例,介绍从一百个并发到千万级并发情况下服务端的架构的14次演进过程,同时列举出每个演进阶段会遇到的相关技术,让大家对架构的演进有一个整体的认知。 文章最后汇总了一些架构设计的原则。 2、关于作者 huashiou: 广东工业大学计算机科学与技...

阅读(120)评论(0)赞 (0)

Java

一个好的Java开发,怎能不会大数据?

18

尖兵 发布于 2019-09-09

随着大数据、云计算、物联网、人工智能这些行业的发展崛起,对于大数据人才的需求越来越大,而大数据人才的培养发展周期相对较长,导致了大数据人才短缺,市场供不应求。所以也就出现了大数据开发工程师、数仓工程师、ETL工程师……这些岗位薪资比普通程序开发人员要 高很...

阅读(73)评论(0)赞 (0)

编程技术

学完这100多技术,能当架构师么?(非广告)

16

dulong 发布于 2019-08-14

原创:小姐姐味道(微信公众号ID:xjjdog),欢迎分享,转载请保留出处。 前几天,有个搞培训的朋友,和我要一份java后端的进阶路线图,我就把这篇文章发给了他 《必看!java后端,亮剑诛仙》 。今天,又想要个java后端目前最常用的工具和框架,正好我以前画过这样一张图,于是...

阅读(165)评论(0)赞 (0)

编程技术

拆解大数据总线平台DBus的系统架构

10

yeseng 发布于 2019-07-18

mysql 日志抽取模块由两部分构成: canal server:负责从mysql中抽取增量日志。 mysql-extractor storm程序:负责将增量日志输出到kafka中,过滤不需要的表数据,保证at least one和高可用。 我们知道,虽然mysql innodb...

阅读(226)评论(0)赞 (0)

编程技术

从新手到架构师,一篇就够:从100到1000万高并发的架构演进之路

16

changyuan.xu 发布于 2019-07-18

本文以设计淘宝网的后台架构为例,介绍从一百个并发到千万级并发情况下服务端的架构的14次演进过程,同时列举出每个演进阶段会遇到的相关技术,让大家对架构的演进有一个整体的认知。文章最后汇总了一些架构设计的原则。 (本文同步发布于: http://www.52im.net/thread...

阅读(149)评论(0)赞 (0)

编程技术

评论送书,免费送资料,价值16880元大数据架构师进阶全套教程,免费拿!

10

puefu.he 发布于 2019-07-04

评论区留言,分享你为什么想学大数据,点赞前3名,送《大型企业大数据实战开发+架构浅析》。 画外音: 明天24点截止。 架构是一种能力 ,架构师只不过是在不同的领域里面使用不同的技术,跨领域的架构师很难横向比较,就好比一个篮球明星和一个足球明星谁牛逼,没有可比性。但架构的思路却有相...

阅读(144)评论(0)赞 (0)

编程技术

模拟淘宝的服务端高并发分布式架构演进之路

15

hellas 发布于 2019-06-28

【编者的话】本文以淘宝作为例子,介绍从一百个并发到千万级并发情况下服务端的架构的演进过程,同时列举出每个演进阶段会遇到的相关技术,让大家对架构的演进有一个整体的认知,文章最后汇总了一些架构设计的原则。 基本概念 在介绍架构之前,为了避免部分读者对架构设计中的一些概念不了解,下面对...

阅读(191)评论(0)赞 (0)

编程技术

宜人贷PaaS数据服务平台Genie:技术架构及功能

21

darida 发布于 2019-06-17

上篇:架构及组件 一、数据平台的发展 1.1 背景介绍 随着数据时代的到来,数据量和数据复杂度的增加推动了数据工程领域的快速发展。为了满足各类数据获取/计算等需求,业内涌现出了诸多解决方案。但大部分方案都遵循以下原则: 降低数据处理成本 合理提高数据使用/计算效率 提供统一的编程...

阅读(189)评论(0)赞 (0)

编程技术

千万级并发下,淘宝服务端架构如何演进?

17

likai 发布于 2019-06-14

本文以淘宝为例,介绍从一百个并发到千万级并发下服务端架构的演进过程,同时列举出每个演进阶段遇到的相关技术,让大家对架构的演进有一个整体的认知,文章最后汇总了一些架构设计的原则。 在介绍架构之前,为了避免部分读者对架构设计中的一些概念不了解,下面对几个最基础的概念进行介绍: ①分布...

阅读(322)评论(0)赞 (0)

Java

思考,2018 年总结,2019 年目标

hellas 发布于 2019-06-01

欢迎光临我的个人博客: https://www.jelliclecat.cn/ 0. 2018 从2018年4月1日正式开始工作,到现在已经有14个月了,14个月前,自己还是一个java小白,那个时候,java语法还只会流程控制语句,面向对象思维一点没有,OOP更是谈不上,对于框...

阅读(173)评论(0)赞 (0)

Java

终于有人把Java进阶大数据缘由全面讲明白了!

3

darida 发布于 2019-05-31

如今随着计算机技术的全面普及,数字化的数据已经对人们的生活起到了息息相关的作用,大家也经常关注技术圈的发展,很多java工程师都在担心自己适合的技术发展道路该怎么走,现在也算有个方向了。 大数据的介绍: 大数据(BIG DATA),指无法在一定时间范围内用常规软件工具进行收集、管...

阅读(172)评论(0)赞 (0)

编程技术

披荆斩棘,饿了么数据库高可用架构演进!

16

xubiao.zhuang 发布于 2019-02-26

本文将和大家分享饿了么作为高速发展的互联网企业之一,在发展历程中数据库技术如何跟随企业发展并不断满足业务的需求。 分享内容大致涉及到以下五点: 数据库架构怎么满足业务、支撑业务发展 怎么提高数据库的可用性 如何对数据流进行相应的控制和保护 规模大了以后如何提高数据库运维的效率 一...

阅读(247)评论(0)赞 (0)