标签:HDFS

编程技术

架构师详解:从0-1构建大数据平台

13

darida 发布于 2019-12-13

如今大数据在各行业的应用越来越广泛:运营基于数据关注运营效果,产品基于数据分析关注转化率情况,开发基于数据衡量系统优化效果等。 美图公司有美拍、美图秀秀、美颜相机等十几个 app,每个 app 都会基于数据做个性化推荐、搜索、报表分析、反作弊、广告等,整体对数据的业务需求比较多、...

阅读(2)评论(0)赞 (0)

编程技术

常用的几种大数据架构分析

7

xiaoli.he 发布于 2019-12-12

数据分析工作虽然隐藏在业务系统背后,但是具有非常重要的作用,数据分析的结果对决策、业务发展有着举足轻重的作用。随着大数据技术的发展,数据挖掘、数据探索等专有名词曝光度越来越高,但是在类似于Hadoop系列的大数据分析系统大行其道之前,数据分析工作已经经历了长足的发展,尤其是以BI...

阅读(16)评论(0)赞 (0)

编程技术

万字长文剖析架构设计全攻略(上)

2

刘莉莉 发布于 2019-12-10

正文开始前,先花大量笔墨推荐几个我工作中常用的思考框架、实践框架,后续文章中会使用这几种思考框架作为工具来描述、拆解、分析问题。当然你也可以使用到其它工作内容中,掌握几种利器,比无头苍蝇样做事效率会高很多。 1. 几个思考、实践框架 1、目标驱动、可量测的行动框架 OGSM 是 ...

阅读(21)评论(0)赞 (0)

Spring

硬核! 逛了4年Github ,一口气把我收藏的 Java 开源项目分享给你!

1

yanxinchi 发布于 2019-12-09

Awsome Java Great Java project on Github(Github 上非常棒的 Java 开源项目). English Version 欢迎大家推荐自己觉得不错的 Java 项目,下面项目的排序很大程度是根据当前项目的 Star 数量。 教程 Java...

阅读(18)评论(0)赞 (0)

Spring

硬核! 逛了4年Github ,一口气把我收藏的 Java 开源项目分享给你!

1

尖兵 发布于 2019-12-09

Awsome Java Great Java project on Github(Github 上非常棒的 Java 开源项目). English Version 欢迎大家推荐自己觉得不错的 Java 项目,下面项目的排序很大程度是根据当前项目的 Star 数量。 教程 Java...

阅读(17)评论(0)赞 (0)

编程技术

ZB 级的大数据探索与应用实践「附 PPT」 | U刻

9

xubiao.zhuang 发布于 2019-12-06

技术分享 / ZB 级的大数据探索与应用实践「附 PPT」 <返回 ZB 级的大数据探索与应用实践「附 PPT」 2019.12.06 栏目:技术分享 据报告显示到 2025 年,全球将产生 180ZB 的数据。这些海量的数据正是企业进行数字化转型的核心生产因素,然而真正被...

阅读(18)评论(0)赞 (0)

编程技术

Flutter 沙龙回顾 | 跨平台技术趋势及字节跳动 Flutter 架构实践

26

邓龙华 发布于 2019-12-04

11 月 23 日, 字节跳动技术沙龙 | Flutter 技术专场  在北京后山艺术空间圆满结束。我们邀请到字节跳动移动平台部 Flutter 架构师袁辉辉,Google Flutter 团队工程师 Justin McCandless,字节跳动移动平台部 Flutte...

阅读(47)评论(0)赞 (0)

Java

2020面试预备你也能收割Offer,Java程序员必会知识清单全在这份pdf文档里

31

hellas 发布于 2019-12-02

关于程序员,除了做项目来提高自身的技术之外,还有一种提升自己的专业技能就是:多!看!书! 小编整理出一篇Java进阶架构师之路的核心知识,同时也是面试时面试官必问的知识点,篇章也是包括了很多知识点,其中包括了有基础知识、Java集合、JVM、多线程并发、spring原理、微服务、...

阅读(22)评论(0)赞 (0)

Java

Ubuntu 18.04下搭建单机Hadoop和Spark集群环境

29

xiaoli.wang 发布于 2019-12-01

Hadoop在整个大数据技术体系中占有至关重要的地位,是大数据技术的基础和敲门砖,对Hadoop基础知识的掌握程度会在一定程度决定在大数据技术的道路上能走多远。 最近想要学习Spark,首先需要搭建Spark的环境,Spark的依赖环境比较多,需要Java JDK、Hadoop的...

阅读(52)评论(0)赞 (0)

编程技术

互联网架构模板:“存储层”技术

4

darida 发布于 2019-11-28

很多人对于 BAT 的技术有一种莫名的崇拜感,觉得只有天才才能做出这样的系统,但经过前面对架构的本质、架构的设计原则、架构的设计模式、架构演进等多方位的探讨和阐述,你可以看到,其实并没有什么神秘的力量和魔力融合在技术里面,而是业务的不断发展推动了技术的发展,这样一步一个脚印,持续...

阅读(41)评论(0)赞 (0)

编程技术

数据仓库简介、发展、架构演进、实时数仓建设、与离线数仓对比

17

xubiao.zhuang 发布于 2019-11-24

数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务,数据仓库的建设也是“数据智能”中必不可少的一环。本文将从数据仓库的简介、经历了怎样的发展、如何建设、架构演变、应用案例以及实时数仓与离线数仓的对比六个方面全面分享关于数仓的详细内容。 本文作者:郭华(付空) 原地地址:...

阅读(129)评论(0)赞 (0)

编程技术

首次揭秘!字节跳动基础架构技术迭代演进之路

1

小丁 发布于 2019-11-24

作者:薛梁,嘉宾:梁宇明 互联网科技公司的长久稳定发展,离不开坚实的技术支撑。 在全球拥有 15 亿月活用户的字节跳动,背后的技术支撑,离不开牢固的基础架构和对技术理解深刻的技术人。 目前主管字节跳动基础架构团队的是梁宇明,梁宇明 2010 年清华大学毕业后加入 Hulu,曾担任...

阅读(40)评论(0)赞 (0)

Java

快来!松哥的免费资源库更新啦!

4

changyuan.xu 发布于 2019-11-12

今年 5 月份的时候,松哥发了一个视频资源库,当时和大家说,这个资源库会定期更新,后来却迟迟未更新,其实不是我没资源了,是因为当时的关键字是我一个一个在微信后台配置的,配置到后面发现,后台配置关键字有数量上限,没法继续配置了,所以这事就搁置下来了。 九月份松哥上线了自己的服务,和...

阅读(65)评论(0)赞 (0)

编程技术

阿里技术架构内部总结:HDFS监控落地的思考

12

xiaoli.he 发布于 2019-11-08

Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。 HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。在大数据生态圈中,HDFS是最重要的底层分布式文件系统,它的稳定性关乎整个生态系统的健康。...

阅读(57)评论(0)赞 (0)

Java

微服务云原生等场景,腾讯 Kona JDK 正式开源

5

changyuan.xu 发布于 2019-11-05

Tencent Kona 是基于 OpenJDK8,由腾讯专业技术团队提供技术维护、优化及安全保障的 JDK 产品。腾讯的 Java 应用场景丰富,结合微服务、云原生应用、大数据等实际应用场景进行开发,并于11月5日正式发布了优化后的JDK——Tencent Kona。Kona可...

阅读(144)评论(1)赞 (0)

编程技术

微服务场景下数据抽取与统计

7

yeseng 发布于 2019-11-01

案例小故事 某公司的技术架构体系目前还是以集群扩展体系为主,集群扩展体系架构如图9-1所示。在这种体系结构中,可以看到应用都是单块结构,但是单块结构的应用具有扩展性,通过部署在多个Tomcat上实现应用的集群,所有的应用都访问同一个数据库(这个库可以假设为Oracle数据库),数...

阅读(74)评论(0)赞 (0)

编程技术

一文读懂分布式架构知识体系

43

yeseng 发布于 2019-10-31

点击上方“ 服务端思维 ”,选择“ 设为星标 ” 回复” 669 “获取独家整理的精选资料集 回复” 加群 “加入全国服务端高端社群「后端圈」 作者 | 林振华(晓土) 出品 | 编程原理 随着移动互联网的发展和智能终端的普及,计算机系统早就从单机独立工作过渡...

阅读(49)评论(0)赞 (0)

Java

分布式监控CAT服务端的本地部署

3

zhuangli 发布于 2019-10-30

一、CAT简介 CAT(Central Application Tracking),是美团点评基于 Java 开发的一套开源的分布式实时监控系统。美团点评基础架构部希望在基础存储、高性能通信、大规模在线访问、服务治理、实时监控、容器化及集群智能调度等领域提供业界领先的、统一的解决...

阅读(47)评论(0)赞 (0)