标签:HDFS

编程技术

有赞基于ES的搜索系统架构是如何演进的?

8

yeseng 发布于 2019-03-26

本文从架构上介绍了有赞搜索系统演进产生的背景以及希望解决的问题。 有赞搜索平台是一个面向公司内部各项搜索应用以及部分 NoSQL 存储应用的 PaaS 产品,帮助应用合理高效的检索和多维过滤功能。有赞搜索平台目前支持了大大小小一百多个检索业务,服务于近百亿数据。 在为传统的搜索应...

阅读(10)评论(0)赞 (0)

Java

我现在是个普通Java程序员,如何才能“更有竞争力”?

1

zhuangli 发布于 2019-03-25

很多人会问我:我现在是个普通Java程序员,如何才能“更有竞争力”? 画外音:Java,是目前世界上最流行的语言。 我认为所谓竞争力,其实包括两个方面,现在的和未来的:搞得定当下的事,并且未来有不错的发展空间,所以,我的建议有下面3条: 1、既然选择了Java技术栈,Java必须...

阅读(12)评论(0)赞 (0)

编程技术

HDFS Architecture

xubiao.zhuang 发布于 2019-03-24

Introduction HDFS(Hadoop Distributed File System)是一个分布式文件系统,它具有很高的容错性,可以支持运行在廉价的硬件设备上。HDFS具有很高的吞吐量,非常适合拥有海量数据的application。HDFS放宽了一些POSIX要求,以...

阅读(18)评论(0)赞 (0)

Java

MLSQL 编译时权限控制

yanxinchi 发布于 2019-03-21

前言 权限控制,对于MLSQL而言的重要程度可以说是生命线。 MLSQL面对了各式各样的资源(联邦制),比如MySQL, Oracle,HDFS, Hive,Kafka,Sorl,ElasticSearch,Redis,API,Web等等,不同用户对这些数据源(以及表,列)的权限...

阅读(16)评论(0)赞 (0)

Java

后端架构师技术图谱

likai 发布于 2019-03-20

今天无意间看到github上一篇超炫的博文,是阿里工程师总结的 《后端架构师技术图谱》 ,分享给大家。 数据结构 队列 集合 链表、数组 字典、关联数组 栈 树 二叉树 完全二叉树 平衡二叉树 二叉查找树(BST) 红黑树 B,B+,B*树 LSM 树 BitSet 常用算法 排...

阅读(47)评论(0)赞 (0)

Spring

Spring Boot 2.x :通过 spring-boot-starter-hbase 集成 HBase

2

xiaoli.he 发布于 2019-03-20

摘要: 原创出处 https://www.bysocket.com 「公众号:泥瓦匠BYSocket 」欢迎关注和转载,保留摘要,谢谢! 本文内容 HBase 简介和应用场景 spring-boot-starter-hbase 开源简介 集成 HBase 实战 小结 摘录:Man...

阅读(26)评论(0)赞 (0)

Java

PiFlow v0.5 发布:大数据流水线系统

2

Harries 发布于 2019-03-18

Piflow是一个基于分布式计算框架Spark开发的大数据流水线系统。该系统将数据的采集、清洗、计算、存储等各个环节封装成组件,以所见即所得方式进行流水线配置。简单易用,功能强大。它具有如下特性: 简单易用:可视化配置流水线,实时监控流水线运行状态,查看日志 功能强大:提供100...

阅读(30)评论(0)赞 (0)

Java

京东JDK在大数据平台的探索与研究

13

小丁 发布于 2019-03-12

本文旨在概述京东在JDK方向上的尝试与探索,以及京东JDK项目背景,基本特性以及未来的工作方向。对于JDK特性的技术讨论,实现细节及效果,将在后续系列文章中深入讨论。 一、HDFS简介 HDFS是作为最底层的分布式存储服务而存在的,是Hadoop的分布式文件系统组件。HDFS是高...

阅读(36)评论(0)赞 (0)

Java

京东 JDK 的探索与研究(一)

11

尖兵 发布于 2019-03-04

来这里找志同道合的小伙伴! 前 言 本文旨在概述京东在JDK方向上的尝试与探索,以及京东JDK项目背景,基本特性以及未来的工作方向。       对于JDK特性的技术讨论,实现细节及效果,将在后续系列文章中深入讨论。 背景 HDF...

阅读(61)评论(0)赞 (0)

Java

从 HBase offheap 到 Netty 的内存管理

15

刘莉莉 发布于 2019-03-02

前言 本文主要介绍了 Netty的内存管理和性能。 相关文章回顾: HBase 2.0之修复工具HBCK2运维指南 HBase的offheap现状 HBase作为一款流行的分布式NoSQL数据库,被各个公司大量应用,其中有很多业务场景,例如信息流和广告业务,对访问的吞吐和延迟要求...

阅读(55)评论(0)赞 (0)

Java

初识MapReduce的应用场景(附JAVA和Python代码)

7

xubiao.zhuang 发布于 2019-02-27

从这篇文章开始,我会开始系统性地输出在大数据踩坑过程中的积累,后面会涉及到实战项目的具体操作,目前的规划是按照系列来更新,力争做到一个系列在 5 篇文章之内总结出最核心的干货,如果是涉及到理论方面的文章,会以画图的方式来讲解,如果是涉及到操作方面,会以实际的代码来演示。 这篇是 ...

阅读(73)评论(0)赞 (0)

Java

使用Eclipse+Java配置Pig开发环境

2

hellas 发布于 2019-02-22

自从开始使用Eclipse+Maven来配置Java的开发环境并体验到了Maven的强大和方便以后。在之后学习Hadoop的过程中,我都尽量避免使用终端配置运行环境。 本文将介绍如何配置Eclipse在Pig中的开发环境。若还未使用过Maven配置Hadoop开发环境,可以参考我...

阅读(75)评论(0)赞 (0)

编程技术

研发团队资源成本优化实践

11

zhuangli 发布于 2019-02-22

背景 工程师主要面对的是技术挑战,更关注技术层面的目标。研发团队的管理者则会把实现项目成果和业务需求作为核心目标。实际项目中,研发团队所需资源(比如物理机器、内存、硬盘、网络带宽等)的成本,很容易被忽略,或者在很晚才考虑。 在一般情况下,如果要满足更多的技术指标如并发量和复杂度等...

阅读(59)评论(0)赞 (0)

Java

Java 工程师成神之路 | 2019正式版

4

尖兵 发布于 2019-02-18

一、基础篇 01.面向对象 → 什么是面向对象 面向对象、面向过程 面向对象的三大基本特征和五大基本原则 → 平台无关性 Java 如何实现的平台无关 JVM 还支持哪些语言(Kotlin、Groovy、JRuby、Jython、Scala) → 值传递 值传递、引用传递 为什么...

阅读(90)评论(0)赞 (0)

编程技术

分布式架构知识体系

8

puefu.he 发布于 2019-02-15

1.问题 1、何为分布式何为微服务? 2、为什么需要分布式? 3、分布式核心理论基础,节点、网络、时间、顺序,一致性? 4、分布式是系统有哪些设计模式? 5、分布式有哪些类型? 6、如何实现分布式? 2.关键词 节点,时间,一致性,CAP,ACID,BASE,P2P,机器伸缩,网...

阅读(78)评论(0)赞 (0)

Java

Eclipse+Maven构建Hadoop项目

8

邓龙华 发布于 2019-02-11

Maven 翻译为”专家”、”内行”,是 Apache 下的一个纯 Java 开发的开源项目。基于项目对象模型(Project Object Model 缩写:POM)概念,Maven利用一个中央信息片断能管理一个项目的构建、报告和文档等步骤。Maven 是一个项目管理工具,可以...

阅读(51)评论(0)赞 (0)

编程技术

微服务不是全部,只是特定领域的子集

11

yeseng 发布于 2019-01-23

大家都在学SpringCloud,貌似学会了SC就牛逼哄哄,感觉不得了的样子。但微服务,在整个企业级应用中,只 占了一小部分。微服务引入的问题比解决的问题还要多,你会遇到各种各样的bottleneck。 微服务解决的是计算节点的问题,然而根源却在存储节点 。当业务规模变得越来越庞...

阅读(93)评论(0)赞 (0)

Spring

Flink 在有赞实时计算的实践

19

darida 发布于 2019-01-16

一、前言 这篇主要由五个部分来组成: 首先是有赞的实时平台架构。 其次是在调研阶段我们为什么选择了 Flink。在这个部分,主要是 Flink 与 Spark 的 structured streaming 的一些对比和选择 Flink 的原因。 第三个就是比较重点的内容,Flin...

阅读(97)评论(0)赞 (0)