标签:大数据

让前端监控数据采集更高效

3

wenming.gapo 发布于 2019-04-19

随着业务的快速发展,我们对生产环境下的问题感知能力越来越关注。作为距离用户最近的一层,前端的表现是否可靠、稳定、好用,很大程度上决定着用户对整个产品的体验和感受。因此,对于前端的监控不容忽视。 搭建一套前端监控平台需要考虑的方面很多,比如数据采集、埋点模式、数据处理和分析、报警以...

阅读(24)评论(0)赞 (0)

拍拍信微服务网关实践分享

13

xiaoli.wang 发布于 2019-04-18

背景: 拍拍信作为一家专业的数据服务公司,承载着百亿级数据量,每天支撑着千万级的调用量,对数据的安全、用户需求响应时效、系统的稳定都有着极其严格的要求,在此大前提下,拍拍信踏入微服务化之路。 截止发稿,拍拍信在微服务的道路上已经走过一年有余,90%以上的服务已经投产,整个微服务生...

阅读(20)评论(0)赞 (0)

Java转型大数据开发教程,都在这儿!

4

Harries 发布于 2019-04-17

技术更新迭代速度很快,我们必须时刻保持危机感!一步跟不上,步步跟不上! 现在移动开发不复当前的火爆,很多朋友都考虑着转型或者是再学一门技术。这其实是一个很聪明的想法,纵向发展,拖宽自己的知识高度,未来或许就能把握更多的机遇。 如此多的技术,怎么学得过来呢?首先仍然要以你自己的岗位...

阅读(21)评论(0)赞 (0)

nginx/tomcat日志格式规范

likai 发布于 2019-04-16

最近准备设计和开发一套日志收集平台,进而后续进行实时的日志分析、业务监控和预警等。在此之前,需要制定日志的格式规范,当然还有其他的约束性规范,才能良好的实现日志搜集、数据分拣、数据分析等特性。 制定日志格式规范的方式与目的: 1)所有项目,日志格式统一,可以极大的简化日志收集和分...

阅读(23)评论(0)赞 (0)

Java架构-高并发的解决实战总结方案,看完这些就够了!

5

yeseng 发布于 2019-04-16

1.应用和静态资源分离 刚开始的时候应用和静态资源是保存在一起的,当并发量达到一定程度的时候就需要将静态资源保存到专门的服务器中,静态资源主要包括图片、视频、js、css和一些资源文件等,这些文件因为没有状态所以分离比较简单,直接存放到响应的服务器就可以了,一般会使用专门的域名去...

阅读(28)评论(0)赞 (0)

一次真实的线上 OOM 问题定位(二)

21

dulong 发布于 2019-04-16

上文提到,此次线上OOM问题的原因是“研发人员疏漏,查询字典表数据未带查询条件,导致查出表中所有记录进行ORM处理从而引发内存溢出 ”  ,经过通宵修复发版后,此问题未再重现,然而,新的问题仍在继续:"频繁GC","打开...

阅读(30)评论(0)赞 (0)

互联网大厂必问面试合集,助你跳槽拿高薪–Java篇

4

xubiao.zhuang 发布于 2019-04-15

前言 作为程序员,免不了要经历面试这关,虽然平时工作勤勤恳恳,但是面试上面未必能展示的出来,比如平时都是做增删改查的业务系统,面试官非要问你如何处理高并发大数据,本来是写java代码,非要问你大型网站架构,这些问题防不胜防,本文就自己的面试经验来总结一下,抛砖引玉。 第一步先自我...

阅读(27)评论(0)赞 (0)

由表生成代码:mybatis-generator入门

1

yeseng 发布于 2019-04-14

## mapper xml 文件地址 mybatis.mapper-locations=classpath*:mapper/*Mapper.xml ##数据库url spring.datasource.url=jdbc:mysql://localhost:3306/shiro?c...

阅读(29)评论(0)赞 (0)

ABAP很厉害是怎么一种体验?

10

likai 发布于 2019-04-13

知乎上偶然看到这个问题,觉得很有意思,我也来回答一发。 我本科和研究生学的是计算机专业,做项目用C/C++,研究生三年项目的代码量大概在三到四万行左右。2007年大学毕业加入SAP成都研究院一直工作到现在,工作中用的最熟练的编程语言是ABAP,Java和JavaScript。当然...

阅读(22)评论(0)赞 (0)

Java 进阶必备:HashMap 源码分析

6

hellas 发布于 2019-04-11

HashMap 是 Java 语言中常用的用于存放键值对数据类型的集合类。随着 JDK(Java Developmet Kit)版本的更新,JDK 1.8 对 HashMap 底层的实现进行了优化,底层实现也由之前的 数组 + 链表 改为 数组 + 链表 + 红黑树 。HashM...

阅读(24)评论(0)赞 (0)

分布式系统Kafka和ES中,JVM内存越大越好吗?

8

songhua.gao 发布于 2019-04-11

这篇文章,给大家聊一个生产环境的实践经验:线上系统部署的时候,JVM 堆内存大小是越大越好吗? 本文主要讨论的是 Kafka 和 Elasticsearch 两种分布式系统的线上部署情况,不是普通的 Java 应用系统。 是否依赖 Java 系统自身内存处理数据? 先说明一点,不...

阅读(22)评论(0)赞 (0)

Go语言将在未来成为下一个王者,消灭Java和Python?

尖兵 发布于 2019-04-10

在过去几年中,新的编程语言有所增加:Go或GoLang。 没有什么能让开发人员疯狂而不是新的编程语言,对吗?近几年来,Go语言真是越来越火了。我们来看看Tiobe世界编程语言排行的最新排名,Go已经从去年的第14名上升到今年的第十名了。虽然Java仍然占据编程界的老大哥的地位,但...

阅读(25)评论(0)赞 (0)

SpringCloud之zuul

3

wenming.gapo 发布于 2019-04-10

简介 Zuul是所有从设备和web站点到Netflix流媒体应用程序后端的请求的前门。作为一个边缘服务应用程序,Zuul的构建是为了支持动态路由、监视、弹性和安全性。它还可以根据需要将请求路由到多个Amazon自动伸缩组。 Zuul使用了一系列不同类型的过滤器,使我们能够快速灵活...

阅读(35)评论(0)赞 (0)

自助安全扫描与代码审计系统架构实践

5

hanze 发布于 2019-04-10

*本文作者:糖果L5Q,属于FreeBuf原创奖励计划,未经许可禁止转载 一、自动安检的需求背景 公司如果有不同的业务线,各业务系统上线发布之前要进行基本的安全检查。业务在国内的其它城市, 机房位置不定,发布时间不定,这时候就需要设计一套自动化机制,在业务上线新功能之前,进行自动...

阅读(48)评论(0)赞 (0)

Apache Beam 实战指南 | 如何结合 ClickHouse 打造“AI 微服务”?

18

刘莉莉 发布于 2019-04-10

本文是 Apache Beam 实战指南系列文章的第四篇内容,将对 Beam 框架中的 ClickHouseIO 源码进行剖析,并结合应用示例和代码解读带你进一步了解如何结合 Beam 玩转大数据实时分析数据库 ClickHouse。系列文章第一篇回顾 Apache Beam 实...

阅读(39)评论(0)赞 (0)

SD-WAN:回归安全的本心

1

小丁 发布于 2019-04-09

也许,2006年,在斯坦福研究Clean Slate项目的Nick教授并没有想到,在他们团队提出OpenFlow的概念之后的这十几年后, 会引起互联网络发生如此巨大的改变,也不会想到,在这13年后的2019年,历史的车轮又不忘初心地回到了其正确的轨道上。 一、当WAN遇见SDN ...

阅读(36)评论(0)赞 (0)