标签：sqoop

xirruiqiang 发布于 2020-03-26

小傅哥 | bugstack.cn 沉淀、分享、成长，专注于原创专题案例，以最易学习编程的方式分享知识，让自己和他人都能有所收获。目前已完成的专题有；Netty4.x实战专题案例、用Java实现JVM、基于JavaAgent的全链路监控、手写RPC框架、架构设计专题案例、源码分析...

阅读(14)评论(0)赞 (0)标签：2019 / Agent / App / apr / bug / build / cat / cglib / constant / Docker / druid / dubbo / equals / Eureka / final / git / GitHub / Hadoop / Haproxy / HBase / http / https / id / IDE / IO / ip / iptables / java / javaagent / jenkins / JVM / lib / map / MQ / Netty / Nginx / Proxy / redis / spring / sqoop / src / ssl / stream / tab / tar / UI / UTC / web / zookeeper / 一致性 / 下载 / 专注 / 互联网 / 代码 / 分布式 / 加班 / 压力 / 参数 / 字节码 / 安装 / 开发 / 微服务 / 插件 / 搜索引擎 / 数据 / 数据库 / 文章 / 日常维护 / 时间 / 服务端 / 架构设计 / 模型 / 注册中心 / 测试 / 源码 / 程序员 / 索引 / 缓存 / 编译 / 营养 / 解析 / 语音识别 / 部署 / 配置 / 限流

hanze 发布于 2020-01-16

本站点所有文章，仅代表个人想法，不代表任何公司立场，所有数据都来自公开资料 Airbnb 概况 公开资料显示，Airbedandbreakfast.com 在2008上线，总部位于美国旧金山，在 2009年站点缩写成 Airbnb.com，2015年8月，Airbnb正式宣布进驻...

阅读(104)评论(0)赞 (0)标签：2015 / 2019 / Amazon / Amazon Auror / apache / API / apr / Architect / cache / CDN / CTO / db / DNS / Docker / Features / Hadoop / Haproxy / http / https / id / IDE / IO / ip / Ipo / java / js / json / lib / MQ / mysql / Nginx / Oracle / ORM / Presto / Proxy / redis / REST / scala / Service / SOA / sql / sqoop / src / Uber / UI / web / zip / zookeeper / 一致性 / 专心 / 主机 / 代码 / 企业 / 协议 / 图片 / 安全 / 定制 / 实例 / 工程师 / 应用架构 / 开发 / 开发者 / 开源 / 微服务 / 心声 / 房间 / 数据 / 数据库 / 文章 / 时间 / 服务注册 / 模型 / 生命 / 站点 / 管理 / 统计 / 美国 / 自动化 / 自动生成 / 色调 / 认证 / 调试 / 负载均衡 / 质量 / 运营 / 连接池 / 部署 / 配置 / 限流 / 集群 / 需求 / 食物 / 高可用

darida 发布于 2019-12-13

如今大数据在各行业的应用越来越广泛：运营基于数据关注运营效果，产品基于数据分析关注转化率情况，开发基于数据衡量系统优化效果等。 美图公司有美拍、美图秀秀、美颜相机等十几个 app，每个 app 都会基于数据做个性化推荐、搜索、报表分析、反作弊、广告等，整体对数据的业务需求比较多、...

阅读(71)评论(0)赞 (0)标签：2019 / Agent / aix / apache / API / App / apr / bug / bus / CTO / db / dist / Hadoop / HBase / HDFS / http / https / id / IO / java / js / json / linux / map / mapper / mongo / MongoDB / mysql / node / ORM / python / rsync / sql / sqoop / src / tab / token / UI / 井 / 产品 / 任务调度 / 企业 / 免费 / 分布式 / 协议 / 同步 / 大数据 / 安全 / 安装 / 广告 / 开发 / 总结 / 推广 / 数据 / 时间 / 服务器 / 服务端 / 架构师 / 测试 / 目录 / 管理 / 统计 / 缓存 / 编译 / 自动化 / 解析 / 认证 / 质量 / 运营 / 进程 / 部署 / 配置 / 集群 / 需求

yeseng 发布于 2019-11-01

案例小故事 某公司的技术架构体系目前还是以集群扩展体系为主，集群扩展体系架构如图9-1所示。在这种体系结构中，可以看到应用都是单块结构，但是单块结构的应用具有扩展性，通过部署在多个Tomcat上实现应用的集群，所有的应用都访问同一个数据库（这个库可以假设为Oracle数据库），数...

阅读(119)评论(0)赞 (0)标签：ACE / Action / apache / apr / build / cat / consumer / db / dubbo / Facebook / Hadoop / HDFS / http / https / id / IO / JDBC / linux / map / MQ / mysql / NSA / ODBC / Oracle / ORM / Service / spring / Spring cloud / sql / SQL Server / sqoop / src / tab / tag / tomcat / UI / 一致性 / 业务方向 / 代码 / 企业 / 凌晨 / 分布式 / 分布式文件系统 / 创业 / 删除 / 压力 / 同步 / 基金 / 大数据 / 实例 / 工程师 / 并发 / 广告 / 开发 / 开源 / 开源项目 / 微服务 / 数据 / 数据库 / 文件系统 / 时间 / 服务器 / 滴滴 / 目录 / 程序员 / 管理 / 组织 / 统计 / 自动化 / 调度器 / 质量 / 软件 / 进程 / 部署 / 配置 / 重试机制 / 金融 / 集群 / 需求 / 高可用

刘莉莉 发布于 2019-09-17

1、引言 本文以设计淘宝网的后台架构为例，介绍从一百个并发到千万级并发情况下服务端的架构的14次演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知。 文章最后汇总了一些架构设计的原则。 2、关于作者 huashiou： 广东工业大学计算机科学与技...

阅读(120)评论(0)赞 (0)标签：apr / bug / cache / cat / db / DNS / Docker / druid / dubbo / Elasticsearch / FastDFS / Hadoop / Haproxy / HBase / HDFS / HTML / http / https / HTTP协议 / IaaS / id / IO / ip / JVM / key / Kubernetes / lib / Master / mongo / MongoDB / MQ / mysql / Nginx / NOSQL / Oracle / PaaS / Proxy / redis / session / SOA / spring / springcloud / sql / sqoop / src / TCP / tk / tomcat / Uber / UI / value / zookeeper / 一致性 / 下载 / 云 / 产品 / 代码 / 企业 / 分布式 / 分布式事务 / 分布式文件系统 / 分布式系统 / 删除 / 协议 / 博客 / 压力 / 反向代理 / 同步 / 域名 / 大数据 / 工程师 / 并发 / 开发 / 开源 / 微服务 / 房间 / 搜索引擎 / 操作系统 / 数据 / 数据库 / 文件上传 / 文件系统 / 文章 / 时间 / 服务器 / 服务端 / 架构演进 / 架构设计 / 正向代理 / 消息队列 / 科技 / 管理 / 索引 / 组织 / 统计 / 缓存 / 网站 / 解析 / 负载均衡 / 软件 / 部署 / 配置 / 配置中心 / 限流 / 集群 / 需求 / 高可用 / 高并发

尖兵 发布于 2019-09-09

随着大数据、云计算、物联网、人工智能这些行业的发展崛起，对于大数据人才的需求越来越大，而大数据人才的培养发展周期相对较长，导致了大数据人才短缺，市场供不应求。所以也就出现了大数据开发工程师、数仓工程师、ETL工程师……这些岗位薪资比普通程序开发人员要 高很...

阅读(73)评论(0)赞 (0)标签：App / bug / Hadoop / HBase / http / https / id / IO / ip / java / lambda / lib / linux / ORM / python / sqoop / src / UI / 专注 / 云 / 互联网 / 人才 / 代码 / 企业 / 免费 / 分布式 / 初学者 / 十年 / 大数据 / 安装 / 工程师 / 开发 / 招聘 / 教育 / 数据 / 智能 / 源码 / 物联网 / 程序员 / 质量 / 软件 / 阿里云 / 需求

dulong 发布于 2019-08-14

原创：小姐姐味道（微信公众号ID：xjjdog），欢迎分享，转载请保留出处。 前几天，有个搞培训的朋友，和我要一份java后端的进阶路线图，我就把这篇文章发给了他 《必看！java后端，亮剑诛仙》 。今天，又想要个java后端目前最常用的工具和框架，正好我以前画过这样一张图，于是...

阅读(165)评论(0)赞 (0)标签：2019 / ACE / ActiveMQ / API / apr / ask / bus / C3P0 / cache / Cassandra / cat / CDN / centos / client / consul / db / DBCP / Docker / druid / dubbo / Elasticsearch / ELK / Eureka / Facebook / Feign / git / Hadoop / Haproxy / HBase / http / https / HTTP协议 / Hystrix / id / IDE / IO / ip / java / JDBC / jenkins / JMS / Job / js / json / linux / Lua / map / Master / mina / MQ / mysql / Netty / Nginx / OpenResty / Proxy / Quartz / rabbitmq / redis / REST / RocketMQ / Sentinel / sharding / Sleuth / solr / spring / Spring Boot / Spring cloud / Spring Cloud Config / sql / sqoop / src / tab / UI / XML / zab / zip / zipkin / zookeeper / zuul / 一致性 / 主机 / 代码 / 企业 / 分布式 / 分布式事务 / 分布式系统 / 分布式锁 / 十年 / 协议 / 压力 / 同步 / 图片 / 多线程 / 大数据 / 希望 / 并发 / 广告 / 开发 / 开源 / 微信公众号 / 微服务 / 快的 / 数据 / 数据库 / 数据缓存 / 文章 / 时间 / 服务器 / 架构师 / 注册中心 / 消息队列 / 漏洞 / 物联网 / 神器 / 程序员 / 管理 / 线程 / 缓存 / 虚拟化 / 解析 / 调试 / 连接池 / 配置 / 配置中心 / 锁 / 高并发

yeseng 发布于 2019-07-18

mysql 日志抽取模块由两部分构成： canal server：负责从mysql中抽取增量日志。 mysql-extractor storm程序：负责将增量日志输出到kafka中，过滤不需要的表数据，保证at least one和高可用。 我们知道，虽然mysql innodb...

阅读(226)评论(0)赞 (0)标签：ACE / App / bus / CTO / db / git / GitHub / http / https / id / IO / ip / js / json / lib / Master / message / mongo / MQ / mysql / Oracle / ORM / schema / sharding / sql / sqoop / src / Statement / stream / tab / UI / update / zookeeper / 一致性 / 删除 / 压力 / 同步 / 大数据 / 希望 / 并发 / 开发 / 开源 / 数据 / 数据库 / 时间 / 正则表达式 / 系统架构 / 索引 / 线程 / 统计 / 部署 / 配置 / 阿里巴巴 / 需求 / 高可用

changyuan.xu 发布于 2019-07-18

本文以设计淘宝网的后台架构为例，介绍从一百个并发到千万级并发情况下服务端的架构的14次演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知。文章最后汇总了一些架构设计的原则。 （本文同步发布于： http://www.52im.net/thread...

阅读(149)评论(0)赞 (0)标签：2019 / App / apr / bug / cache / cat / db / DNS / Docker / druid / dubbo / Elasticsearch / FastDFS / Hadoop / Haproxy / HBase / HDFS / HTML / http / https / HTTP协议 / IaaS / IBM / id / IO / ip / java / JVM / key / Kubernetes / lib / Master / mongo / MongoDB / MQ / mysql / Nginx / NOSQL / O2O / Oracle / PaaS / Proxy / QPS / rabbitmq / redis / session / SOA / spring / springcloud / sql / sqoop / src / TCP / token / tomcat / Uber / UI / value / zookeeper / 一致性 / 下载 / 云 / 产品 / 京东 / 代码 / 企业 / 分布式 / 分布式事务 / 分布式文件系统 / 分布式系统 / 协议 / 博客 / 即时通讯 / 压力 / 反向代理 / 同步 / 图片 / 域名 / 大数据 / 小米 / 工程师 / 并发 / 开发 / 开源 / 微信红包 / 微博 / 微服务 / 总结 / 房间 / 搜索引擎 / 操作系统 / 支付宝 / 数据 / 数据库 / 文件上传 / 文件系统 / 文章 / 时间 / 服务器 / 服务端 / 架构师 / 架构演进 / 架构设计 / 正向代理 / 消息队列 / 短连接 / 科技 / 管理 / 索引 / 红包 / 组织 / 统计 / 缓存 / 网站 / 解析 / 负载均衡 / 软件 / 部署 / 配置 / 配置中心 / 金融 / 限流 / 集群 / 需求 / 高可用 / 高并发

puefu.he 发布于 2019-07-04

评论区留言，分享你为什么想学大数据，点赞前3名，送《大型企业大数据实战开发+架构浅析》。 画外音： 明天24点截止。 架构是一种能力 ，架构师只不过是在不同的领域里面使用不同的技术，跨领域的架构师很难横向比较，就好比一个篮球明星和一个足球明星谁牛逼，没有可比性。但架构的思路却有相...

阅读(144)评论(0)赞 (0)标签：App / bug / Hadoop / HBase / http / https / id / IO / ip / java / lambda / lib / linux / Oracle / ORM / python / sqoop / src / UI / zab / 二维码 / 云 / 企业 / 免费 / 大数据 / 安全 / 安装 / 希望 / 开发 / 教材 / 数据 / 架构师 / 阿里巴巴 / 需求

hellas 发布于 2019-06-28

【编者的话】本文以淘宝作为例子，介绍从一百个并发到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知，文章最后汇总了一些架构设计的原则。 基本概念 在介绍架构之前，为了避免部分读者对架构设计中的一些概念不了解，下面对...

阅读(191)评论(0)赞 (0)标签：apr / bug / cache / cat / db / DNS / Docker / druid / dubbo / Elasticsearch / FastDFS / Hadoop / Haproxy / HBase / HDFS / HTML / http / https / HTTP协议 / IaaS / id / IO / ip / JVM / key / Kubernetes / lib / Master / mongo / MongoDB / mysql / Nginx / NOSQL / Oracle / PaaS / Proxy / redis / session / SOA / spring / Spring cloud / sql / sqoop / src / TCP / tomcat / Uber / UI / value / zookeeper / 一致性 / 下载 / 云 / 产品 / 代码 / 企业 / 分布式 / 分布式事务 / 分布式文件系统 / 分布式系统 / 协议 / 博客 / 压力 / 反向代理 / 同步 / 域名 / 大数据 / 并发 / 开发 / 开源 / 微服务 / 总结 / 房间 / 搜索引擎 / 操作系统 / 数据 / 数据库 / 文件上传 / 文件系统 / 文章 / 时间 / 服务器 / 服务端 / 架构演进 / 架构设计 / 正向代理 / 消息队列 / 科技 / 管理 / 索引 / 组织 / 统计 / 缓存 / 网站 / 解析 / 负载均衡 / 软件 / 部署 / 配置 / 配置中心 / 限流 / 集群 / 需求 / 高可用 / 高并发

darida 发布于 2019-06-17

上篇：架构及组件 一、数据平台的发展 1.1 背景介绍 随着数据时代的到来，数据量和数据复杂度的增加推动了数据工程领域的快速发展。为了满足各类数据获取/计算等需求，业内涌现出了诸多解决方案。但大部分方案都遵循以下原则： 降低数据处理成本 合理提高数据使用/计算效率 提供统一的编程...

阅读(189)评论(0)赞 (0)标签：ACE / apache / Apache Hadoop / API / App / apr / bus / Cassandra / cat / CTO / Datanode / db / dist / Facebook / Google / Hadoop / HBase / HDFS / http / https / id / IDE / IO / ip / java / JDBC / Job / lambda / map / Master / MQ / mysql / Netflix / node / ORM / PaaS / Presto / python / REST / RESTful / schema / Service / shell / sql / sqoop / src / stream / struct / tab / trigger / Uber / UI / 一致性 / 互联网 / 产品 / 代码 / 分布式 / 压力 / 同步 / 回答 / 大数据 / 安全 / 工程师 / 希望 / 并发 / 开发 / 开源 / 开源项目 / 微服务 / 总结 / 敏捷 / 数据 / 数据库 / 数据挖掘 / 时间 / 智能 / 服务器 / 架构设计 / 模型 / 测试 / 管理 / 索引 / 统计 / 营销 / 解析 / 质量 / 运营 / 进程 / 部署 / 配置 / 金融 / 银行 / 集群 / 需求 / 高可用

likai 发布于 2019-06-14

本文以淘宝为例，介绍从一百个并发到千万级并发下服务端架构的演进过程，同时列举出每个演进阶段遇到的相关技术，让大家对架构的演进有一个整体的认知，文章最后汇总了一些架构设计的原则。 在介绍架构之前，为了避免部分读者对架构设计中的一些概念不了解，下面对几个最基础的概念进行介绍： ①分布...

阅读(322)评论(0)赞 (0)标签：2019 / apr / bug / cache / cat / CTO / db / Developer / DNS / Docker / druid / dubbo / Elasticsearch / FastDFS / Hadoop / Haproxy / HBase / HDFS / HTML / http / https / IaaS / id / IO / ip / JVM / key / Kubernetes / lib / Master / mongo / MongoDB / mysql / Nginx / NOSQL / Oracle / PaaS / Proxy / redis / session / SOA / spring / Spring cloud / sql / sqoop / src / TCP / tomcat / Uber / UI / value / zookeeper / 一致性 / 下载 / 云 / 产品 / 代码 / 企业 / 分布式 / 分布式事务 / 分布式文件系统 / 分布式系统 / 协议 / 博客 / 压力 / 反向代理 / 同步 / 域名 / 大数据 / 并发 / 开发 / 开源 / 微服务 / 总结 / 房间 / 搜索引擎 / 操作系统 / 数据 / 数据库 / 文件上传 / 文件系统 / 文章 / 时间 / 服务器 / 服务端 / 架构演进 / 架构设计 / 正向代理 / 消息队列 / 科技 / 管理 / 索引 / 组织 / 统计 / 缓存 / 网站 / 解析 / 负载均衡 / 软件 / 部署 / 配置 / 配置中心 / 限流 / 集群 / 需求 / 高可用 / 高并发

xubiao.zhuang 发布于 2019-02-26

本文将和大家分享饿了么作为高速发展的互联网企业之一，在发展历程中数据库技术如何跟随企业发展并不断满足业务的需求。 分享内容大致涉及到以下五点： 数据库架构怎么满足业务、支撑业务发展 怎么提高数据库的可用性 如何对数据流进行相应的控制和保护 规模大了以后如何提高数据库运维的效率 一...

阅读(247)评论(0)赞 (0)标签：2015 / 2019 / ACE / App / bus / CTO / db / DDL / Developer / http / https / id / map / Master / mysql / QPS / sql / sqoop / src / tab / Uber / UI / 一致性 / 专注 / 主从架构 / 云 / 互联网 / 互联网企业 / 代码 / 企业 / 删除 / 压力 / 同步 / 备份 / 大数据 / 安全 / 实例 / 希望 / 开发 / 开源 / 性能问题 / 总结 / 房间 / 数据 / 数据库 / 时间 / 服务器 / 架构演进 / 测试 / 测试环境 / 空间 / 管理 / 缓存 / 网站 / 自动化 / 营销 / 部署 / 配置 / 限流 / 集群 / 需求 / 高可用