标签:executor

编程技术

重拾初心——Sqoop1和Sqoop2的刨析对比

3

刘莉莉 发布于 2017-02-20

打开微信扫一扫,关注微信公众号【码农故事多】 转载请注明出处: http://www.voidcn.com/blog/gamer_gyt/ 博主微博: http://weibo.com/234654758 Github: https://github.com/thinkgamer...

阅读(6)评论(0)赞 (0)

开源软件

Hazelcast v3.8 发布,一个数据分发和集群平台

2

尖兵 发布于 2017-02-20

  Hazelcast是一个高度可扩展的数据分发和集群平台。 可用于实现分布式数据存储、数据缓存。特性包括: 提供java.util.{Queue, Set, List, Map} 分布式实现。 提供java.util.concurrent.ExecutorServic...

阅读(6)评论(0)赞 (0)

编程技术

Antares:分布式任务调度平台

15

Harries 发布于 2017-02-20

分布式任务调度平台(Distributed Job Schedule Platform) Antares特性 基于Quartz的分布式调度 一个任务仅会被服务器集群中的某个节点调度,调度机制基于成熟的 Quartz ,antares内部会重写执行逻辑; 并行执行 用户可通过对任务...

阅读(4)评论(0)赞 (0)

编程技术

解读阿里官方代码规范(三)

3

Harries 发布于 2017-02-18

今天是2017年2月16日 这是demo2do的第 3 篇文章 本文同时隶属于 【代码洁癖】 系列 本文是阿里官方代码规范解读系列的第三篇,本系列总计五篇。 格式规约 格式规约是代码规范中争议最大的,由于条目众多,在这里就不逐一解读,挑选几条大致说一下。 1. 3.5 缩进采用4...

阅读(17)评论(0)赞 (0)

互联网.科技

从0到1,Python异步编程的演进之路

9

xiaoli.he 发布于 2017-02-16

本文将通过一些例子来讲述作为Python开发者有哪些常用的方式来实现异步编程,以及分享个人对异步编程的理解,如有错误,欢迎指正。 先从一个例子说起。 小梁是一个忠实的电影好爱者,有一天,小梁看到豆瓣这个网站,发现了很多自己喜欢的内容,恰好小梁是个程序猿,于是心血来潮的他决定写个程...

阅读(13)评论(0)赞 (0)

编程技术

多线程之线程池的应用

changyuan.xu 发布于 2017-02-16

在Java1.5中提供了一个非常高效实用的多线程包:java.util.concurrent,提供了大量高级工具,可以帮助开发者编写高效易维护、结构清晰的Java多线程程序。 线程池 之前我们在使用多线程都是用Thread的start()来创建启动一个线程,但是在实际开发中,如果...

阅读(16)评论(0)赞 (0)

编程技术

TensorFlow Template Applications

3

changyuan.xu 发布于 2017-02-16

作者:陈迪豪,小米深度学习工程师,目前负责小米云深度学习平台架构与开发。 模板应用介绍 TensorFlow template applications表示通用的TensorFlow应用代码,用户通过复用这些模板大大降低了编写TensorFlow模型的难度和成本。 由于模型训练数...

阅读(10)评论(0)赞 (0)

编程技术

Yahoo开源TensorFlowOnSpark

4

邓龙华 发布于 2017-02-16

Yahoo Big ML团队成员Lee Yang、Jun Shi、Bobbie Chern和Andy Feng日前合著了一篇文章,详细介绍了他们开源的TensorFlowOnSpark的方方面面。 Yahoo开源的TensorFlowOnSpark使Google发起的Tensor...

阅读(7)评论(0)赞 (0)

编程技术

细说 Lambda 表达式

1

xiaoli.he 发布于 2017-02-14

我们总是会用到 Lambda 表达式,它在 Kotlin 当中的地位可以说是举足轻重的。那么我们今天就来详细聊一聊 Lambda。 1. 什么是 Lambda 表达式 Lambda 表达式,其实就是匿名函数。而函数其实就是功能(function),匿名函数,就是匿名的功能代码了。...

阅读(14)评论(0)赞 (0)

编程技术

沪江任务调度系统的演化

5

xiaoli.he 发布于 2017-02-13

前言 异步任务系统在计算机领域的应用十分广泛,例如音视频的转码及科学计算等,这些任务的特点是运行耗时长,消耗较多CPU和内存。随着音视频清晰度逐渐增强、需要计算的数据量逐渐增大,任务运行的时间变的越来越长,承载任务的服务器也因受到硬件的限制而变得无法承受。 为了解决这个问题,以前...

阅读(19)评论(0)赞 (0)

编程技术

众筹平台建设所踩的坑

2

zhuangli 发布于 2017-02-13

我们本身是一家互联网金融公司,公司的主流业务就是p2p,因为各种原因吧,15年底启动建设众筹平台。考虑到前期开发过程中的一些弊端和架构经验,本次架构引用了dubbo做soa服务的治理,web容器nginx+tomcat,后端语言采用java,框架选择spring+mybaits,...

阅读(19)评论(0)赞 (0)

编程技术

Spark Streaming 不同Batch任务可以并行计算么?

2

changyuan.xu 发布于 2017-02-11

关于Spark Streaming中的任务有如下几个概念: Batch Job Stage Task 其实Job,Stage,Task都是Spark Core里就有的概念,Batch则是Streaming特有的概念。同一Stage里的Task一般都是并行的。同一Job里的Stag...

阅读(14)评论(0)赞 (0)

编程技术

Netty HTTP on Android

1

changyuan.xu 发布于 2017-02-10

Netty是一个NIO的客户端服务器框架,它使我们可以快速而简单地开发网络应用程序,比如协议服务器和客户端。它大大简化了网络编程,比如TCP和UDP socket服务器。 “快速而简单”并不意味着开发出来的应用可维护性或性能不好。Netty已经实现了大量的协议,比如FTP,SMT...

阅读(14)评论(0)赞 (0)

开源软件

Apache Mesos v1.1.1-rc1 发布

3

hellas 发布于 2017-02-08

  Mesos诞生于UC Berkeley的一个研究项目,现已成为Apache Incubator中的项目,当前有一些公司使用Mesos管理集群资源,比如Twitter。 Apache Mesos由四个组件组成,分别是Mesos-master,mesos-slave,f...

阅读(27)评论(0)赞 (0)

编程技术

Python并发编程线程、进程池

1

yeseng 发布于 2017-02-08

引言 Python标准库为我们提供了threading和multiprocessing模块编写相应的多线程/多进程代码,但是当项目达到一定的规模,频繁创建/销毁进程或者线程是非常消耗资源的,这个时候我们就要编写自己的线程池/进程池,以空间换时间。但从Python3.2开始,标准库...

阅读(15)评论(0)赞 (0)

编程技术

理解 RxJava 的线程模型

7

尖兵 发布于 2017-02-05

(点击 上方公众号 ,可快速关注) 来源:鸟窝, colobu.com/2016/07/25/understanding-rxjava-thread-model/ 如有好文章投稿,请点击 → 这里了解详情 ReactiveX是Reactive Extensions的缩写,一般简写...

阅读(15)评论(0)赞 (0)

开源软件

Hazelcast v3.8-RC1 发布,一个数据分发和集群平台

2

hanze 发布于 2017-02-05

  Hazelcast是一个高度可扩展的数据分发和集群平台。 可用于实现分布式数据存储、数据缓存。特性包括: 提供java.util.{Queue, Set, List, Map} 分布式实现。 提供java.util.concurrent.ExecutorServic...

阅读(20)评论(0)赞 (0)

编程技术

Spark UnifiedMemoryManager内存管理模型分析

4

xiaoli.he 发布于 2017-02-03

Spark的内存使用,大体上可以分为两类:Execution内存和Storage内存。在Spark 1.5版本之前,内存管理使用的是StaticMemoryManager,该内存管理模型最大的特点就是,可以为Execution内存区与Storage内存区配置一个静态的bounda...

阅读(23)评论(0)赞 (0)