微软开源用于Spark的深度学习库MMLSpark



微软开源用于Spark的深度学习库MMLSpark

微软开源了 MMLSpark,用于用于 Apache Spark 的的深度学习库。MMLSpark 可以与微软认知工具包和 OpenCV 完美整合。

微软发现,虽然 SparkML 可以建立可扩展的机器学习平台,绝大多数开发者的精力都耗在了调用底层 API 上。MMLSpark 旨在简化 PySpark 中的重复性工作。

以 UCI 的成人收入普查数据集举例,使用其他项目预测收入:

微软开源用于Spark的深度学习库MMLSpark

        如果直接使用 SparkML,每一列都需要单独处理,整理为正确的数据类型;在 MMLSpark 中只需要两行代码

model = mmlspark.TrainClassifier (model=LogisticRegression (), labelCol=” income”) .fit (trainData) predictions = model.transform (testData)

        深度神经网络(DNN)在图像识别和语音识别等领域不逊于人类,但是 DNN 模型的训练需要专业人员方可进行,与 SparkML 的整合也十分不易。MMLSpark 提供了方便的 Python API,可以方便地训练 DNN 算法。MMLSpark 可以方便地使用现有模型进行分类任务、在分布式 GPU 节点上进行训练、以及使用 OpenCV 建立可扩展的图像处理管线。

        以下 3 行代码可以从微软认知工具集中初始化一个 DNN 模型,从图像中抽取特征:

cntkModel = CNTKModel () .setInputCol (“images”) .setOutputCol (“features”) .setModelLocation (resnetModel) .setOutputNode (“z.x”) featurizedImages = cntkModel.transform (imagesWithLabels) .select ([‘labels’,’features’]) model = TrainClassifier (model=LogisticRegression (),labelCol=”labels”) .fit (featurizedImages)

        MMLSpark 已经发布到 Docker Hub 上,使用下面的命令即可在单机部署:

docker run -it -p 8888:8888 -e ACCEPT_EULA=yes microsoft/mmlspark

        MMLSpark 使用 MIT 协议授权。

        查看英文原文:

        https://github.com/Azure/mmlspark

        https://blogs.technet.microsoft.com/machinelearning/2017/06/07/announcing-microsoft-machine-learning-library-for-apache-spark/

来自: InfoQ



扩展阅读

开发者必备:基于Linux生态的十大AI开源框架盘点
开发者必备:基于Linux生态的十大AI开源框架盘点
2016AI巨头开源IP盘点 50个最常用的深度学习库
大数据工具比较:R语言和Spark谁更胜一筹?
近200篇机器学习&深度学习资料分享(含各种文档,视频,源码等)

为您推荐

你应该使用 Django admin 的 9 个理由
FEX 技术周刊-2015/09/07
2014年国人开发的最热门的开源软件TOP 100
FEX 技术周刊 – 2015/11/23
Jsdom 5.4.1 发布,JavaScriptHTML 解析

更多


开源软件

本站部分文章源于互联网,本着传播知识、有益学习和研究的目的进行的转载,为网友免费提供。如有著作权人或出版方提出异议,本站将立即删除。如果您对文章转载有任何疑问请告之我们,以便我们及时纠正。

PS:推荐一个微信公众号: askHarries 或者qq群:474807195,里面会分享一些资深架构师录制的视频录像:有Spring,MyBatis,Netty源码分析,高并发、高性能、分布式、微服务架构的原理,JVM性能优化这些成为架构师必备的知识体系。还能领取免费的学习资源,目前受益良多

转载请注明原文出处:Harries Blog™ » 微软开源用于Spark的深度学习库MMLSpark

赞 (0)
分享到:更多 ()

评论 0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址