微软开源用于Spark的深度学习库MMLSpark



微软开源用于Spark的深度学习库MMLSpark

微软开源了 MMLSpark,用于用于 Apache Spark 的的深度学习库。MMLSpark 可以与微软认知工具包和 OpenCV 完美整合。

微软发现,虽然 SparkML 可以建立可扩展的机器学习平台,绝大多数开发者的精力都耗在了调用底层 API 上。MMLSpark 旨在简化 PySpark 中的重复性工作。

以 UCI 的成人收入普查数据集举例,使用其他项目预测收入:

微软开源用于Spark的深度学习库MMLSpark

        如果直接使用 SparkML,每一列都需要单独处理,整理为正确的数据类型;在 MMLSpark 中只需要两行代码

model = mmlspark.TrainClassifier (model=LogisticRegression (), labelCol=” income”) .fit (trainData) predictions = model.transform (testData)

        深度神经网络(DNN)在图像识别和语音识别等领域不逊于人类,但是 DNN 模型的训练需要专业人员方可进行,与 SparkML 的整合也十分不易。MMLSpark 提供了方便的 Python API,可以方便地训练 DNN 算法。MMLSpark 可以方便地使用现有模型进行分类任务、在分布式 GPU 节点上进行训练、以及使用 OpenCV 建立可扩展的图像处理管线。

        以下 3 行代码可以从微软认知工具集中初始化一个 DNN 模型,从图像中抽取特征:

cntkModel = CNTKModel () .setInputCol (“images”) .setOutputCol (“features”) .setModelLocation (resnetModel) .setOutputNode (“z.x”) featurizedImages = cntkModel.transform (imagesWithLabels) .select ([‘labels’,’features’]) model = TrainClassifier (model=LogisticRegression (),labelCol=”labels”) .fit (featurizedImages)

        MMLSpark 已经发布到 Docker Hub 上,使用下面的命令即可在单机部署:

docker run -it -p 8888:8888 -e ACCEPT_EULA=yes microsoft/mmlspark

        MMLSpark 使用 MIT 协议授权。

        查看英文原文:

        https://github.com/Azure/mmlspark

        https://blogs.technet.microsoft.com/machinelearning/2017/06/07/announcing-microsoft-machine-learning-library-for-apache-spark/

来自: InfoQ



扩展阅读

开发者必备:基于Linux生态的十大AI开源框架盘点
开发者必备:基于Linux生态的十大AI开源框架盘点
2016AI巨头开源IP盘点 50个最常用的深度学习库
大数据工具比较:R语言和Spark谁更胜一筹?
近200篇机器学习&深度学习资料分享(含各种文档,视频,源码等)

为您推荐

你应该使用 Django admin 的 9 个理由
FEX 技术周刊-2015/09/07
2014年国人开发的最热门的开源软件TOP 100
FEX 技术周刊 – 2015/11/23
Jsdom 5.4.1 发布,JavaScriptHTML 解析

更多


开源软件

PS:如果您想和业内技术大牛交流的话,请加qq群(527933790)或者关注微信公众 号(AskHarries),谢谢!

转载请注明原文出处:Harries Blog™ » 微软开源用于Spark的深度学习库MMLSpark

赞 (0)

分享到:更多 ()

评论 0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址