第5讲回顾:FATE整体架构介绍与系统实践

「AI开发者成长计划」首期公开课由机器之心与微众银行联合开设,主题为《联邦学习FATE入门与应用实战》,特邀合作伙伴 VMware 也将参与分享。 公开课为期4周,共6期课程 ,设置主题分享、项目实践、在线答疑等环节,从零入门联邦学习。

整体学习计划与加入方式请查看: 《联邦学习FATE入门与应用实战》公开课上线!

3 月 24 日,机器之心联合微众银行开设的公开课 《联邦学习 FATE 入门与应用实战》
第五讲结课,微众银行人工智能系统架构师曾纪策为大家介绍了 FATE 的整体架构、系统关键数据流以及如何实践。回顾视频如下: 



第五课精选问答

1、问一下当前联邦学习框架中心服务器由谁负责?还是不需要中心服务器汇集各方参数

目前FATE支持的计算引擎不需要中心服务器

2、fate怎么把模型转换成protobuf?

  • 模型的protobuf定义文件请参考:federatedml/protobuf/proto/
  • 模型数据的生成请参考每个算法component的export_model函数:federatedml/model_base.py(基类),federatedml/tree/hetero_secureboosting_tree_guest.py(树模型)

3、合作两方交互通信方式?

加密GRPC协议

4、federation调用metaservice,metaservice从mysq里读取存储的namespace?

  •  MetaService是一个数据库读写的接口服务
  • Dtable分片存储于各个Egg节点(storage-service),数据库(例如MySQL)里面存储了DTable的分片地址,Federation需要取得分片地址。

5、guest如何配置可拿到host数据呢?

  • 没有办法,FATE是一个基于多方安全计算的数据隐私保护机器学习框架
  • 对于训练中间数据,federatedml/transfer_variable/definition/定义了每个组件可以交换传输的数据定义,是一种自我保护机制
  • 对于联邦调度,交换的是调度命令以及任务状态信息
  • 同时FATE提供自我鉴权白名单机制的高级功能,目前支持role、party id、component维度

6、fate和pysyft的对比?

  • 两者有许多侧重点不一样,例如PySyft侧重学术研究及横向联邦;FATE重于工业应用、纵向联邦、横向联邦、迁移联邦。
  • 调度机制不一样,PySyft采取了类似指针的方式进行多方调度,安全性及广域网下的稳定性需要探讨。

7、灰度上线是怎么实现的?

两种方式,1)使用不同的service id对应不同的模型,由上游调用系统依据实际需求传参不同的service id实现,优点是灰度策略上比较灵活,缺点是需要上游调用系统配合,2)使用同样的service id,使用fate flow的bind命令,给不同的seving实例绑定不同的模型,那么请求到达不同的serving实例会使用不同的模型进行推理。

8、是不是HOST有数据并且可以通过ID查到,否则无法推理?

无论哪一方没有对应的样本,合并的推理结果就缺少该方模型的推理结果,最终推理请求可以返回,但是需要关注状态码。

原文 

https://www.jiqizhixin.com/articles/2020-03-26-4

本站部分文章源于互联网,本着传播知识、有益学习和研究的目的进行的转载,为网友免费提供。如有著作权人或出版方提出异议,本站将立即删除。如果您对文章转载有任何疑问请告之我们,以便我们及时纠正。

PS:推荐一个微信公众号: askHarries 或者qq群:474807195,里面会分享一些资深架构师录制的视频录像:有Spring,MyBatis,Netty源码分析,高并发、高性能、分布式、微服务架构的原理,JVM性能优化这些成为架构师必备的知识体系。还能领取免费的学习资源,目前受益良多

转载请注明原文出处:Harries Blog™ » 第5讲回顾:FATE整体架构介绍与系统实践

赞 (0)
分享到:更多 ()

评论 0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址