转载

主数据和大数据相关文章整理(1.14)

在2017年准备对已有的MDM主数据管理系统进行改造，整个改造思路可以分为两个大的步骤来进行，即首先形成一个MDM主数据管理空平台，其次结合元数据驱动模型形成一些可快速定制功能配置和开发。

1.空平台：包括了元数据管理，流程引擎，数据集成，服务集成，数据质量管理

经过一些售前项目的支撑，我们发现大部分企业在信息系统孤岛形成后首先思考的仍然是解决数据层面的问题，而对于数据和服务集成仅仅是解决数据问题的一部分。即可以理解为数据的问题推动了MDM系统和数据治理管控体系建设的需求，同时MDM也推动了ESB相关集成平台建设的需求。

企业在发展初期最常见的两类集成仍然是围绕4A和MDM展开的相关基础数据整合和集成。在元数据驱动的主数据管理平台两篇文章中基本把如果构建一个空平台和构建可配置的内容管理平台基础能力讲清楚了。

元数据驱动的主数据管理平台-01 ： http://blog.sina.com.cn/s/blog_493a84550102w8um.html

元数据驱动的主数据管理平台-02 ： http://blog.sina.com.cn/s/blog_493a84550102whi8.html

对于数据稽核是MDM里面数据质量管理的一部分内容，这部分在企业内部需求相当明显，对于数据稽核平台的重点仍然在如何形成可以灵活配置稽核规则的快速，准确和自动化的数据稽核和问题发现能力。

谈数据稽核01 ： http://blog.sina.com.cn/s/blog_493a84550101edo2.html

谈数据稽核02 ： http://blog.sina.com.cn/s/blog_493a84550101een4.html

谈数据稽核03 ： http://blog.sina.com.cn/s/blog_493a84550102w79c.html

对于大数据平台方面，在2016年整体研发投入不大，重点还是围绕数据采集集成，数据调度方面进一步对已有的子系统进行整合，形成一个完整的大数据融合调度平台。该平台基本成型，在后面将专门写一篇文章来进行介绍。对于数据分析，数据可视化，数据挖掘等当前主要是预研为主，暂时无大投入。

大数据和传统BI： http://blog.sina.com.cn/s/blog_493a84550102wju0.html

大数据融合调度核心是提供一个类似工作流引擎设计器方式的调度活动和调度流程设计平台，同时提供一个完整的调度流程运行和监控平台。所有外部的脚本，Java包，存储过程，命令等都可以做为调度活动节点配置的内容，特别是对于Flume , MapReduce, Hive等场景的脚本完全可以集成到该平台进行统一调度和管理。

大数据服务集成： http://blog.sina.com.cn/s/blog_493a84550102whi6.html

大数据采集和集成： http://blog.sina.com.cn/s/blog_493a84550102w83v.html

数据库实时同步和复制： http://blog.sina.com.cn/s/blog_493a84550102vqvx.html

数据分析概述： http://blog.sina.com.cn/s/blog_493a84550102vtwq.html

数据分析-刷卡数据： http://blog.sina.com.cn/s/blog_493a84550102vu66.html

对于已有的知识，有些停留于表面，今年又进行了学习和回顾，并不是说要研究多么深入，而是希望通过进一步学校抓住知识点的核心和问题的本质。例如用户画像，推荐引擎，深度学习等，经过进一步的学习对其核心思路和本质的把握进一步准确。

大数据用户画像： http://blog.sina.com.cn/s/blog_493a84550102wkzo.html

数据可视化方面希望在2017年能够有实际项目实践。但是重点可能不是在D3或HighChart等，而是对于R语言画图方面的研究，重点可能会在聚类分析，类似6Sigma的质量控制和分析。

原文 http://blog.sina.com.cn/s/blog_493a84550102woch.html

正文到此结束