大数据漫谈4：大数据怎么发挥大价值?

专家简介：李剑杰，新炬网络架构师，资深数据资产管理、大数据专家，10年数据资产管理经验，曾参与多个移动、联通、银行、烟草数据资产管理项目，对数据资产有丰富的项目规划管理、落地实施经验。

前面我们已经谈过了大数据是什么，怎么构建大数据系统，那么，是不是把大数据平台搭建起来，就可以发挥大数据的价值？就一劳永逸了吗？

显然，并不是！

相对于以前的数据分析系统，大数据系统，有其特殊性。一般而言，大数据系统工程都比较大，更多的数据，更多的需求，更高的灵活性，决定了大数据更应该以平台的方式来建设，松耦合共享的方式来支撑应用。

大数据平台是一个完整、复杂的体系工程，包括了基础技术平台的搭建、能力模型的组织、平台的运营管理、数据模型的管控、平台的应用建设以及其它配套资源的协调。一个平台要持续具备高效的能力输出，发挥平台价值，是一个长期的、需要多方面共同协作配合的过程。如下图所示：

技术平台

技术平台是发挥大数据价值的核心基础，只有构建了合适的大数据技术平台，才能进行数据采集、数据存储、数据处理，才能发挥大数据的价值。目前在大数据技术上，比较流行、发展快速的，也就是大家比较熟悉的hadoop架构体系了，其开源、免费属性，使其在最近几年，得到了飞速的发展，开始在互联网企业、大型的传统企业落地生根，发挥价值。

由于hadoop的开源免费属性，大家都可以去下载项目，搭建系统。在这里需要说明一下的是，仅仅把各个组件部署串联起来，把流程走通，测试个HellWorld，那仅仅只是个Demo，和让hadoop真正在商业上24小时不间断稳定用起来，是完全不同，不是一个层次上的事。

除了组件的实施构建，还需要考虑很多方面，如：

● 在最开始规划时，需要根据业务情况，进行技术选型。如是否存在大数据量查询？是否有实时数据需求？查询复杂度情况等等。不同的业务特点，会有不同的技术支撑。

● 在硬件、网络方面，需要考虑时优先内存处理，还是磁盘处理？网络需要多大？千兆？万兆？怎么设计、分配？

● 在安全控制方面，要设计如何进行安全认证；如何排除伪节点攻击；如何更好的进行用户管理、操作隔离等。

……

能力模型

大数据平台作为大数据中心，需要统一对外提供数据，支撑应用的百花齐放。共享模型，是大数据平台最好的能力承载介质，可以有效支撑数据需求。统一的共享模型，可以降低系统藕合度，提高需求的支撑效率，同时还能够减少数据冗余，优化数据支撑能力。

运营管理

大数据平台初步搭建起来后，进入了日常运营管理阶段，持续发挥价值。很多分析系统，往往在一开始都只是提供基本的业务需求，但是需求随着时间的推移，是不断增加，更加复杂的。要想真正发挥大数据平台的价值，平台在日常运营中，怎么更好更快的满足业务需求，是一个需要重视的关键点。在共享模式中，一般平台运营流程如下：

模型管控

一个平台要发挥价值，模型设计是关键。模型的质量，直接影响应用的满足，平台本身的稳定高效。前期的模型设计再好，如果后期没有配套的模型管控流程，没有切实落地执行，模型就会慢慢变得臃肿，杂乱，效率低下，会导致整个平台的失败。一般模型管控可以包含模型的管理、评审、实施、优化等内容。

应用建设

应用是数据价值体现的窗口。数据要发挥价值，最直接的方式就是通过应用展现出来，直观，可视。根据数据的使用方式，一般可以将数据的呈现分为常规报表和专题分析。常规报表是根据企业日常运营需要，将数据做常态化展现，相对固定。专题分析一般是根据具体的专项需求，进行专题化的分析、建模、挖掘展现，具有很专业化解决问题的倾向，比如支撑某个营销策划，促进销售，增长用户；或者针对旅游季节，进行旅游专题分析支撑等。可以在短期内看到效果，具有一定的时效性。

大数据是一个系统化工程，要持续、有效的发挥大数据价值，必须把大数据平台当作一个有机整体来看待。将技术、管理、业务有机的结合起来，以业务需求为中心，技术平台为基础，管理流程为辅助，让大数据平台有效的发挥价值，健康的发挥价值，为企业的持续发展，奠定有力的数据支撑，为企业的快速发展护驾保航，在数字化时代立于不败之地。