什么是“大数据”----西线的理解，给每个人一些方向

一、什么是大数据?

互联网信息技术的发展大数据新技术，各领域已经有“海量数据”、“大规模数据”等概念，但这些概念只着眼于数据规模本身，未能充分反映数据爆发背景下的数据处理与应用需求，而“大数据”这一新概念不仅指规模庞大的数据对象，也包含对这些数据对象的处理和应用活动，是数据对象、技术与应用三者的统一。

1、大数据(bigdata)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据对象既可能是实际的、有限的数据集合，如某个政府部门或企业掌握的数据库，也可能是虚拟的、无限的数据集合，如微博、微信、社交网络上的全部信息。

大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从数据的类别上看，“大数据”指的是无法使用传统流程或工具处理或分析的信息。它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。

2、大数据技术，是指从各种各样类型的大数据中，快速获得有价值信息的技术的能力，包括数据采集、存储、管理、分析挖掘、可视化等技术及其集成。

3、大数据应用，指对特定的大数据集合，集成应用大数据技术，获得有价值信息的行为。对于不同领域、不同企业的不同业务，甚至同一领域不同企业的相同业务来说，由于其业务需求、数据集合和分析挖掘目标存在差异，所运用的大数据技术和大数据信息系统也可能有着相当大的不同。惟有坚持“对象、技术、应用”三位一体同步发展，才能充分实现大数据的价值。

当你的技术达到极限时，也就是数据的极限”。大数据不是关于如何定义，最重要的是如何使用。最大的挑战在于哪些技术能更好的使用数据以及大数据的应用情况如何。这与传统的数据库相比，开源的大数据分析工具的如hadoop的崛起，这些非结构化的数据服务的价值在哪里。

二、大数据的类型和价值挖掘方法

1、大数据的类型大致可分为三类：

1)传统企业数据(Traditionalenterprisedata)：包括 CRM systems的消费者数据，传统的ERP数据，库存数据以及账目数据等。

2)机器和传感器数据(Machine-generated/sensor data)：包括呼叫记录(CallDetail Records)，智能仪表，工业设备传感器，设备日志(通常是Digital exhaust)，交易数据等。

3)社交数据(Socialdata)：包括用户行为记录，反馈数据等。如Twitter，Facebook这样的社交媒体平台。

2、大数据挖掘商业价值的方法主要分为四种：

1)客户群体细分，然后为每个群体量定制特别的服务。

2)模拟现实环境，发掘新的需求同时提高投资的回报率。

3)加强部门联系，提高整条管理链条和产业链条的效率。

4)降低服务成本，发现隐藏线索进行产品和服务的创新。

三、大数据的特点

业界通常用4个V(即Volume、Variety、Value、Velocity)来概括大数据的特征。具体来说，大数据具有4个基本特征：

1、是数据体量巨大

数据体量(volumes)大，指代大型数据集，一般在10TB规模左右，但在实际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量; 百度资料表明，其新首页导航每天需要提供的数据超过1.5PB(1PB=1024TB)，这些数据如果打印出来将超过5千亿张A4纸。有资料证实，到目前 为止，人类生产的所有印刷材料的数据量仅为200PB。

2、是数据类别大和类型多样

数据类别(variety)大，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化 数据范畴，囊括了半结构化和非结构化数据。现在的数据类型不仅是文本形式，更多的是图片、视频、音频、地理位置信息等多类型的数据，个性化数据占绝对多数。

3、是处理速度快

在数据量非常庞大的情况下，也能够做到数据的实时处理。数据处理遵循“1秒定律”，可从各种类型的数据中快速获得高价值的信息。

4、是价值真实性高和密度低

数据真实性(Veracity)高，随着社交数据、企业内容、交易与应用数据等新数据源的兴趣，传统数据源的局限被打破，企业愈发需要有效的信息之力以确保其真实性及安全性。以视频为例，一小时的视频，在不间断的监控过程中，可能有用的数据仅仅只有一两秒。

四、大数据的商业价值

1、对顾客群体细分

“大数据”可以对顾客群体细分，然后对每个群体量体裁衣般的采取独特的行动。瞄准特定的顾客群体来进行营销和服务是商家一直以来的追求。云存储的海量数据和“大数据”的分析技术使得对消费者的实时和极端的细分有了成本效率极高的可能。

2、模拟实境

运用“大数据”模拟实境，发掘新的需求和提高投入的回报率。现在越来越多的产品中都装有传感器，汽车和智能手机的普及使得可收集数据呈现爆炸性增长。Blog、Twitter、Facebook和微博等社交网络也在产生着海量的数据。

云计算和“大数据”分析技术使得商家可以在成本效率较高的情况下，实时地把这些数据连同交易行为的数据进行储存和分析。交易过程、产品使用和人类行为都可以 数据化。“大数据”技术可以把这些数据整合起来进行数据挖掘，从而在某些情况下通过模型模拟来判断不同变量(比如不同地区不同促销方案)的情况下何种方案 投入回报最高。

3、提高投入回报率

提高“大数据”成果在各相关部门的分享程度，提高整个管理链条和产业链条的投入回报率。“大数据”能力强的部门可以通过云计算、互联网和内部搜索引擎把”大数据”成果和“大数据”能力比较薄弱的部门分享，帮助他们利用“大数据”创造商业价值。

4、数据存储空间出租

企 业和个人有着海量信息存储的需求，只有将数据妥善存储，才有可能进一步挖掘其潜在价值。具体而言，这块业务模式又可以细分为针对个人文件存储和针对企业用 户两大类。主要是通过易于使用的API，用户可以方便地将各种数据对象放在云端，然后再像使用水、电一样按用量收费。目前已有多个公司推出相应服务，如亚 马逊、网易、诺基亚等。运营商也推出了相应的服务，如中国移动的彩云业务。

5、管理客户关系

客户管理应用的目的是根据客户的属性(包括自然属性和行为属性)，从不同角度深层次分析客户、了解客户，以此增加新的客户、提高客户的忠诚度、降低客户流失 率、提高客户消费等。对中小客户来说，专门的CRM显然大而贵。不少中小商家将飞信作为初级CRM来使用。比如把老客户加到飞信群里，在群朋友圈里发布新 产品预告、特价销售通知，完成售前售后服务等。

6、个性化精准推荐

在 运营商内部，根据用户喜好推荐各类业务或应用是常见的，比如应用商店软件推荐、IPTV视频节目推荐等，而通过关联算法、文本摘要抽取、情感分析等智能分 析算法后，可以将之延伸到商用化服务，利用数据挖掘技术帮助客户进行精准营销，今后盈利可以来自于客户增值部分的分成。

以日常的“垃圾短信”为例，信息并不都是“垃圾”，因为收到的人并不需要而被视为垃圾。通过用户行为数据进行分析后，可以给需要的人发送需要的信息，这样“垃圾短信”就成了有价值的信息。在日本的麦当劳，用户在手机上下载优惠券，再去餐厅用运营商DoCoMo的手机钱包优惠支付。运营商和麦当劳搜集相关消费信息，例如经常买什么汉堡，去哪个店消费，消费频次多少，然后精准推送优惠券给用户。

7、数据搜索

数据搜索是一个并不新鲜的应用，随着“大数据”时代的到来，实时性、全范围搜索的需求也就变得越来越强烈。我们需要能搜索各种社交网络、用户行为等数据。其商业应用价值是将实时的数据处理与分析和广告联系起来，即实时广告业务和应用内移动广告的社交服务。

运营商掌握的用户网上行为信息，使得所获取的数据“具备更全面维度”，更具商业价值。典型应用如中国移动的“盘古搜索”。

五、总结

西线学院致力于专业的大数据人才服务，我们认为不管大数据的核心价值是不是预测，但是基于大数据形成决策的模式已经为不少的企业带来了盈利和声誉。

1、从大数据的价值链条来分析，存在三种模式：

1)手握大数据，但是没有利用好;此类更多是之前已有较多数据积累的行业，如电信行业，政府机构等。

2)没有数据，但是知道如何帮助有数据的人利用它;比较典型的是IT咨询和服务企业，比如：埃森哲，IBM等。

3)既有数据，又有大数据思维;比较典型的是Google，Amazon，Mastercard等。

2、未来在大数据领域最具有价值的是两种事物：

1)拥有大数据思维的人，这种人可以将大数据的潜在价值转化为实际利益;

2)还未有被大数据触及过的业务领域。这些是还未被挖掘的油井，金矿，是所谓的蓝海。

西线学院专注于大数据，西线就是基于对大数据这样的理解，才会提供专业的大数据人才服务。为每个人准备把握这一新兴领域提供新机遇，行业需要每个人不断跟踪研究大数据，不断提升对大数据的认知和理解，西线也在推动行业、企业对于数据的应用人才的需求和应用水平进入新阶段。

（编辑：应用网_常德站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!