大数据时代 分析.ppt

《大数据时代 分析.ppt》由会员分享，可在线阅读，更多相关《大数据时代 分析.ppt（58页珍藏版）》请在一课资料网上搜索。

1、大数据时代大数据时代Is comingIs coming信息化管理部信息化管理部 王子健王子健二二0 0一三年八月一三年八月大数据时代大数据时代w认识大数据认识大数据w大数据带来的变革w大数据背景下的企业管理w大数据的商业价值w大数据的风险大数据大数据w何为大？何为大？数据度量数据度量w1Byte=8 Bitw1KB=1,024 Bytesw1MB=1,024 KB=1,048,576 Bytesw1GB=1,024 MB=1,048,576 KB=1,073,741,824 Bytesw1TB=1,024 GB=1,048,576 MB=1,099,511,627,776 Bytesw1PB

2、=1,024 TB=1,048,576 GB=1,125,899,906,842,624 Bytesw1EB=1,024 PB=1,152,921,504,606,846,976 Bytesw1ZB=1,024 EB=1,180,591,620,717,411,303,424 Bytesw1YB=1,024 ZB=1,208,925,819,614,629,174,706,176 Bytes大数据大数据w红楼梦含标点87万字（不含标点853509字）w每个汉字占两个字节：1汉字=16bit=2*8位=2bytesw1GB 约等于671部红楼梦w1TB 约等于631,903 部w1PB 约等于6

3、47,068,911部w美国国会图书馆藏书（151,785,778册）（2011年4月：收录数据235TB）w1EB=4000倍美国国会图书馆存储的信息量 21 21世纪是数据信息大发展的时代，移世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。据正在迅速膨胀并变大。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。“大数据大数据”的

4、诞生：的诞生：半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念*。如今，这个概念几乎应用到了所有人类智力与发展的领域中。大数据时代的背景大数据时代的背景迎接大数据时代的到来迎接大数据时代的到来w硬件成本的降低硬件成本的降低w网络带宽的提升w云计算的兴起w网络技术的发展w智能终端的普及w电子商务、社交网络、电子地图等的全面应用w物联网迎接大数据时代的到来迎接大数据时代的到来w硬件成本的降低w网络带宽的提升网络带宽的提升w云计算的兴起w网络

5、技术的发展w智能终端的普及w电子商务、社交网络、电子地图等的全面应用w物联网迎接大数据时代的到来迎接大数据时代的到来w硬件成本的降低w网络带宽的提升w云计算的兴起云计算的兴起w网络技术的发展w智能终端的普及w电子商务、社交网络、电子地图等的全面应用w物联网迎接大数据时代的到来迎接大数据时代的到来w硬件成本的降低w网络带宽的提升w云计算的兴起w网络技术的发展网络技术的发展w智能终端的普及w电子商务、社交网络、电子地图等的全面应用w物联网迎接大数据时代的到来迎接大数据时代的到来w硬件成本的降低w网络带宽的提升w云计算的兴起w网络技术的发展w智能终端的普及智能终端的普及w电子商务、社交网络、电子地图

6、等的全面应用w物联网迎接大数据时代的到来迎接大数据时代的到来w硬件成本的降低w网络带宽的提升w云计算的兴起w网络技术的发展w智能终端的普及w电子商务、社交网络、电子地图等的全面应用电子商务、社交网络、电子地图等的全面应用w物联网迎接大数据时代的到来迎接大数据时代的到来w硬件成本的降低w网络带宽的提升w云计算的兴起w网络技术的发展w智能终端的普及w电子商务、社交网络、电子地图等的全面应用w物联网物联网迎接大数据时代的到来迎接大数据时代的到来大数据处理技术大数据处理技术让大数据能够为我所用，大数据时代终于开启了。一天之间，互联网上要发生多少事一天之间，互联网上要发生多少事w每天有29402940亿

7、亿封电子邮件发出，如果这些是纸质信件，在美国需要花费两年两年时间处理；w每天有200200万万篇博客在网上发布，这些文章相当于时代杂志刊发770770年年的总量；w每天有2.52.5亿亿张照片上传至社交网站Facebook，如果都打印出来，摞在一起能有8080个埃菲尔铁塔个埃菲尔铁塔那么高；w每天有86.486.4万小时万小时视频被上传至视频网站Youtube，相当于不间断播放视频9898年年；w每天有1.871.87亿个小时亿个小时的音乐会在流媒体音乐网站Pandora上播放，如果一一台电脑从公元元年就开始播放这些音乐会，到现在还没完没了地接着放台电脑从公元元年就开始播放这些音乐会，到现在还

8、没完没了地接着放；w谷歌翻译每天处理的文字数量,每天翻译次数达十亿次十亿次，相当于一百万册一百万册图书图书，超过了全世界的专业翻译人员一年一年能够翻译的文字规模；w百度每天的关键词搜索量5050亿亿，谷歌33.333.3亿亿；w淘宝天猫双11那一天营业额达191191亿人民币亿人民币。中国小商品城全年成交额才580.03580.03亿元人民币亿元人民币；w累积起来，互联网一天之内产生的信息总量，可以装满1.681.68亿张亿张DVDDVD光盘。w未来：物联网每天产生的数据将会是海量的。想驾驭这庞大的数据，我们必须了解大数据的特征。地球上至今总共的数据量地球上至今总共的数据量：在2006 200

9、6 年，个人用户才刚刚迈进TBTB时代，全球一共新产生了约180EB180EB的数据；在2011 2011 年，这个数字达到了1.8ZB1.8ZB。而有市场研究机构预测：到2020 2020 年，整个世界的数据总量将会增长44 44 倍，达到35.2ZB35.2ZB（1ZB=10 1ZB=10 亿TBTB）！）！1PB=250字节1EB=260字节1ZB=270字节大数据时代的爆炸增长大数据时代的爆炸增长大数据=海量数据+复杂类型的数据大数据包括：交易数据和交互数据集在内的所有数据集大数据的构成大数据的构成海量交易数据：企业内部的经营交易信息主要包括联机交易数据和联机分析数据，是结构化的、通过

10、关系数据库进行管理和访问的静态、历史数据。通过这些数据，我们能了解过去发生了什么。海量交互数据：源于Facebook、Twitter、LinkedIn及其他来源的社交媒体数据构成。它包括了呼叫详细记录CDR、设备和传感器信息、GPS和地理定位映射数据、通过管理文件传输Manage File Transfer协议传送的海量图像文件、Web文本和点击流数据、科学信息、电子邮件等等。可以告诉我们未来会发生什么。海量数据处理：大数据的涌现已经催生出了设计用于数据密集型处理的架构。例如具有开放源码、在商品硬件群中运行的Apache Hadoop。1.VolumeVolume2.VarietyVariet

11、y3.value4.VelocityVelocity结构化数据、半结构化数据和非结构化数据如今的数据类型早已不是单一的文本形式，订单、日志、音频，对处理能力提出了更高的要求沙里淘金，价值密度低以视频为例，一部一小时的视频，在连续不间断监控过程中，可能有用的数据仅仅只有一两秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”是目前大数据汹涌背景下亟待解决的难题实时获取需要的信息大数据区分于传统数据最显著的特征。如今已是ZB时代，在如此海量的数据面前，处理数据的效率就是企业的生命大数据是指无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合什么是什么是Big DataBi

12、g Data数据量巨大全球在2010 年正式进入ZB 时代，IDC预计到2020 年，全球将总共拥有35ZB 的数据量“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。大数据的大数据的4V4V特征特征大数据能给我们带来什么？大数据能给我们带来什么？大数据时代大数据时代w认识大数据w大数据带来的变革大数据带来的变革w大数据背景下的企业管理w大数据的商业价值w大数据的风险大数据时代全新的生活方式大数据时代全新的生活方式大数据时代的物联网，带给我们智能家居。大数据时代全新的生

13、活方式大数据时代全新的生活方式w购物：购物：不受时空限制，随时随地购物。在看不到商品的情况下，口碑就是质量。大数据时代全新的生活方式大数据时代全新的生活方式w旅行：旅行：足不出户，安排好一切。大数据时代全新的生活方式大数据时代全新的生活方式w信息：信息：人人都是传媒。大数据时代全新的生活方式大数据时代全新的生活方式w社交：社交：你所有的朋友都能在网络上找到。大数据时代全新的思维方式大数据时代全新的思维方式w分析事物时，依赖该事物的所有数据，不再是进行样本分析。w在大数据时代，允许不精确。w更注重相关关系，而不是因果关系。大数据时代全新的商业模式大数据时代全新的商业模式w纸牌屋纸牌屋。Netfl

14、ix并不是任何一个电视台，而是电视台和电影院的平台，是北美最大的付费订阅视频网站。基于其3000万北美用户观看视频时留下的行为数据，预测出凯文史派西、大卫芬奇和“BBC出品”三种元素结合在一起的电视剧产品将会大火特火。此外，Netflix还通过“大数据”观测到另一流行趋势：越来越多的人不再像30年前那样，在固定晚上的固定时刻守在电视机前，等着收看电视剧的最新剧集，而是“攒”起来，直到整季剧情全部播放完毕之后，才选一个自己方便的时间段和地点，在方便的设备（多数是网络设备，如电脑、iPad）上一次性观看。大数据时代全新的管理模式大数据时代全新的管理模式w除了上帝，任何人都必须用数据来说话。w案例：

15、google的设计师w卓越的管理者必须要利用数据进行决策。w案例：克强指数 卓越的管理者利用数据进行决策卓越的管理者利用数据进行决策w克强指数：克强指数：工业用电量、中长期信贷余额和铁路货运量。大数据时代大数据时代w认识大数据w大数据带来的变革w大数据背景下的企业管理大数据背景下的企业管理w大数据时代的商业价值w大数据的风险大数据时代的企业管理大数据时代的企业管理数据从哪里来？数据怎么用？除了上帝，任何人都必须用数据来说话。除了上帝，任何人都必须用数据来说话。数据来源于业务。数据来源于业务。w量化一切，数据化的核心。w案例：对酒店门童服务的量化。1 1、企业信息化建设，收集数据。、企业信息化建

16、设，收集数据。企业信息化把数据数字化，实现数据管理。企业信息化把数据数字化，实现数据管理。大数据时代的企业信息化大数据时代的企业信息化企业信息化管理的是大数据中的结构化数据的那部分，因此精确度可以达到100%。前提是数据录入100%的准确。管理设计合理管理设计合理 +业务操作正确业务操作正确 =正确的数据正确的数据企业管理的数据企业管理的数据数据是企业最宝贵的财富。1 1）产品数据：）产品数据：计算、设计、仿真、工艺、加工、试验、维护数据、产品结构、配置关系、变更记录等。随着三维造型技术、真三维渲染、虚拟现实技术的广泛应用，产品模型的数据量也迅速增大；而对产品进行多学科仿真分析，更是需要高性能

17、计算环境来处理海量的数据。计算能力的迅速提升，使得工程师在产品性能仿真时，可以设定更细的有限元网格和更多的自由度，从而进行更加准确的仿真。这加速了产品数据量的“扩容”。2 2）运营数据：）运营数据：组织结构、管理制度、人力资源、薪酬、福利、设备、营销、财务、质量、生产、采购、库存、标准/行业法规、知识产权、工作计划、市场推广、办公文档、媒体传播、电子商务等。例如，在市场推广方面，涉及到越来越多的多媒体数据，例如视频。3 3）价值链数据：）价值链数据：客户、供应商、合作伙伴、联系人、联络记录、合同、回款、客户满意度等。例如，在客户服务过程中，涉及到很多服务原始记录的保存。4 4）外部数据：）外部

18、数据：经济数据、政策信息、行业数据、竞争对手数据等。2 2、基于业务数据的、基于业务数据的BIBI，分析数据，分析数据挖掘数据宝藏，为决策提供数据依据。-数据的价值在于应用！3 3、大数据在企业管理中的应用、大数据在企业管理中的应用w1 1）预测）预测 预测对企业的各项职能活动包括采购原材料、扩充机器设备、补充人员等需要依据市场进行调整的活动有重要意义。预测是整个企业系统的重要输入和依据，具体地将，其重要性可以从以下几个方面来考虑：w（1）对于战略部门而言，预测可以提供决策的依据；w（2）对于销售部门而言，为补充销售人员提供依据；w（3）对于成本会计而言，预测可以为预算和成本控制提供依据；w（

19、4）对于采购部门而言，便于采购部门制定制定准确的采购计划，以降低总的生产成本；w（5）对于生产计划和控制部门而言，预测是企业编制生产计划的基础，是生产计划编制的主要输入；w（6）对于研发部门而言，新产品的预测可以为设计提供参考，根据对市场的预测进行产品的开发，这样的产品才会有市场，才会有竞争力；w3 3、大数据在企业管理中的应用、大数据在企业管理中的应用w2 2）更有效地组织企业以节省资金）更有效地组织企业以节省资金 案例：使用新的大数据源，可以使供应链中的物流业可以变得更高效。送货的卡车内的电子车载定位功能可以告诉我们他们在哪里、通过结合道路状况、交通信息和天气条件以及客户的位置等数据，驱动

20、送货的卡车进行最优路径的运送，可以大大节省您的时间和金钱。ERPERP是对企业物流与资金流进行一体化管理和集成化运行的计算机管理软件系统，它的应用涉及企业财务管理部门、业务管理部门、销售部门、生产部门以及人力资源管理部门等，它强调系统运行的整体集成性、数据共享与数据一致性控制机制。在大数据时代的ERP有了更多的功能，可以与大数据集成，更有效地组织企业以节省资金。3、大数据在企业管理中的应用、大数据在企业管理中的应用w3 3）真正实时的了解客户）真正实时的了解客户案例：亚马逊已然将这一点做到了极致，他们为客户推荐的产品绝不是一个巧合。亚马逊的推荐引擎完全是基于客户在过去一段时间的购买行为所做的：

21、客户的购物车中所收藏的商品、客户喜欢的商品、其它用户浏览或购买的商品。亚马逊使用的该算法，为每位客户定制了专属的个人主页。利用该策略是：该公司在其第三财政季度期间销售增长27%，达到了131.8亿美元，而去年同期的销售额则为96亿美元。在过去，企业普遍通过采用小组和调查问卷的方式找出我们的客户在哪里。而当调查结果总结出来时，结果往往已经是过时的了。而利用大数据，这种状况将不再发生。使用互连的社交媒体数据、移动数据、网络分析和其他数据分析，企业可以充分了解每一位客户，实时的知道他们想要什么，以及何时想要。真正了解客户，意味着可以结合客户的个性化特点，给出有针对性的建议或显示广告。3 3、大数据在

22、企业管理中的应用、大数据在企业管理中的应用w4 4）企业共同创建、实时改进和创新产品）企业共同创建、实时改进和创新产品大数据分析可以帮助企业更好地了解客户所想要的产品。通过从社会媒体和博客上收集人们如何评价某款产品，能够为企业提供比传统的问卷调查更多的信息。特别是当这些信息是实时收集到的，企业可以立即有针对性的对可能存在的问题做出改进。这样不仅可以很好的评估您的产品，同时还能够收集到不同人口群体或不同的地方的人对于某款产品的评价。案例：福特公司便在硅谷开设了一件实验室进行汽车产品的改进研发。为了提高汽车的质量、减少燃油消耗、提升安全性能、减少排放，福特公司收集了超过400万辆汽车的数据，包括汽

23、车传感器和远程应用程序管理软件。所有的数据都是实时的，允许工程师实时分析问题，了解并掌握汽车在不同的道路和天气状况、以及任何其他因素影响下的行驶状况。3 3、大数据在企业管理中的应用、大数据在企业管理中的应用w5 5）利用大数据找到新的商业机会）利用大数据找到新的商业机会 企业可以使用大数据发现顾客尚未提出的需求。大数据也可以帮助企业发现在哪个市场推出首款产品，或哪里放置产品。案例：丹麦的一家能源公司维斯塔斯风力系统使用大数据和分析，找到了世界上最好的使用风力涡轮机的地方。大数据时代大数据时代w认识大数据w大数据带来的变革w大数据背景下的企业管理w大数据的商业价值大数据的商业价值w大数据的风险

24、大数据的商业价值大数据的商业价值大数据的市场空间及对社会的贡献大数据的市场空间及对社会的贡献数据的再利用：由于在信息价值链中的特殊位置，有些公司可能会收集到大量的数据，但他们并不急需使用也不擅长再次利用这些数据。例如，移动电话运营商手机用户的位置信息来传输电话信号，这对以他们来说，数据只有狭窄的技术用途。但当它被一些发布个性化位置广告服务和促销活动的公司再次利用时，则变得更有价值。大数据价值链的3大构成：数据本身、技能与思维 其中三者兼具的有谷歌公司，谷歌在刚开始收集数据的时候就已经有多次使用数据的想法。比方说，它的街景采集车手机全球定位系统数据不光是为了创建谷歌地图，也是为了制成全自动汽车以

25、及谷歌眼镜等与实景交汇的产品。未来，企业会依靠洞悉数据中的信息更加了解自己，也更加了解客户。大数据时代传统行业最终都会转变为大数据行业，无论是金融服务也、医药还是制造业。大数据的应用大数据的应用互联网公司受益于大数据互联网公司受益于大数据 中国工程院院士邬贺铨说道，“智慧城市是使用智能计算技术使得城市的关键基础设施的组成和服务更智能、互联和有效，随着智慧城市的建设，社会将步入“大数据”时代。”智慧政务 智慧交通 智慧电网 智慧教育 智慧医疗 公共管理部门受益于大数据公共管理部门受益于大数据根据国家信息中心信息化研究部统计，目前我国提出智慧城市建设的城市总数已达到154个，预计投资规模超过1.5

26、1.5万亿元万亿元。智慧城市必将产生大数据，利用大数据的思维来改变公共管理部门的形象。医疗可利用多种大数据手段医疗可利用多种大数据手段临床操作 1、疗效比较研究 2、临床决策支持系统 3、医疗数据透明度 4、远程医疗监护 5、针对患者情况的先进分析付款/定价 1、自动化系统 2、医保系统研发 1、预测模型 2、改进临床试验设计的统计工具和算法 3、临床实验数据分析 4、个体化医疗 5、疾病模式分析新业务模型1、患者临床记录和需求数据的聚合 2、在线平台和社区公共卫生医疗行业受益于大数据医疗行业受益于大数据电子病历电子病历医疗行业产生大数据（电子病历），利用大数据的思维将会给医疗行业带来变革。旅

27、游业在大数据时代的发展旅游业在大数据时代的发展w旅游业发展趋势是：网络化、散客化、大众化。w在大数据时代，必须运用大数据思维，推行旅游的数字化管理，开展数字化营销，为旅客提供精准的个性化服务。制造业在大数据时代的发展制造业在大数据时代的发展w今后大数据将成为继石油之后的工业新鲜血液，对于大数据的良好应用，能够对市场、销售、生产等各个部门产生积极影响，优化各个环节的工作效率;制造原理、制造模式、制造工艺和生产工具都将发生根本性改变，以前难以制造的产品、实现不了的功能将获得突破，网络式创新将释放全社会的创新能量，产品和技术变革周期将显著缩短。通过对数据的实时采集、准确把握、深度挖掘、分析优化，制造

28、业将整体再提升实现转型升级。大数据时代大数据时代w认识大数据w大数据带来的变革w大数据背景下的企业管理w大数据的商业价值w大数据的风险大数据的风险大数据的风险大数据的风险w大数据时代没有隐私爱德华斯诺登 大数据的风险大数据的风险w大数据属于谁？大数据的风险大数据的风险w数据独裁卓越的才华并不依赖大数据，大数据扼杀创新。如果对不可量化的事物进行量化，我们将失去全面了解该事物的机会。大数据时代的延深阅读大数据时代的延深阅读150年后，当互联网将这个世界紧密连接起来的时候，新的物种诞生了。我们称之为生命的信息过程数十亿年前控制了地球的大气层。现在，另一个信息过程科技元素，正在重新征服地球。最需要读这本书的，应该是打价格战打晕了头，占领市场醒后却发现没有利润的商人；或者是想以数字技术新法取胜，希望像乔布斯那样赢的雄心勃勃的年轻人。2013年大数据元年。大数据带来的精彩值得期待