文章目录

  • 前言
  • 云计算相关领域介绍
  • 物联网:The Internet of things(IOT)
  • 大数据:Big Data
  • 人工智能:Artificial Intelligence(AI)
  • 云计算与物联网、大数据、人工智能的关系
  • 5G和云计算


前言

现如今,云计算的发展非常的火热,不管是国内还是国外,云计算都正在飞速的发展。而且我们可以认为目前云计算还处在萌芽时期,离它真正成年还有很长的发展道路要走。未来会有越来越多的技术、应用、服务会需要云计算做支撑。本文就主要介绍一些和云计算息息相关的领域,以及云计算新兴的技术。

云计算相关领域介绍

物联网:The Internet of things(IOT)

物联网云平台技术架构 物联网 云_人工智能


物联网同样是近几年非常火热的话题。物联网的概念是互联网衍生而来的。从最初的人和人的交流,发展成了物和物连接或者是人和物的连接。物联网顾名思义就是:

物物相连的网络。即万物相连的互联网

这有两层意思:

1. 物联网的核心和基础仍然是互联网,是在互联网基础上的延伸和扩展的网络;
2. 其用户端延伸和扩展到了任何物品与物品之间,进行信息交换和通信。

因此,物联网的定义是

通过 各种信息传感器、射频识别技术、全球定位系统、红外感应器、激光扫描器等各种装置与技术,实时采集任何需要监控、 连接、互动的物体或过程,采集其声、光、热、电、力学、化 学、生物、位置等各种需要的信息,通过各类可能的网络接入,实现物与物、物与人的泛在连接,实现对物品和过程的智能化感知、识别和管理。

像我们国内目前非常火热的智能家居,就是物联网体现。将大到冰箱、空调、洗衣机;小到手表、插座、牙刷都能联网。我们可以在回家的路上就可以通过手机打开空调,或者通过APP了解最近刷牙的情况,又或者通过只能手表了解我们的身体健康信息。对于用户来说,这既方便了我们的生活,也让我们生活的、身体的信息可读化,让我们更加舒适的生活。然而只能家居只是物联网的一小部分,还有智能驾驶、城市智能交通等等这都是物联网结合其他技术的体现,他们都在对我们的生活进行着一点一点的改变。

物联网使用的主要技术有:

  • RFID: 电子标签,属于智能卡的一类。RFID技术在物联网中主要起“使能”(Enable)作用。常见的应用有:饭卡、交通卡。
  • 传感器技术:借助于各种传感器,探测和集成包括温度、湿度、压力、速度等物质现象的网络。常见的应用有:人脸识别、体重计、红外温度计等
  • 嵌入式系统技术:嵌入式系统是硬件 和软件紧密结合的专用计算机系统。“嵌入式”反映了这些系统通常是更大系统中的一个组成部分。

著名企业

国外:Cisco(思科)、AT&T(运营商)、GE(通用电气)、Bosch(博世)、Intel、ARM等
国内:华为、阿里云、海尔智家、新华三、海康威视、中移物联网、百度智能云、小米IOT等

大数据:Big Data

大数据(big data),是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产

提到了物联网,那么就不能不提到大数据。物联网是大数据的重要的来源,万物互联的时代,不只是人,每样物体都会产生数据,其数据量将会非常庞大,因此大数据结果也将更加丰富,精确。

物联网云平台技术架构 物联网 云_人工智能_02


大数据最初归属云计算领域,是云计算的一个应用。没有云计算,大数据无法真正的实现。2011年,大数据出现在Gartner的新型技术成熟度曲线中第一阶段的技术触发期;2013年,当云计算进入泡沫幻灭期之后,大数据才步入了期望膨胀期;2014年,大数据迅速进入了泡沫幻灭期,并开始与云计算齐头并进。今天,我们已经很难将大数据与云计算割裂开来,大数据需要云计算的支撑,云计算为大数据提供不可或缺的平台。但值得注意的是,大数据也成就了云计算,没有了大数据的云计算将会变得无的放矢。

在以前我们的信息来源只有报纸、新闻等,然后在IT兴起的时代,信息才开始逐渐多了起来。最后才出现了大数据。

大数据的四个特点:(4V)

1.Vloume 大体量
2.Variety 多样性
3.Velociy 时效性
4. Value 大价值

大体量和多样性还有大价值大家都非常好理解。时效性主要的意思就是同一件事物在不同的时间具有很大的性质上的差异,我们管这个差异性叫时效性。时效性影响着决策的生效时间,时效性决定了决策在特定时间内是否有效。简单的来说就是我们收集的数据的价值不是永远的,我们需要经常去更新数据。我们最终的目的就是从数据中挖掘出对我们有价值的数据或结果。

物联网云平台技术架构 物联网 云_云计算_03


大数据中的数据一般分为三种:

  1. 结构化的数据:即有固定格式和有限长度的数据。例如填的表格就是结构化的数据,国籍:中华人民共和国,民族:汉,性别:男,这都叫结构化数据。
  2. 非结构化的数据:现在非结构化的数据越来越多,就是不定长、无固定格式的数据,例如网页,有时候非常长,有时候几句话就没了;例如语音,视频都是非结构化的数据。
  3. 半结构化数据:是一些XML或者HTML的格式的数据。

其实数据本身不是有用的,必须要经过一定的处理。例如你每天跑步带个手环收集的也是数据,网上这么多网页也是数据,我们称为Data。数据本身没有什么用处,但数据里面包含一个很重要的东西,叫做信息(Information)。

数据十分杂乱,经过梳理和清洗,才能够称为信息。信息会包含很多规律,我们需要从信息中将规律总结出来,称为知识(Knowledge),而知识改变命运。信息是很多的,但有人看到了信息相当于白看,但有人就从信息中看到了电商的未来,有人看到了直播的未来,所以人家就牛了。如果你没有从信息中提取出知识,天天看朋友圈也只能在互联网滚滚大潮中做个看客。

有了知识,然后利用这些知识去应用于实战,有的人会做得非常好,这个东西叫做智慧(Intelligence)。有知识并不一定有智慧,例如好多学者很有知识,已经发生的事情可以从各个角度分析得头头是道,但一到实干就歇菜,并不能转化成为智慧。而很多的创业家之所以伟大,就是通过获得的知识应用于实践,最后做了很大的生意。

所以数据的应用分这四个步骤:数据、信息、知识、智慧。

物联网云平台技术架构 物联网 云_云计算_04


智慧是很多商家都想要的。你看我收集了这么多的数据,能不能基于这些数据来帮我做下一步的决策,改善我的产品。例如让用户看视频的时候旁边弹出广告,正好是他想买的东西;再如让用户听音乐时,另外推荐一些他非常想听的其它音乐。

用户在我的应用或者网站上随便点点鼠标,输入文字对我来说都是数据,我就是要将其中某些东西提取出来、指导实践、形成智慧,让用户陷入到我的应用里面不可自拔,上了我的网就不想离开,手不停地点、不停地买。

很多人说双十一我都想断网了,我老婆在上面不断地买买买,买了A又推荐B,老婆大人说,“哎呀,B也是我喜欢的啊,老公我要买”。你说这个程序怎么这么牛,这么有智慧,比我还了解我老婆,这是怎么做到的呢?

第一个步骤叫数据的收集;第二个步骤是数据的传输;第三个步骤是数据的存储;第四个步骤是数据的处理和分析;第五个步骤是对于数据的检索和挖掘。

物联网云平台技术架构 物联网 云_数据_05

当数据量很小时,很少的几台机器就能解决。慢慢的,当数据量越来越大,最牛的服务器都解决不了问题时,怎么办呢?这时就要聚合多台机器的力量,大家齐心协力一起把这个事搞定,众人拾柴火焰高。

对于数据的收集,就IoT来讲,外面部署这成千上万的检测设备,将大量的温度、湿度、监控、电力等数据统统收集上来;就互联网网页的搜索引擎来讲,需要将整个互联网所有的网页都下载下来。这显然一台机器做不到,需要多台机器组成网络爬虫系统,每台机器下载一部分,同时工作,才能在有限的时间内,将海量的网页下载完毕。

对于数据的传输,一个内存里面的队列肯定会被大量的数据挤爆掉,于是就产生了基于硬盘的分布式队列,这样队列可以多台机器同时传输,随你数据量多大,只要我的队列足够多,管道足够粗,就能够撑得住。

对于数据的存储,一台机器的文件系统肯定是放不下的,所以需要一个很大的分布式文件系统来做这件事情,把多台机器的硬盘打成一块大的文件系统。

对于数据的分析,可能需要对大量的数据做分解、统计、汇总,一台机器肯定搞不定,处理到猴年马月也分析不完。于是就有分布式计算的方法,将大量的数据分成小份,每台机器处理一小份,多台机器并行处理,很快就能算完。例如著名的Terasort对1个TB的数据排序,相当于1000G,如果单机处理,怎么也要几个小时,但并行处理209秒就完成了。

说到这里,大家想起云计算了吧。当想要干这些活时,需要很多的机器一块做,真的是想什么时候要就什么时候要,想要多少就要多少。

例如大数据分析公司的财务情况,可能一周分析一次,如果要把这一百台机器或者一千台机器都在那放着,一周用一次非常浪费。那能不能需要计算的时候,把这一千台机器拿出来;不算的时候,让这一千台机器去干别的事情?

谁能做这个事儿呢?只有云计算,可以为大数据的运算提供资源层的灵活性。而云计算也会部署大数据放到它的PaaS平台上,作为一个非常非常重要的通用应用。因为大数据平台能够使得多台机器一起干一个事儿,这个东西不是一般人能开发出来的,也不是一般人玩得转的,怎么也得雇个几十上百号人才能把这个玩起来。

所以说就像数据库一样,其实还是需要有一帮专业的人来玩这个东西。现在公有云上基本上都会有大数据的解决方案了,一个小公司需要大数据平台的时候,不需要采购一千台机器,只要到公有云上一点,这一千台机器都出来了,并且上面已经部署好了的大数据平台,只要把数据放进去算就可以了。

著名企业

国外:Oracle(甲骨文)、IBM、Microsoft(微软)、Teradata(数据仓库)、Cloudera、AWS(亚马逊云)等
国内:阿里云、华为云、百度、腾讯等

人工智能:Artificial Intelligence(AI)

人工智能大家一定非常的熟悉,在科幻电影中人工智能出现的频率非常的高。还有大家非常熟悉的AlphaGo(阿尔法狗)(阿尔法围棋)。AlphaGo是第一个击败人类职业围棋选手、第一个战胜围棋世界冠军的人工智能机器人,由Google旗下DeepMind公司戴密斯·哈萨比斯领衔的团队开发。其主要工作原理是“深度学习”。

2016年3月,阿尔法围棋与围棋世界冠军、职业九段棋手李世石进行围棋人机大战,以4比1的总比分获胜;2016年末2017年初,该程序在中国棋类网站上以“大师”(Master)为注册账号与中日韩数十位围棋高手进行快棋对决,连续60局无一败绩;2017年5月,在中国乌镇围棋峰会上,它与排名世界第一的世界围棋冠军柯洁对战,以3比0的总比分获胜。围棋界公认阿尔法围棋的棋力已经超过人类职业围棋顶尖水平,在GoRatings网站公布的世界职业围棋排名中,其等级分曾超过排名人类第一的棋手柯洁。
2017年5月27日,在柯洁与阿尔法围棋的人机大战之后,阿尔法围棋团队宣布阿尔法围棋将不再参加围棋比赛。2017年10月18日,DeepMind团队公布了最强版阿尔法围棋,代号AlphaGo Zero。

由此可以看出人工智能是多么的强大,所以如同《终结者》电影中的猜想也是非常值得大家思考的。人工智能是一把双刃剑,给人类带来幸福的是它,可能毁灭人类的也是它。

先不要想的这么长远。首先我们先回到大数据。虽说有了大数据,人的欲望却不能够满足。虽说在大数据平台里面有搜索引擎这个东西,想要什么东西一搜就出来了。但也存在这样的情况:我想要的东西不会搜,表达不出来,搜索出来的又不是我想要的。

例如音乐软件推荐了一首歌,这首歌我没听过,当然不知道名字,也没法搜。但是软件推荐给我,我的确喜欢,这就是搜索做不到的事情。当人们使用这种应用时,会发现机器知道我想要什么,而不是说当我想要时,去机器里面搜索。这个机器真像我的朋友一样懂我,这就有点人工智能的意思了。

人们很早就在想这个事情了。最早的时候,人们想象,要是有一堵墙,墙后面是个机器,我给它说话,它就给我回应。如果我感觉不出它那边是人还是机器,那它就真的是一个人工智能的东西了。

怎么才能做到这一点呢?人们就想:我首先要告诉计算机人类的推理的能力。你看人重要的是什么?人和动物的区别在什么?就是能推理。要是把我这个推理的能力告诉机器,让机器根据你的提问,推理出相应的回答,这样多好?

其实目前人们慢慢地让机器能够做到一些推理了,例如证明数学公式。这是一个非常让人惊喜的一个过程,机器竟然能够证明数学公式。但慢慢又发现其实这个结果也没有那么令人惊喜。因为大家发现了一个问题:数学公式非常严谨,推理过程也非常严谨,而且数学公式很容易拿机器来进行表达,程序也相对容易表达。

然而人类的语言就没这么简单了。比如今天晚上,你和你女朋友约会,你女朋友说:如果你早来,我没来;你等着,如果我早来;你没来,你等着!这个机器就比较难理解了,但人都懂。所以你和女朋友约会,是不敢迟到的。

因此,仅仅告诉机器严格的推理是不够的,还要告诉机器一些知识。但告诉机器知识这个事情,一般人可能就做不来了。可能专家可以,比如语言领域的专家或者财经领域的专家。

语言领域和财经领域知识能不能表示成像数学公式一样稍微严格点呢?例如语言专家可能会总结出主谓宾定状补这些语法规则,主语后面一定是谓语,谓语后面一定是宾语,将这些总结出来,并严格表达出来不久行了吗?

后来发现这个不行,太难总结了,语言表达千变万化。就拿主谓宾的例子,很多时候在口语里面就省略了谓语,别人问:你谁啊?我回答:我张三。但你不能规定在语音语义识别时,要求对着机器说标准的书面语,这样还是不够智能,就像罗永浩在一次演讲中说的那样,每次对着手机,用书面语说:请帮我呼叫某某某,这是一件很尴尬的事情。

人工智能这个阶段叫做专家系统。专家系统不易成功,一方面是知识比较难总结,另一方面总结出来的知识难以教给计算机。因为你自己还迷迷糊糊,觉得似乎有规律,就是说不出来,又怎么能够通过编程教给计算机呢?

于是人们想到:机器是和人完全不一样的物种,干脆让机器自己学习好了。

机器怎么学习呢?既然机器的统计能力这么强,基于统计学习,一定能从大量的数字中发现一定的规律。

当然,真正基于统计的学习算法比这个简单的统计复杂得多。

然而统计学习比较容易理解简单的相关性:例如一个词和另一个词总是一起出现,两个词应该有关系;而无法表达复杂的相关性。并且统计方法的公式往往非常复杂,为了简化计算,常常做出各种独立性的假设,来降低公式的计算难度,然而在现实生活中,具有独立性的事件是相对较少的。

于是人类开始从机器的世界,反思人类的世界是怎么工作的。

人类的脑子里面不是存储着大量的规则,也不是记录着大量的统计数据,而是通过神经元的触发实现的,每个神经元有从其它神经元的输入,当接收到输入时,会产生一个输出来刺激其它神经元。于是大量的神经元相互反应,最终形成各种输出的结果

人工智能可以做的事情非常多,例如可以鉴别垃圾邮件、鉴别黄色暴力文字和图片等。这也是经历了三个阶段的。

  1. 第一个阶段依赖于关键词黑白名单和过滤技术,包含哪些词就是黄色或者暴力的文字。随着这个网络语言越来越多,词也不断地变化,不断地更新这个词库就有点顾不过来。
  2. 第二个阶段时,基于一些新的算法,比如说贝叶斯过滤等,你不用管贝叶斯算法是什么,但是这个名字你应该听过,这个一个基于概率的算法。
  3. 第三个阶段就是基于大数据和人工智能,进行更加精准的用户画像和文本理解和图像理解。

由于人工智能算法多是依赖于大量的数据的,这些数据往往需要面向某个特定的领域(例如电商,邮箱)进行长期的积累,如果没有数据,就算有人工智能算法也白搭,所以人工智能程序很少像前面的IaaS和PaaS一样,将人工智能程序给某个客户安装一套,让客户去用。因为给某个客户单独安装一套,客户没有相关的数据做训练,结果往往是很差的。

但云计算厂商往往是积累了大量数据的,于是就在云计算厂商里面安装一套,暴露一个服务接口,比如您想鉴别一个文本是不是涉及黄色和暴力,直接用这个在线服务就可以了。这种形势的服务,在云计算里面称为软件即服务,SaaS (Software AS A Service)

于是人工智能程序作为SaaS平台进入了云计算。

著名企业:

国外:Google、Apple、Facebook、Nvidia(英伟达)、IBM等
国内:华为、阿里、腾讯、百度、科大讯飞等

云计算与物联网、大数据、人工智能的关系

物联网云平台技术架构 物联网 云_物联网云平台技术架构_06


终于云计算的三兄弟凑齐了,分别是IaaS、PaaS和SaaS。所以一般在一个云计算平台上,云、大数据、人工智能都找得到。我们可以注意到,上文我列出的各个领域比较著名的国内外企业,大家仔细看就会发现,这不是都是同几家公司嘛,尤其是咱们国内:华为、阿里、腾讯三家巨头在哪都有他们的份。原因是因为这几个领域是不可分割的,是相辅相成的。物联网公司能够累计大量的数据,那么就有做大数据的资本。一个大数据公司,积累了大量的数据,会使用一些人工智能的算法提供一些服务;一个人工智能公司,也不可能没有大数据平台支撑。

前面说过,云计算是土壤,大数据是肥料,那么物联网就是肥料的制作原料。物联网是大数据的重要来源,物联网对应了互联网的感觉和运动审计系统,大数据大数据代表了互联网的信息层,是互联网智慧和意识产生的基础,大数据在进行数据挖掘和分析时,恰好需要的是云计算快速弹性伸缩等特性,因此,云计算和物联网推动了大数据的发展,大数据也促进了云计算和物联网的进步。

5G和云计算

5G:

第五代移动通信标准:5th generation mobile networks或5th generation wireless systems

我们在前面几篇文章说到,云计算就是云+计算。云计算是计算和互联网发展的产物,移动互联网正在进入5G时代。华为轮值主席胡厚崑在伦敦举行的2018全球移动宽带论坛上表示

5G技术将赋予信息通信技术力量,并引发技术和商业的诸多变革。

5G移动网络与早期的2G、3G和4G移动网络一样,5G网络是**数字蜂窝网络,**在这种网络中,供应商覆盖的服务区域被划分为许多被称为蜂窝的小地理区域。

5G网络的主要优势在于,数据传输速率远远高于以前的蜂窝网络,最高可达10Gbit/s,比当前的有线互联网要快,比先前的4G LTE蜂窝网络快100倍。另一个优点是较低的网络延迟(更快的响应时间),低于1毫秒,而4G为30-70毫秒。由于数据传输更快,5G网络将不仅仅为手机提供服务,而且还将成为一般性的家庭和办公网络提供商,与有线网络提供商竞争。以前的蜂窝网络提供了适用于手机的低数据率互联网接入,但是一个手机发射塔不能经济地提供足够的带宽作为家用计算机的一般互联网供应商。由于延迟低、速度快,5G也会为极大推动云计算、大数据、物联网、人工智能的发展。

物联网云平台技术架构 物联网 云_物联网云平台技术架构_07