新闻公告

云计算如何从谷歌诞生的?

来源:CSDN博主 作者: 发布时间:2021-07-17 17:19:06
Google是最早提出云计算概念的公司,这并不是要炒作概念,而是在此之前已经在工程上做了很多的准备,并且它自己的产品就是这么设计的。几年后的今天,云计算成了科技界很热门的一个词。

云计算在Google的历史和Google本身一样长。佩奇和布林还在斯坦福大学时,就提出和实现了一种被称为"大文件"(Big File)的新型文件系统。这个技术就是后来Google云计算技术中很重要的GFS文件系统的雏形。佩奇和布林发现将下载的网页存成单独文件或数据库文件都不方便使用,就设计了大文件这种针对搜索业务的大型文件系统。

后来在逐渐壮大后,Google趁着惠普实验室(HP Labs)分崩离析之际,吸引了两个关键工程师加盟,他们就是云计算之父,并且因为云计算而当选美国工程院院士的杰夫·迪恩(Jeff Dean)博士和桑杰·戈马瓦特(Sanjay Ghemawat)博士。

如果说西尔弗斯坦是为Google雪中送炭的人,因为他能快速实现一个完整系统,那么迪恩和戈马瓦特则是为Google锦上添花的人,因为他们完成了Google走向大公司的工程设计。他们二人和佩奇那种"想大事,干大事"的性格很相投,因此他们在Google工程师非常紧缺、大家加班加点应付产品开发都忙不过来的时候,潜下心来一心一意开发一个为了以后10倍业务量时能够方便扩展同时能够节省运维人员的公共平台。这个平台就是Google云计算的雏形。

Google最初开发云计算平台的目的只是为了能把大量廉价的服务器集成起来,完成超级计算机的计算和存储功能。由于成本低廉,这些自行打造的服务器可靠性非常差,性能和IBM或太阳公司的大型机相差甚远,所以迪恩和戈马瓦特等人在架构设计时就把容错性和并发处理能力考虑得非常周全。因此,以后大家使用这个系统就非常方便。

从一开始起,Google业务的增长量就非常快,但是起初Google并未打算建立自己的数据中心。因为在2003年以前,互联网泡沫破碎以后留下的基础架构和数据中心足够Google用。

在2000年前后,由于对互联网发展过度乐观,美国超前建造了大量互联网基础设施,包括铺设的光缆和数据中心。

在2001年以后,绝大多数互联网公司关门了,建造和拥有这些基础设施的公司根本无法盈利,能挣点钱,少损失一点是他们最大的愿望。在这种环境下,Google无需担心自己业务增量的问题,反正没人用的光缆(暗光缆)和数据中心有的是。

但是,到了2003年,美国经济开始反弹,雅虎、美国在线和微软这些第一代互联网公司的业务不仅开始恢复,而且很快超过了2000年以前的水平,加上Google自己的业务快速发展,用不了一两年,这些基础设施资源就会饱和。

由于2000年"被蛇咬"怕了,没有什么公司愿意再投资建互联网基础设施了。这类基础设施建设的事情就落到了这些大互联网公司自己身上。Google后来发展比较顺利的一个原因是,它比其他公司更早地看到互联网基础设施的重要性。这里面的一个关键性人物是副总裁霍尔斯。

从2003年起,大学教授出身的霍尔斯全心全意地投入到公司的业务运营管理和基础架构的建设中。他的贡献有三个方面:

第一,在全球通过租用和收购已铺设的光缆,以及铺设新光缆,保证了Google业务发展后网速不成为瓶颈;

第二,抢在很多公司以前在全球布局,占据了建设数据中心的最佳点;

第三,设计了节能高效的服务器机柜,大大降低了运营成本。这里面任何一件事做起来都非常难。就以建设全球的光缆网络为例,这是一个非常庞大的系统工程,从某种程度上讲复杂程度超过建造一座水坝或一艘航空母舰。要从亚洲建一条海底电缆到美国,需要和很多国家的电信部门打交道,而要把这些国家主管电信的主管叫到一张桌子上开会,本身就是一件很不容易的事情。霍尔斯等人最终把这些事情办到了。

当时Google在全球主要的数据中心

经过几年在工程和运营上的努力,到2006年,Google的云计算平台基本完成,所有的业务,尤其是由用户产生数据的业务,比如邮件、博客、Orkut等都搬到了云计算上面。在Google内部,产品团队的工程师开发产品时,已经不关心实际用了多少物理上的服务器,这些服务器在哪里,互相是如何连接的。他们只要提出自己需要多少计算资源,包括CPU资源和存储资源就好,填好配置文件,剩下就是云计算的事了。

对于用户来讲也是如此,他们不知道自己的内容放在了哪里,整个Google就是一台超级计算机。很多人都关心Google到底有多少台服务器,这个具体的数字,估计霍尔斯自己都说不清楚,因为Google每天都有新服务器上架。但是,如果把Google看作一个独立的服务器制造商,它应该仅次于IBM和惠普,全球排名第三。

很长时间以来,微软是Google最主要的竞争对手,于是Google提出了云计算的概念,希望今后整个产业界将越来越多的服务从PC客户端搬到网上,减少用户对微软的依赖。

Google开始并没有想到云计算的威力那么大,以至于最终可能颠覆IT的产业结构;它开始只是想提供一种服务,让网民们在互联网云中任何时间、任何地点都能快速和安全地访问、处理、存储和共享信息。现在,存储、处理和共享信息都做得很好了,但是还必须解决安全问题和快速方便访问的问题。

早在Gmail推出之前,Google就成立了一个Google账户管理部门,负责网络安全性问题。和以往处理网络安全的做法不同,Google更多地依靠云计算的工具实时监控每一个账户的异常动态,保障网络安全。设计和实现底层关键技术的是两个人,包括一位不愿透露姓名的华裔科学家兼资深工程师。

最后,剩下的问题就是如何让用户快速接入互联网。Google在这方面做了两个布局。

首先,积极推动无线互联网的发展,包括它的安卓战略,采用无线频道的拍卖等。另外是通过立法保障网络的中性化(Network Neutrality)。这个概念解释起来比较繁琐,简单地讲就是对所有用户和内容供应商提供同等的服务和收费,以防止运营商在最后一公里向用户和内容提供商(尤其是和自己竞争的内容提供商)过度收费。

事实上,在美国至今为止网络基本是中立的,也就是说运营商(包括AT&T、Verizon和Comcast等)基本没有对自己的竞争对手额外收费。但是,在很多国家,包括中国,网络不是中性的,运营商要比内容提供商(包括中国三大门户网站,以及百度、腾讯和阿里巴巴等公司)强势得多。这些内容提供商既不能为终端用户提供联网服务,也不能自己铺设光纤。

随着互联网公司的盈利不断增加,而运营商收益增长缓慢,美国的一些运营商试图对内容运营商多收费。这样,在美国商业界就形成了两大阵营,一方是以AT&T、Verizon和Comcast为首的运营商阵营,另一方是以Google、微软、雅虎和亚马逊为首的互联网阵营。双方把官司打到国会,最后在Google和微软等公司的努力下,借着AT&T欲收购另一家电信公司的契机,基本上从立法上将互联网中性化确立下来。

其次,Google大力推进城市免费Wi-Fi业务,并且在一些城市(加州的山景城、旧金山)和机场(西雅图机场)提供免费的Wi-Fi接入业务,Google甚至设想在天空放置许多的气球,以提供能够覆盖全球的免费Wi-Fi服务。

这样,Google云计算的准备工作已经全部完成,它便提出了云计算的概念。云计算的产业链一旦形成,对现在信息产业的影响将是颠覆性的。

每一次重大的技术变革都预示着产业格局的演变,也会促成主流企业的重新洗牌。Google正在以此为契机,寄望于在下一次产业变革中领跑。
 

上一页: 国家网信办、公安部、国家安全部、自然资源部等部门联合进驻滴滴出行,开展审查

下一页: Black Kingdom恶意软件分析