新闻资讯

用Hadoop可以搭建一个完整的云计算平台么?

作者/来源:发布时间:2018-10-24

Hadoop并不完全代表云计算,所以,要用Hadoop搭建完整的云计算平台,答案是不够。我们常说云计算,实际上还是通过计算机的大规模或者 说海量处理来为生活中各式各样的人和各行各业服务——所以,核心在“服务”。

关于服务,展开来就是常用的那3种(也是事实上的标准)SaaS,PaaS,IaaS。对计算来说,公有私有,虚拟和存储,这其实是相对讨论的核心。

回头说Hadoop。在Google三大论文的直接刺激下,Hadoop社区兴起,而在众多的开源实现中,Hadoop(主项目)可以说是所有已知云计算方面开源项目的一个Top项目。

云计算中有哪些构件?

发展到目前的技术与规模,并没有一个确切的定论,今天的说的话明天可能就不一样了。但对Hadoop来说,实现了的部分,就是大部分企业在不断发展中所遇到的大部分问题。直接上图: 

d0467a41-8584-40d6-b11e-9725feee24a8.jpg

从整体生态系统的角度,从底层存储,到中间的计算模型和框架,再到上层的逻辑处理和流、显示,都有相应开源的实现。这就是你说的构件了。

包括我们看到的Hadoop2.0中,引入的新的处理框架,Spark,Storm,YARN(取代MR),都是Hadoop生态系统的完善与实现。

Hadoop实现的是在简易硬件的基础上进行尽量高可用性海量计算与处理的中上层模型。Hadoop处理了存储(也只是一部分),虚拟化是没有涉 及的,而底层硬件Hadoop也是不涉及的,不管是Hadoop还是其他的项目,只是在软件的层面想通过纵向或者横向的拓展解决所有的问题是不现实的。 Hadoop在硬件这方面,只是在实现中预留或者接入硬件特性,也就是在虚拟化这方面Hadoop只是个“APP”,不是“始作俑者”(用词不当了)。

那么,如何搭建完整的云计算平台呢?

按照企业级来说,是要看具体的企业方向和企业类型的,包括IBM和VMware都有提供不同的解决方案。大致上一定是由单点–>集群 –>多层(准分布式)–>硬件–>分布式(地域分布)来解决的。具体到Hadoop体系的技术,直接去对应上图就好了。

从云计算这个概念出现到今天,资料可以说“浩如烟海”了,但很多资料只是互相复制黏贴,并没有说到云计算的核心。我想提出的一个观点是,完整的云计算平台,依赖的是业务,提供的是存储与支持。

没有业务需求而是照搬网上的资料或者自认为“活用”了某些技术,都可能只是“娱人娱己”。我们看一下互联网负载均衡技术是如何发展的就就更容易理解云计算:

客户端缓存–>CDN缓存–>Apache&Nginx静态页面缓存–>PHP和Java动态内存 –>Memcache&Other Nosql–>Mysql&Oracle–>HDFS&Other Big Table

从技术的角度看,所有问题解决起来都是层次化的(大家肯定都有写Demo吧),都是根据不同的需求引入不同的技术,在单层单点乃至集群都无法解决 问题的时候,新的计算框架,云计算与网格计算乃至动画需要的大规模渲染都在需要的时候顺理成章的引入。总之,完整的云计算平台,对于不同的公司业务都是不 同的,拿腾讯来说,平台的组件多如牛毛,“平台”只是提供最基础的服务:存储与支持,其他的都需要业务根据自身的特点在其上进行构建(相信大公司都是有自 己的完整方案的,这里我就不能再说了……),至于提高什么样级别的这种“服务”,就要看公司的业务规模,需要支撑的体系,乃至公司的决策战略了等等

上一篇 : 网站迁移虚拟主机怎样才能不影响网站优化 下一篇 : 企业使用高防服务器进行托管的效果如何呢?

热门标签

云计算 对象存储 云服务器 免费云主机 云主机试用 云安全 什么是云计算 云计算方案 GPU服务器 云存储 云数据库 私有云 云计算平台 高防服务器 服务器托管 搭建云计算平台 云计算平台搭建方案 网站虚拟主机 虚拟主机 云计算搭建 云计算服务平台 云时代 云技术 云计算大会 云计算的发展趋势 搭建云服务器 云计算系统 云计算技术 中国软件大会 软件技术论坛 GPU 公有云 云主机 云计算 云主机 免费云主机

热门资讯

新睿云全体员工全力备战11.17,周年庆活动0点盛大开启

2018-11-16 15:34:00

新睿云为庆祝成立一周年,也为了感谢一年来超过两万用户对我们的信任和支持,特推出“周年庆典”活动,通过热门云产品特惠1.7折、云主机0元试用一年等活动,支持全民普惠上云,让云触手可及,更有机会抽取戴森卷发棒、扫地机器人、kindle电子书等好礼,保证参与的你100%中奖。...查看详情>

第十届中国云计算大会在京举办

2018-07-26 16:10:00

23日的两场预热论坛过后,第十届中国云计算大会24日在北京国家会议中心正式开幕。...查看详情>

什么叫云计算?通俗点讲云计算是什么意思?

2018-07-06 14:54:00

到底什么是云计算?云计算能干什么?如今大家天天听到媒体说云计算,什么阿里云、百度云、腾讯云等,对于到底什么是云计算,至少可以找到100种解释。...查看详情>

加密软件如何保障云时代的数据安全?

2018-10-10 16:09:00

【云安全加密是根本】 在云时代下提供商如何提供敏感数据保护?是否有方法确保高度敏感的数据在云端的安全,比如社会保险号? 并不是所有数据都适合或者应该存储在云端。需要进行风险评估与分析。...查看详情>

7*24 多渠道服务与支持
意见 反馈与投诉建议
1V1 专项服务
退款 7天无理由退款