在没接触云计算大数据之前,一听到这个词 就觉得很高大上。现在有机会 参与到一个共同学习的云计算团队中,亲身接触到了云计算。觉得也不那么遥远了。现在我就简单说一下我初涉云计算的一些东西。
说到云计算,自然是离不开Google的三大论文——Bigtable、GFS、MapReduce。初涉云计算就先从这三篇文章讲起。
这里就先说一说GFS——GoogleFileSystem吧
首先,我们应该知道一件事,那就是这么一个系统是用来干什么的,他需要哪些方面的功能去实现,或是需要保证什么。
GFS顾名思义是一种文件系统,它负责了文件的存储,用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上,并提供容错功能。它可以给大量的用户提供总体性能较高的服务。
既然是一种大型的存储与访问系统,就必须想到组件失效时一种常态的事件,他就需要满足:
1持续的监控;
2错误侦测;
3灾难冗余;
4自动恢复。
同时需要具有灵活性,满足我们对数据的处理修改,支持大数据的存储。
简单的了解了这些,看看 GFS的一些组件,架构。先了解一些“名词”
1.master节点
在一个GFS的集群中 只有一个master节点 (当然一个节点并不是对应一个服务器的概念,通常是两台master服务器)。这一个master节点负责的就是对“块”(即Chunk)的一些信息处理并存储,简单的来说就是可以将一些标志性的数据(下面说的元数据)存储起来,方便“块”数据的读写等操作。需要注意的是,客户端操作的数据并不通过master节点,只是通过master节点来获取信息,之后直接根据这信息去从chunk节点那进行操作。
2Chunk
就是上面说的“块”节点,网上有翻译为“块”节点的。一个Chunk的尺寸被设计为64MB,这些Chunk的副本呗保存在Chunk服务器上。选择了这较大的尺寸自然有其理由:
简单的来说,元数据就是存储Chunk的一些无关数据本身的基本的信息,方便去服务器了解信息,去直接访问相关的服务器。这些“信息”包括了内存的数据结构、Chunk的位置信息、操作日志等。这些都是存储在master的内存中。
简单了解之后的,Master节点的一些特殊的操作来管理协调整个文件系统。
服务器通过先访问了master节点来确定Chunk的位置和状态,之后直接去访问chunk服务器区进行读写操作。chunk的信息也是以日志的形式存储在master节点中,一个chunk的失效或是 master与chunk的签订租约都会以日志的方式进行存储。在服务器访问的时候也会把这些信息“反馈”给服务器。此外,建立的垃圾回收和不是删除文件的机制采用“惰性”的回收。
上面一开始就讲到了GFS设计时就要求自身具有容错与诊断的能力。GFS就是用自带的工具诊断系统故障。
master 服务器chunk服务器被设计 为数秒内恢复他们的状态(然而并不知道是怎么设计的,,好腻害,,)
对于chunk和master服务器都做了 类似副本处理的方法,这种思路也是正常的思路。不过在这些的基础上还有一种“影子”master服务器,可以在master服务器宕机时 进行只读访问。
版权声明:本文为博主原创文章,未经博主允许不得转载。
相关推荐
Outline 5.1 分布式存储的基础 5.2 文件存储 5.3 从单机存储系统到分布式存储系统 5.4 实践:分布式存储系统Ceph Machine Learning Domain expertise Mathematics Data engineering 云计算——分布式存储全文共51页...
8月21日上午,2014贵阳云计算——大数据高峰论坛暨大数据产业技术联盟揭牌仪式在筑举行。 在为期1天半的“2014贵阳云计算——大数据高峰论坛”上,来自戴尔、英特尔、甲骨文、华为等国内外知名企业的专家,将围绕...
云计算原理与实践Principles and Practice of Cloud Computing 云计算——虚拟化技术全文共67页,当前为第1页。 Outline 4.1 虚拟化的定义 4.2 服务器虚拟化 4.3 商用虚拟机技术 4.4 新型硬件虚拟化 4.5 实践:Xen...
云计算——安全资源池化.pdf
埃森哲-部署云计算——期待与现实
云计算——分布式存储.docx
关于云计算,Google云计算的工具,Google大学伙伴
云计算——下一代电信运营支撑技术 摘 要:云计算与电信运营商自身网络和运营优势有效结合,将技术优势转化为市场规模效应,是当前电信界关注的焦点之一。本文简要介绍了云计算,并结合国内电信运营商已做的研究及...
NFV与云计算——电信运营商的机遇与挑战.pdf
走近云计算——王鹏(附书光盘)压缩包,里面是镜像文件。
云计算——学生成绩的实时共享.pdf
google 云计算 三大论文(英文),包括bigtable、hdfs、mapreduce
移动云计算——移动增强现实技术和服务.pdf
探讨什么是云计算,介绍云计算的现状,组成与未来。
(important)西门子云计算——业务模式、价值创造体系和客户效益(英文版)
数据挖掘与云计算——专访中国科学院计算技术研究所何清博士.pdf
云计算——企业信息化建设策略与实践笔记.pdf
埃森哲-部署云计算——期待与现实-8-16页.pdf
云计算毕业论文题目免费参考——毕业论文写作攻略.docx云计算毕业论文题目免费参考——毕业论文写作攻略.docx云计算毕业论文题目免费参考——毕业论文写作攻略.docx云计算毕业论文题目免费参考——毕业论文写作攻略....