连云港大数据分布式存储架构

分布式存储的完全无中心架构–计算模式，以Ceph为表示的架构是其典型的表示。在该架构中与HDFS不同的地方在于该架构中没有中心节点。分布式存储的兴起与互联网的发展密不可分，互联网公司由于其数据量大而资本积累少，而通常都使用大规模分布式存储系统。分布式存储与传统的好的服务器、好的存储器和好的处理器不同的是，互联网公司的分布式存储系统由数量众多的、低成本和高性价比的普通PC服务器通过网络连接而成。其主要原因有以下：互联网的业务发展很快，而且注意成本消耗，这就使得存储系统不能依靠传统的纵向扩展的方式，即先买小型机，不够时再买中型机，甚至大型机。常见的元数据管理可以分为集中式和分布式元数据管理架构。连云港大数据分布式存储架构

架构就像公司的层次组织架构，namenode就如同老板，只管理下属的经理（datanode），而下属的经理，而经理们来管理节点下本地盘上的数据。分布式存储和大数据是构建在分布式存储之上的应用。为什么要使用分布式存储？（1）升级单机处理能力的性价比越来越低；企业发现通过更换硬件做垂直扩展的方式来提升性能会越来越不划算；（2）单机处理能力存在瓶颈；某个固定时间点，单颗处理器有自己的性能瓶颈，也就说即使愿意花更多的钱去买计算能力也买不到了；（3）出于稳定性和可用性的考虑如果采用单击系统，那么在这台机器正常的时候一切OK，一旦出问题，那么系统就完全不能用了。无锡企业分布式存储系统通用的数据存储模型通常并不是能提高应用性能的模型。

说到分布式存储不得不提单机数据库存储的事务特性：A（原子性）C（一致性）I（隔离性）D（持久性），而扩展到分布式存储后，受限于分布式C（一致性）A（可用性）P（分区容忍性）理论，几乎不可能满足完整得事务特性。各种分布式存储服务实现都对单机存储的事务特性作了权衡取舍，满足特定的服务场景需求。另外分布式存储系统是基于网络互联的，所以除了基本得磁盘访问性能开销，还多了网络性能开销。通常一般机械硬盘得平均寻道时间为10ms。机房内网得网络访问开销一般小于0.5ms，相对性能损失较小。

说到分布式存储不得不提单机数据库存储的事务特性：A（原子性）C（一致性）I（隔离性）D（持久性），而扩展到分布式存储后，受限于分布式C（一致性）A（可用性）P（分区容忍性）理论，几乎不可能满足完整得事务特性。各种分布式存储服务实现都对单机存储的事务特性作了权衡取舍，满足特定的服务场景需求。另外分布式存储系统是基于网络互联的，所以除了基本得磁盘访问性能开销，还多了网络性能开销。通常一般机械硬盘得平均寻道时间为10ms。分布式存储和大数据是构建在分布式存储之上的应用。大数据存储体系规模庞大．结点失效率高。

数据一致性这个单词在平常开发中，或者各种文章中都能经常看见，我们常常听见什么东西数据不一致了，造成了一定的损失，赶快修复一下。那有几种一致性呢？a、时间一致性：要求所有数据组件的数据在任意时刻都是完全一致的；b、事物一致性：事务一致性只能存在在事务开始前的和事务完成之后，在事务过程中数据有可能不一致，比如A转100元给B，A扣减100，B加上100，在事务开始前和事务完成之后都能保证他们的帐是对上的，那么这就是事务一致性。但是在事务过程中有可能会出现A扣减了100元，B没有加上100元的情况，这就是不一致。分布式存储的完全无中心架构–计算模式。沈阳四大开源分布式存储服务架构

分布式存储系统从降低成本的角度，采用信息生命周期管理方法。连云港大数据分布式存储架构

串行访问是指客户端只能从集群中的某个节点来访问集群内的文件资源，而并行访问则是指客户端可以直接从集群中任意一个或者多个节点同时收发数据，做到并行数据存取，加快速度。HDFS、GFS、pNFS等分布式存储系统，都支持并行访问，需要安装专门客户端，传统的NFS/CIFS客户端不支持并行访问。对于分布式集群，其对文件元数据的管理方式又可以分为single path image和single filesystem image两种方式。分布式存储系统按照文件访问方式来分类，分布式存储系统可分为串行访问式和并行访问式，后者又被俗称为并行文件系统。连云港大数据分布式存储架构