集群间的数据会发生迁移，以便达到平衡。这个过程有些是自动的，也有些是手动进行触发。这个过程也是困难的：既要保证数据的增量迁移，又要保证集群的正确服务。分布式存储的兴起与互联网的发展密不可分，互联网公司由于其数据量大而资本积累少，而通常都使用大规模分布式存储系统。分布式存储与传统的好的服务器、好的存储器和好的处理器不同的是，互联网公司的分布式存储系统由数量众多的、低成本和高性价比的普通PC服务器通过网络连接而成。其主要原因有以下：互联网的业务发展很快，而且注意成本消耗，这就使得存储系统不能依靠传统的纵向扩展的方式，即先买小型机，不够时再买中型机，甚至大型机。分布式存储有进行分析判断和规划自身行为的能力。杭州大数据分布式存储解决方案
为了保证分布式存储系统的高可靠和高可用，数据在系统中一般存储多个副本。当某个副本所在的存储节点出现故障时，分布式存储系统能够自动将服务切换到其他的副本，从而实现自动容错。分布式存储系统通过复制协议将数据同步到多个存储节点，并确保多个副本之间的数据一致性。分布式存储在应用程序中涉及多个不同的单机事务，只有在所有的单机事务完成之前和完成之后，数据是完全一致的。我们引出了一致性模型，这里我们由强到弱简单的介绍几种常见的一致性模型。分布式存储其目的是通过廉价的服务器来提供使用与大规模，高并发场景下的Web访问问题。北京数据分布式存储存储分布式存储将长久有效地保存真实数据！
说到分布式存储不得不提单机数据库存储的事务特性：A（原子性）C（一致性）I（隔离性）D（持久性），而扩展到分布式存储后，受限于分布式C（一致性）A（可用性）P（分区容忍性）理论，几乎不可能满足完整得事务特性。各种分布式存储服务实现都对单机存储的事务特性作了权衡取舍，满足特定的服务场景需求。另外分布式存储系统是基于网络互联的，所以除了基本得磁盘访问性能开销，还多了网络性能开销。通常一般机械硬盘得平均寻道时间为10ms。分布式存储和大数据是构建在分布式存储之上的应用。
分布式存储系统按照文件访问方式来分类，分布式存储系统可分为串行访问式和并行访问式，后者又被俗称为并行文件系统。对于分布式集群，其对文件元数据的管理方式又可以分为single path image和single filesystem image两种方式。串行访问是指客户端只能从集群中的某个节点来访问集群内的文件资源，而并行访问则是指客户端可以直接从集群中任意一个或者多个节点同时收发数据，做到并行数据存取，加快速度。HDFS、GFS、pNFS等分布式存储系统，都支持并行访问，需要安装专门客户端，传统的NFS/CIFS客户端不支持并行访问。分布式网络存储系统采用可扩展的系统结构。
集中式元数据管理架构采用单一的元数据服务器，实现简单。但是存在单点故障等问题。在大数据环境下，数据规模和复杂度的增加往往非常迅速，对系统的扩展性能要求较高。实现存储系统的高可扩展性首先要解决两个方面的重要问题，包含元数据的分配和数据的透明迁移。元数据的分配主要通过静态子树划分技术实现，后者则侧重数据迁移算法的优化。此外，大数据存储体系规模庞大．结点失效率高，因此还需要完成一定的自适应管理功能。系统必须能够根据数据量和计算的工作量估算所需要的结点个数，并动态地将数据在结点间迁移。在大数据环境下，元数据的体量也非常大，元数据的存取性能是整个分布式文件系统性能的关键。杭州网络分布式存储解决方案
分布式存储系统必须能够根据数据量和计算的工作量估算所需要的结点个数。杭州大数据分布式存储解决方案
可以考虑做容灾备份等方案，而这些方案就会让系统演变为分布式系统了；移动终端的计算能力和存储空间有限，而且有在多个设备之间共享资源的强烈的需求，这就使得网盘、相册等云存储应用很快流行起来。然而，万变不离其宗，云存储的中心还是后端的大规模分布式存储系统。大数据则更近一步，不仅需要存储海量数据，还需要通过合适的计算框架或者工具对这些数据进行分析，抽取其中有价值的部分。如果没有分布式存储，便谈不上对大数据进行分析。仔细分析还会发现，分布式存储技术是互联网后端架构的神器。杭州大数据分布式存储解决方案
