
随着互联网行业的发展,人们对存储的需求越来越大,采用集中式的存储成为数据中心系统的瓶颈,不能满足大规模存储应用的需要。
受益于服务器技术的发展和成熟,与标准服务器的分布式存储开始出现,分布式存储开始被广泛的应用起来。
分布式存储就是将数据分散存储到多个存储服务器上,并将这些分散的存储资源构成一个虚拟的存储设备,实际上数据分散的存储在企业的各个角落。分布式存储的好处是提高了系统的可靠性、可用性和存取效率,还易于扩展。
分布式存储的原理是将数据分散到许多服务器上,可以通过网络连接访问这些服务器并获取数据。每个服务器可以处理其中的一部分数据,也可以为其他服务器提供访问。在这种方式下,每个服务器都有自己的操作系统、磁盘驱动器、CPU等等硬件,这样分散的数据能够更加安全地存储,而且可以大幅度提高数据访问的速度。
同时,分布式存储系统还通过备份数据来增强安全性和可靠性。数据在多个服务器间被复制,这样即使其中一个服务器崩溃,数据也能够得以恢复,不会因此丢失。
一个典型的分布式存储系统由多个层次组成。最底层由存储节点组成,它们存储数据并负责数据的复制和恢复。然后是一层元数据服务,由跟踪各个存储节点所存储的数据块的状态和位置。在上层是协调节点,它们用于处理客户端请求、路由请求到适当的存储节点并返回响应。
在如气象气候、地质勘探、航空航天、工程计算、材料工程等领域,基于集群的高性能计算,已成为必需的辅助工具。集群系统有极强的伸缩性,可通过在集群中增加或删减节点的方式,在不影响原有应用与计算任务的情况下,随时增加和降低系统的处理能力。根据不同的计算模式与规模,构成集群系统的节点数可以从几个到成千上万个。这些业务对后端的存储系统提出了新的需求,包括统一的存储空间、高效率的文件检索、高带宽的吞吐性能,高可靠的数据安全保障等。
随着视频高清技术及超高清技术的普及,视频大数据应用场景,如雪亮工程、平安城市、广电媒资、影视制作、视频网站等领域,对存储设备提出了大容量、高读写性能、高可靠性、低延时及可扩展性等需求。针对这样大规模视频数据应用场景,就需要一个技术先进、性能优越的存储系统作为后端数据存储的支撑者。
伴随着互联网技术及人工智能的发展,各种基于海量用户/数据/终端的大数据分析及人工智能业务模式不断涌现,同样需要充分考虑存储功能集成度、数据安全性、数据稳定性,系统可扩展性、性能及成本各方面因素。