2024年4月25日发(作者:)

CS1012云存储技术白皮书

宝德云存储技术白皮书

1.宝德分布式存储系统架构

宝德分布式存储系统是基于开源的

Ceph

存储系统进行整合和优化并做二次

开发,宝德分布式文件系统是一个

LinuxPB

级文件系统,可扩展到

100PB

宝德分布式存储系统在一个统一的系统中同时提供了对象、块、和文件存

储功能。它可靠性高、管理简单,并且是开源软件。分布式存储系统的强大可

以改变贵公司的

IT

基础架构和海量数据管理能力。分布式存储系统可提供极

大的伸缩性——支持数千客户端访问

EB

级数据。分布式存储系统的节点可以充

分利用硬件资源和智能

OSD

守护进程,而一个分布式存储系统存储集群容纳了

大量节点,它们相互通讯、复制数据、动态地重分布数据,支持目录级别的异步

远程复制功能;分布式存储系统监视器也能组成集群来监控整个分布式存储系

统存储集群内的分布式存储系统节点,确保它们运行正常。

一个对象存储:分布式存储系统的对象存储为

RADOS

,是分布式存储

系统

FS

文件系统、

RADOS

网关、和分布式存储系统块设备的存储部

件。

多个存储接口:在同一个分布式存储系统对象存储集群中,,您可以使

用分布式存储系统文件存储、分布式存储系统对象存储、或者分布式存

储系统块存储接口,你也可以同时使用这三个接口,无需为三种不同接口

分别建设存储集群!

使用普通硬件:您可以用普通硬件部署分布式存储系统,而不需要购买

昂贵的专用存储或网络硬件。

CS1012云存储技术白皮书

Reliable,Autonomic,DistributedObject

分布式存储系统的底层是

RADOS

Store

,即可靠的、自动化的、分布式的对象存储)。

RADOS

由两个组件组成:

OSD

ObjectStorageDevice

,提供存储资源;

Monitor

:维护整个分布式存储系统集群的全局状态。

存储集群的客户端和各个

OSD

守护进程使用

CRUSH

算法高效地计算数

据位置,而不是查询某个表。分布式存储系统基于

RADOS

提供了一个可无限

伸缩的对象存储系统,它的高级功能包括:基于

librados

的对象存储系统原生

接口、和多种服务接口,它们有:

SAN/块设备:RBD服务提供了大小可调、支持快照和克隆的块设备,

支持目录级快照功能。为提供高性能,分布式存储系统把块设备条带化。

分布式存储系统同时支持直接使用librbd的内核对象(KO)和QEMU

管理程序,避免了虚拟系统上的内核模块开销;

RESTful网关:RADOS网关(RADOSGateway,RGW)服务提供了

和AmazonS3和Swift兼容的RESTfulAPI;

NAS文件系统:分布式存储系统文件系统兼容POSIX,可以直接挂载

或挂载为用户空间文件系统(FUSE)。支持NAS标准协议,提供支持

NFS、SMB、FTP、NDMP等协议。

1.1.高效的对象寻址机制

分布式存储系统通过CRUSH算法高效地计算数据位置,而不是查表,寻址

流程示意图如下: