2024年4月25日发(作者:)
CS1012云存储技术白皮书
宝德云存储技术白皮书
1.宝德分布式存储系统架构
宝德分布式存储系统是基于开源的
Ceph
存储系统进行整合和优化并做二次
开发,宝德分布式文件系统是一个
LinuxPB
级文件系统,可扩展到
100PB
。
宝德分布式存储系统在一个统一的系统中同时提供了对象、块、和文件存
储功能。它可靠性高、管理简单,并且是开源软件。分布式存储系统的强大可
以改变贵公司的
IT
基础架构和海量数据管理能力。分布式存储系统可提供极
大的伸缩性——支持数千客户端访问
EB
级数据。分布式存储系统的节点可以充
分利用硬件资源和智能
OSD
守护进程,而一个分布式存储系统存储集群容纳了
大量节点,它们相互通讯、复制数据、动态地重分布数据,支持目录级别的异步
远程复制功能;分布式存储系统监视器也能组成集群来监控整个分布式存储系
统存储集群内的分布式存储系统节点,确保它们运行正常。
一个对象存储:分布式存储系统的对象存储为
RADOS
,是分布式存储
系统
FS
文件系统、
RADOS
网关、和分布式存储系统块设备的存储部
件。
多个存储接口:在同一个分布式存储系统对象存储集群中,,您可以使
用分布式存储系统文件存储、分布式存储系统对象存储、或者分布式存
储系统块存储接口,你也可以同时使用这三个接口,无需为三种不同接口
分别建设存储集群!
使用普通硬件:您可以用普通硬件部署分布式存储系统,而不需要购买
昂贵的专用存储或网络硬件。
CS1012云存储技术白皮书
Reliable,Autonomic,DistributedObject
分布式存储系统的底层是
RADOS
(
Store
,即可靠的、自动化的、分布式的对象存储)。
RADOS
由两个组件组成:
OSD
:
ObjectStorageDevice
,提供存储资源;
Monitor
:维护整个分布式存储系统集群的全局状态。
存储集群的客户端和各个
OSD
守护进程使用
CRUSH
算法高效地计算数
据位置,而不是查询某个表。分布式存储系统基于
RADOS
提供了一个可无限
伸缩的对象存储系统,它的高级功能包括:基于
librados
的对象存储系统原生
接口、和多种服务接口,它们有:
SAN/块设备:RBD服务提供了大小可调、支持快照和克隆的块设备,
支持目录级快照功能。为提供高性能,分布式存储系统把块设备条带化。
分布式存储系统同时支持直接使用librbd的内核对象(KO)和QEMU
管理程序,避免了虚拟系统上的内核模块开销;
RESTful网关:RADOS网关(RADOSGateway,RGW)服务提供了
和AmazonS3和Swift兼容的RESTfulAPI;
NAS文件系统:分布式存储系统文件系统兼容POSIX,可以直接挂载
或挂载为用户空间文件系统(FUSE)。支持NAS标准协议,提供支持
NFS、SMB、FTP、NDMP等协议。
1.1.高效的对象寻址机制
分布式存储系统通过CRUSH算法高效地计算数据位置,而不是查表,寻址
流程示意图如下:


发布评论