2024年6月6日发(作者:)
网络通讯与安全电脑知识与技术
一种基于
NAS
的网络存储管理软件的设计与应用
石夫乾
,
周林
(
温州医学院计算机系
,
湖北温州
325000
)
摘要
:
本文阐述了一种基于
NAS
的存储管理软件
;
该系统针对在
Linux
下大量用户的管理和文件存储服务需求
,
将基于
Linux
环境
的磁盘限额与
Mysql
数据库技术相结合
,
使得针对大量的
FTP
用户数据的管理转变为针对
Mysql
的管理
;
并能实现用户磁盘空间容量限
制与空间使用状态的监控
。
关键词
:
存储技术
;
磁盘限额
;
Mysql
数据库
文献标识码
:
A
文章编号
:
1009-3044(2006)26-0059-03
中图分类号
:
TP393
DesignandApplicationofaNetworkStorageManagementSoftwareBasedonNAS
SHIFu-qian,ZHOULin
(ComputerDep.ofWenzhouMedicalCollege,Wenzhou325000,China)
Abstract:ThisArticleintroducesanetworkstoragemanagementsoftwarebasedonNASaftercomparingmanynetworkstoragesystems.it
combinestogetherwiththediskquotaandtheMySQLdatabasetechniqueunderLinuxOS.SowecanchangethewayofmanagementforFTP
userstoMysqldatabasesystem,andwecanlimittheusers'storagecapacityandrecordit.
Keywords:StorageTechnique;DiskQuotaTechnique;MysqlDatabase
1
研究背景
互联网技术和电子商务应用的发展
,
迅速地改变着人们的生
活
,
改变着各个网络使用群体的管理和运作模式
,
其中影响之最
深远的为信息存储系统
,
进入
2000
年以后
,
数据存储技术形成了
计算机领域继主机
、
网络之后的第三次浪潮
,
数据存储技术的不
断发展使得数据存储从传统的
,
低速而且低效的主机网络系统方
式中解脱出来
,
成为独立的存储系统
。
用户对数据存储也越来越
高的需求
,
集中表现为对存储空间容量的增长
,
存储速度的提高
,
和实时性的管理
。
存储空间的容量和存储速度可以通过硬件设备
的改进来实现
,
而如何有效的对存储设备进行管理
,
以满足客户
的各种需求
,
导致了必须加快对大容量存储系统管理软件的开发
与应用
。
根据
IEEE
制定的海量存储系统参考模型
MSSRM(Mass
StorageSystemReferenceModel)[1]
,
以及美国国家存储实验室
NSL
(NationalStorageLaboratory)
正在进行的
HPSS(High-Performance
StorageSystem)
项目
[2]
的总结
,
一个构造完整的存储管理系统应该
包含如下几项功能
:
(1)
结构化存储管理
HSM
功能
;
(2)
故障检测和数据恢复功能
;
(3)
资源控制和配置功能
;
(4)
安全管理功能
;
(5)
帐号管理和服务计费功能
;
(6)
灵活配置服务质量的功能
;
(7)
前瞻性
(proactive)
反应和自我管理
(self-management)
功能
。
本系统力图从资源配置与帐号管理方面进行研究与开发
。
具体解决以下几个方面的问题
:
(1)
使得物理上异构的存储设备
,
统一映射到一个逻辑上的存
储磁盘卷
;
(2)
使得在拥有大量用户的前提下
,
快速定制用户存储需求
;
(3)
高效统一的管理界面方便管理员进行用户信息的管理
;
(4)
实时快速地反馈用户空间的使用状态
。
IT
企业如
,
HP
,
BM
,
EMC
,
Veritas,SUN
等
,
都对此进行研究
。
SNA
(
存储网络工业协会
)
专门成立
SNMWG
(
TheStorageNetwork
ManagementWorkingGroup
)
来致力于存储系统管理软件的开发
与研究
,
虽然这些研究有一些进展
,
但技术还是相对不成熟
[3]
,
因
此留下了可以进行存储系统软件开发的广阔空间
,
一个存储系统
管理大致包括存储资源管理
,
备份
,
灾难恢复
,
存储虚拟化等
。
2.1
存储资源管理软件
(
SRM
)
需求分析
有效做好存储资源管理
,
是打好各大
、
小型企业高效能
、
高可
靠性
、
高可用性之存储基础建设的基础
,
对于存储资源管理软件
的巨幅成长主要来自客户对于支持更大量数据
、
更复杂存储网络
的需求
,
而较成熟的备份与归档软件市场比重逐渐下滑
。
以功能性区分
,
存储资源管理
(
SRM
)
软件较去年成长
30%
以
上
,
首次成为整个存储软件市场中最主要的功能性软件
;
备份与
归档
(Backupandarchive)
则持续维持
9.2%
的稳定年成长率
。
存
储复制软件与档案系统类软件则分别比第一季及去年同期成长
13.5%
与
18.5%
。
全球前五大厂中
,
EMC
与
VERITAS
成长幅度为最大
,
与去
年相较成长率分别达
30.5%
与
23.4%
。
EMC
此时已包含
Legato
的
营收
,
市占率于本季则居全球之冠
,
达
32.5%
,
较去年同期增加
3.4
个百分点
。
VERITAS
则仍维持市场营收市占率第二名地位
,
达
22.6%
,
较去年同期增加
1
个百分点
。
IBM
与
HP
则共居第三名
。
如表
1
。
表
1
各大
SRM
供应商市场分析
2
网络存储软件研究进展
当今
,
数据已经成为最宝贵的财富
,
数据量不断增长
,
存储管
理和维护自动化
,
多平台的互操作性和数据共享
,
现代存储系统
具有高可靠性
,
高可用性和高性能可扩展性
,
现今
,
国外的学术界
和工业界投入大量的力量对存储管理软件进行开发
,
许多的著名
2.2
存储管理软件主要任务与功能
在一套完整的存储系统中
,
如何确保所有企业数据能够得到
可靠备份
,
及时进行灾难恢复
,
这是存储管理软件的主要任务
。
存储管理软件按功能来说分为如下三类
:
(1)
存储管理软件的核心功能是对数据和应用进行备份和恢
复
。
很多存储管理软件厂商的主打产品都是备份与恢复解决方
收稿日期
:
2006-03-20
作者简介
:
石夫乾
(
1975-
),
浙江工业大学控制工程硕士
,
温州医学院计算机系讲师
;
周林
(
1972-
),
中国信息科学研究所硕士
,
温州医学院计
算机系讲师
。
电脑知识与技术
59
电脑知识与技术
案
。
(2)
改进系统和应用
1/O
性能及存储管理能力
。
如卷管理器
(VolumeManager)
、
快照文件系统
(FileSystem)
、
Quick1/O,Cache
UO
等都是用来实现该功能的
。
(3)
提高数据和应用系统的高可用性
,
减少由于各种原因中断
数据存取或者应用系统宕机的时间
,
实现技术有分级存储管理
(HSM)
、
集群服务器
(ClusterServer)
等
。
2.3
存在的问题
众观世界各大存储软件开发公司推出的存储管理系统
,
各有
各的特点
,
并且尽力在各自的某一强势方向做到极致
;
比如容灾
技术
,
远程管理技术
,
数据的高可用性
,
安全性
,
存储效率问题等
。
但是对于存储资源的如何分配以及涉及到具体的磁盘空间的管
理时
,
大都依靠于操作系统本身
,
比如在基于
windows
的
NAS
产
品中
,
采用基于域的管理模式
。
这样使得管理方式过份依赖于操
作系统本身
,
而且从管理上来说也是极其不便的
。
所以如果磁盘
分配能够与数据库结合起来
,
使得管理脱离于
“
域
”
而转化为对数
据库的管理
,
这样的话可以大大地简化了管理过程
,
进而降低了
管理成本
,
确实在提高存储效率方面还存在着许多可挖掘的空
间
,
相关技术研究进展可以参阅
Louis,S.Burris[4][5]
等人的工作
。
3
系统总体结构
网络附加存储系统是可以运行在所有符合
POSIX
标准的
U-
NIX
操作系统上
(
含
Linux
)
的文件服务器
。
它能以较高的性能处
理大量并发的用户访问
,
并按组对用户进行管理
,
可以设定用户
的带宽和流量
。
用户独立于操作系统用户
,
因而有独立于操作系
统的认证机制
,
用户信息存放在数据库中
。
系统分为
4
个部分
:
用
户数据库
、
服务程序
、
客户端程序和管理界面
。
用户数据库存放密
码
、
带宽
、
流量等用户信息
;
服务程序作为操作系统的服务
,
负责
接收用户的请求
,
进行服务
;
管理界面是基于
WEB
页面的用户管
理平台
,
负责用户注册和信息修改
,
以及管理员对用户进行查询
和管理
;
客户端程序供用户连接服务器进行下载
。
如图
1
所示
。
图
1
系统总体结构
3.1
系统应用需求分析
一个良好的存储管理软件
,
应该具备必要的存储设备
,
如大
容量的存储设备
,
DAS
、
NAS
和
SAN
技术
。
可以针对具体不同的系
统采用相对应的存储设备
;
如果是一个完整的存储管理软件还应
包括备份系统
,
容灾系统
。
总体上具备以下几个方面的应用需求
:
(1)
用户数量非常大
,
比如高校学生
FTP
系统
,
针对一所超万
人的学校
,
给每个学生分配
FTP
空间
;
还有一些专门提供
FTP
服
务的
ISP
;
过大的用户数使得对系统的稳定性
,
高效性提出了更高
的要求
,
而这个特点
,
正是
FreeBSD
成为首选系统的理由
[6]
;
(2)
大量的访问并发数
。
该系统还必需允许大量并发情形的存
在
,
因为在用户数量非常大的情况下
,
应该存在很多并发的请求
,
系统应该对并发需求作出规定
,
或者是限制
,
这个在服务器上很
容易进行设定
;
(3)
容量定制技术
;
该系统必需对每个容量请求
,
进行审核
,
或
60
电脑知识与技术
网络通讯与安全
者预先进行容量的定制
,
根据每个不同用户级别进行容量限额的
管理
;
这个主要是通过
Linux
下的
Quota
技术来实现
;
(4)
监视用户信息
;
该系统能实时的监视每个用户的状态
,
比
如容量的实现统计
,
以计算剩余的存储空间
,
能有效的及时的了
解存储设备的使用状况
,
这样才能更好的进行存储容量的分配
。
另外
,
系统要向管理者反馈实时网络信息
,
如
FTP
实时信息
,
用户
来源
,
提交的文件数量
,
容量等
。
(5)
强大的后台管理系统
;
管理者的不同级别需求
,
必然要求
系统给出一个统一的管理平台
。
这种平台的开发能给管理者提供
方便的实现以上四点的管理需求
。
本工程就开发了一个具体案例
(
详见本文第五部分
)
3.2
系统运行环境
软件环境
:
采用
ApacheHTTP
服务器
,
Mysql
服务器以及
PHP
编程环境
。
3.3
磁盘限额技术的应用
在
FreeBSD
系统下安装
QuotaForLinux
软件
,
以及
ProFTPD
软件
,
并进行简单的配置即可
,
详见文
[7]
。
4
系统详细设计
4.1
功能模块划分
系统的各功能模块的组成如下图
2
所示
。
图
2
系统功能模块组成
4.2FTP
用户与数据库的绑定
4.2.1
原理
通过安装上述提到的
ProFTPD
模块
,
可以将
FTP
用户信息与
Mysql
绑定起来
,
即只要在
MYSQL
数据库的用户信息表
,
与存储
需求表进行修改就可以同时设定
FTP
用户的信息
,
当然
,
能过安
装
Quota
软件
,
与进行简单的配置
,
可生成系统用户限额数据库
,
在该数据库中存储用户的各种需求
,
如空间容量
,
认证信息等
,
同
时还生成一个空间状态信息数据库
,
可以实时的反应存储状态
,
如
,
空间当前使用容量
,
存储的文件数
,
目录数
,
以及提交地址等
信息
。
通过这样的设置
,
我们只需开发一个基于
WEB
的
Mysql
数
据库管理系统
。
4.2.2
批量帐号处理
(1)
由于用户数过大
,
存在初始帐号建立及信息更新的批量处
理问题
。
在成千上万的用户信息维护特别是帐号生成
,
不可能采
用手工的方式进行处理
,
目前许多存储服务提供商
,
供应的程序
,
都不涉及这一方面的内容
。
故存在申请周期较长的困难
,
给用户
带来了不便
;
如果通过帐号自动生成系统
,
可以实时的对帐号信息
进行管理
,
从而大大地缩短帐号申请周期
。
(2)
关键性代码
¥connect=mysql_connect("localhost","root","*******")or
die("couldnotconnecttodatabase");//
数据库服务器连接
mysql_select_db("ftp",¥connect)ordie(mysql_error());//
数据库
选择
¥temp=file("quotalimits.csv");//
帐号文本文件导入
for(¥i=1;¥i<count(¥temp);¥i++)
{¥string=explode(",",¥temp[¥i]);
¥q="insertintoquotalimits(name,quota_type,per_session,lim-
it_type,
bytes_in_avail,bytes_out_avail,bytes_xfer_avail,files_in_avail,
files_out_avail,files_xfer_avail)values('¥string[0]','¥string[1]',
网络通讯与安全电脑知识与技术
具有集中性和高效性的网络存储系统将代替传统的直接附加存
储方式成为校园网存储系统的主体
;
讨论了两种流行的两种网络
存储系统
NAS
和
SAN
的优缺点和在校园网的应用
,
提出了校园
网的网络存储系统的一般结构
。
'¥string[2]','¥string[3]','¥string[4]','¥string[5]','¥string
[6]','¥string[7]','¥string[8]','¥string[9]')";
mysql_query(¥q)ordie(mysql_error());//
更新表的内容
if(!mysql_error());
{echo"insertsuccess!";}//
更新成功
unset(¥string);//
释放字符串
}
6
总结
本系统管理软件着重在于如何处理存储资源管理中的资源
分配
、
帐号管理与认证问题
;
对于长期的大量的在线用户的需求
。
本系统经过了两年多的运行
,
能有效地解决由于大量用户所带来
的管理上的不便
;
对于磁盘限额技术在很多领域已经有所应用
,
但在
linux
下
,
应用不多
,
能开发成功一个实际的管理软件更少
。
而很多的存储管理软件多注重备份
,
与容灾技术
,
对于实际的应
用必须进行针对性的开发
;
并且这项技术可以移植到大容量的邮
件系统中
;
接下来
,
还存在一些问题
。
比如在
UNIX
系统中
,
如
IBM-AIX,
还无法完成
Mysql
数据库与
FTP
信息的捆绑
;
这就有待
于进一步研究了
。
5
应用
现举一个在校园网中的应用为例
。
首先建立一个基于
WEB
的界面
,
这里不仅具备一般网站的几大要素
:
如新闻布发与管理
,
文章发布与管理系统
,
在线信息交互系统
;
用户注册
,
资源下载之
外
,
还包括教学网站所具备的几个有特色的功能
,
如作业提交与
管理系统
(
学生可在线通过该系统提交自己的作业
,
系统可自动
记录作业情况
,
教师可通过后台进行管理和作业的批改
,
并可存
储批改意见
;)
视频点播系统
(
学生在线点播教师的教学视频
)
教
师信箱论坛
(
供学生讨论提问
)
教师资源管理系统
(
教师可以通过
该系统提交自己的教学材料
,
这里分两个部分
,
可共享部分和私
有部分
,
教师可根据教学需要决定资源的共享与否
,
这里的资源
可以进行归类
(
我们称之为资源下载系统
),
如电子教案
,
进度表
,
教学安排
,
教学公告
,
电子书
,
推荐等
。
(1)
用户信息管理
。
这里可以采用两种方式
,
一种是采用现成
的
、
比较成熟的基于
linux
环境下的数据库管理工具
,
本例中采用
phpmyadmin
软件
。
在这个软件中比较全面的针对记录进行各种
操作
,
如记录编辑
、
删除
、
插入查询等功能
;
支持
SQL
语言
,
并能设
定管理权限以及数据库相关操作
。
但是界面不直观
,
不利于管理
员的操作和理解
,
而只适合于专业开发人员
。
其次是采用自主开
发的管理软件
,
如图
6-3
,
主要功能为完成存储帐号信息的查看
,
编辑
,
修改等功能
。
(2)
作业帐号的生成
。
通过该系统为学生定制帐号
,
作业空间
的大小
,
可创建
,
删除
,
更改
,
同时可跟踪提交信息
(
如
,
提交时间
,
提交的地址
,
作业内容管理等
);
其次
,
是教师资源管理系统
,
为每
一位教师设置帐号
。
根据权限进入学生的空间
,
导出作业进行批
改
,
并可写入批改信息
;
也可通过帐号登录系统上载其教学资源
,
另外可以运行批量帐号生成程序
。
(3)
远程文件管理系统
。
通过该系统可以上
/
下载文件
,
对远程
文件进行修改删除等操作
。
(4)
新闻及其它日志管理
。
由于有关新闻与日志管理属一般的
网站功能
,
在此就不再论述了
。
进一步的关于
NAS
系统在校网上的应用可参见文
[8]
中指出
参考文献
:
[1]JohnL.Cole,MerrittE.Jones,IEEEStorageSystemsStan-
dardsWorkingGroupOverview,IEEESSSSWGHomePage,http://
www.ssswg.org/public_documents.html
[2]S.Louis,R.D.Burris,ManagementIssuesforHigh-Perfor-
manceStorageSystems,IEEEMSSSymposium,courtesyofthe
IEEEComputerSocietyPress,1995:23-25
[3]
贾瑞勇
.
存储区域网络管理系统的研究与实现
[J],
西北工业
大学研究生学位论文
,2002.03.
[4]Louis,S.Burris,R.D.LawrenceLivermoreNat.Lab,Manage-
mentissuesforHigh-PerformanceStorageSystems,MassStorage
Systems,1995:336-348
[5]Birk,Y.Bishara,N.Technion-IsraelInst.ofTechnol.,Dis-
tributed-and-splitdata-controlextensiontoSCSIforscalablestor-
ageareanetworks,HighPerformanceInterconnects,2002.Aug:77-82
[6]Dinh-Trong,T.Bieman,J.M.Opensourcesoftwaredevelop-
ment:acasestudyofFreeBSD
,
SoftwareMetrics,Sept.2004:96-105.
[7]TJSaunders
,
ProFTPDmodulemod_quotatab&mod_quo-
tatab_sql,2004.http://www.castaglia.org/proftpd/modules/mod_quo-
tatab.html
[8]
颜海兴
,
郭放
,
唐鹤权
.
网络存储系统在校园网上的应用
[J].
东华大学学报
,2004.12(30,6):117-119.
的握手协议可以保证两台计算机的合法性
,
即使数据被截取也有
MD5
与
RSA
算法加密不怕被非法利用
,
做到保障用户与网站的
作用
。
(
上接第
29
页
)
发送到用户的浏览器
。
用户的浏览器利用私钥解密后
,
再用服务
器的公钥之后产生一个通话密钥
,
并发送到
WEB
服务器
。
WEB
服务器利用私钥解获得通话密钥
。
WEB
服务器与用户的浏览器
利用通话密钥建立对称密码方案的通信
。
在
WindowsServer
的基础上安装
IIS
作为网站
WEB
服务器
,
在添可以利用
Windows
的证书组件实现
SSL
协议作为数据传输
。
加删除
Windows
组件中添加证书服务
。
选择
CA
类型中
,
选择
“
独
立根
CA
”,
然后为该
CA
服务器设计一个名字
,
设置证书的有效期
限
,
可以使用默认值
“
5
年
”,
最后指定证书数据库和证书数据库日
志的位置后
,
完成了证书服务的安装
。
3.2.3
利用
RSA
算法加密
在建立了
SSL
的握手协议后
,
浏览器与
WEB
服务器之间的
数据传输也不是单用
MD5
加密后直接得到的信息
,
而是被传输
的内容是经过加密的
。
防止链接变量的整数参数被知道后
,
有人
对数据进行截流
、
窃听
,
非法获取用户的信息与交易记录
。
所以浏
览器与
WEB
服务器之间的数据传输是经过在
SSL
握手协议中交
换过的公钥和私钥进行加密处理的
。
所用的公钥和私钥是经过
RSA
算法得到的加密与解密唯一值
。
利用
SSL
当用户的信息
MD5
加密与
SSL
协议再加密传输后
。
4
结束语
电子商务网站的安全在服务器的架设方面
,
要防止利用恶意
的海量垃圾信息攻击
,
或攻破系统程序
,
利用未发现的系统漏洞
影响服务器的运作
,
因此主要防止服务器不被非法入侵就基本可
以实现网站的安全
,
在及时打上系统漏洞的补丁的基础上
,
能满
足绝大部分的网络安全需求
。
另外数据传输利用数据加密技术
,
和
SSL
传输协议就可以保证安全
。
参考文献
:
[1]
宋远方
,
姚贤涛
.
电子商务
[M].
北京
:
电子工业出版社
,
2003.6.82.
[2]
劳帼龄
.
电子商务安全与管理
[M].
北京
:
高等教育出版社
,
2003.1-122.
[3]
祁明
.
电子商务安全与保密
[M].
北京
:
高等教育出版社
,
2001.1-156.
[4]
张炯明
.
安全电子商务使用技术
[M].
北京
:
清华大学出版社
,
2002.1-162.
电脑知识与技术
61


发布评论