2023年12月22日发(作者:)
HP EVA 4400_RedHatlinux_光纤交换机
安装调试
2010年4月
目录
硬件配置列表············································································3
项目说明················································································5
拓扑图··················································································6
一、送货验货············································································7
二、硬件上架············································································7
三、线缆连接············································································8
四、安装系统············································································9
五、光纤交换机划zone····································································27
六、EVA划vd并挂载给服务器·····························································29
七、安装操作系统补丁、psp包·····························································36
八、分区、格式化、mount vd······························································37
九、网卡绑定············································································40
十、测试················································································41
附件1机柜图············································································42
附件2操作系统安装要求··································································43
1 / 46
硬件配置列表
項番
服务器
1 484184-B21
2 484184-B21 0D1
3 484184-B21 AKM
4 505882-L21
5 500656-B21
6 500656-B21 0D1
7 512545-B21
8 512545-B21 0D1
9 532068-B21
10 532068-B21 0D1
11 462967-B21
12 462967-B21 0D1
13 503296-B21
14 503296-B21 0D1
15 512485-B21
16 AE312A
17 AJ836A
18 445210-B21
19 U4497E
20 UC630E
HP DL360G6 CTO Chassis
Factory integrated
China - English localization
HP E5530 DL360 G6 FIO Kit
HP 2GB 2Rx8 PC3-10600R-9 Kit
Factory integrated
HP 72GB 6G SAS 15K 2.5in DP ENT HDD
Factory integrated
HP DL360G6 12.7mm SATA DVD-RW Kit
Factory integrated
HP 512MB P-Series BBWC Upgrade
Factory integrated
HP 460W HE 12V Hotplg AC Pwr Supply Kit
Factory integrated
HP iLO Adv 1-Svr incl 1yr TS&U SW
HP StorageWorks FC1242 Dual Channel 4Gb PCI-e HBA
5 m LC-LC Multi-Mode OM3 Fibre Channel Cable
RedHat企业级Linux 5 的标准版(Standard,最多支持到2颗物理CPU),三年9*5电话服务;Email支持,红帽RHN下载和在线升级服务;
三年现场,7*24,当天4小时到场 DL360
服务器Linux软件安装
6
6
6
6
6
6
6
24
24
6
6
6
6
6
6
12
12
6
6
12
型番 機 種 名 / 品 名 数量
磁带机
1 AG576A
2 EH847A
3 416096-B21
4 AE468A
5 252663-B31
6 H4623E
3U Rack Mount SAS Kit
Ultrium 920 SAS Internal Tape Drive
HP SC44Ge SAS Host Bus Adapter
SAS Ext-Min 1x-4M Cable Assy Kit
HP 32A High Voltage Modular PDU
Storagework 三年现场,7X24, 当天4小时到场
1
3
3
6
2
1
EVA
1 AF002A
2 AF002A 001
3 AG637B
4 AG637B 0D1
5 AG638B
6 AG638B 0D1
7 AG690B 0D1
8 AG690B 0D1
9 AG638B
10 AG638B 0D1
HP Universal Rack 10642 G2 Shock Rack
Factory Express Base Racking
HP EVA4400 Dual Controller Array
Verify Price
HP M6412 Fibre Channel Drive Enclosure
Verify Price
Verify PriceHP 300GB 15K FC EVA M6412 Enc HDD
Verify Price
HP M6412 Fibre Channel Drive Enclosure
Verify Price
2 / 46
1
1
1
1
1
1
12
12
2
2
11 AG690B 0D1
12 AG690B 0D1
13 252663-B31
14 252663-B31 0D2
15 AF074A
16 AF074A 0D1
17 AF062A
18 AF062A B01
19 AF054A
20 AF054A 0D1
21 221692-B23
22 221692-B23 0D1
23 120672-B21
24 120672-B21 0D1
25 T5494A
26 T5498B
27 HA110A3
28 HA110A3 9BH
29 T5505D
30 AF070A
31 HA113A1
32 HA113A1 5BW
33 HA113A1 5BY
34 HA124A1
35 HA124A1 5AS
Verify PriceHP 300GB 15K FC EVA M6412 Enc HDD
Verify Price
HP 32A High Voltage Modular PDU
Factory horizontal mount of PDU
HP Rack Grounding Kit
Factory integrated
HP 10K G2 600W Stabilizer Kit
Include with complete system
HP 10642 G2 Sidepanel Kit
Factory integrated
HP 15m Multi-mode OM2 LC/LC FC Cable
Factory integrated
HP 9000 Series Ballast Option Kit
Factory integrated
HP CV EVA 8.0 Rep Sol Mgr 4.0 Media Kit
HP CV EVA 4400 Unlimited LTU
HP 3y Support Plus 24 SVC
CV EVA4400 Unlim LTU Support
Verify PriceHP Smartstart for EVA V2.1 SW Media Kit
HP 10pk Carbt 1U Universal Filler Panel
HP Installation Service
ProLiant Add On Options Installation SVC
Rack and Rack Options Installation
HP Technical Installation Startup SVC
HP Startup Command View EVA (CV EVA) Svc
24
24
2
2
1
1
1
1
1
1
4
4
1
1
1
1
1
1
1
2
1
2
1
1
1
SAN
1 AM868A
2 AM868A AKM
3 HA110A3
4 HA110A3 9LJ
5 221692-B23
6 A3196A
7 AJ716A
HP 8/24 Base 16-ports Enabled SAN Switch
China - English localization
HP 3y Support Plus 24 SVC
HP B-Series 8/8 and 8/24 Switch Support
HP 15m Multi-mode OM2 LC/LC FC Cable
5 meter AC power cord
HP 8Gb Shortwave B-series FC SFP+ 1 Pack
2
2
1
2
32
2
32
LAN
1 J9028B ProCurve Switch 1800-24G 1set 1
UPS
1 AF416A
2 AF417A
3 U4690E
HP R5500 VA UPS, 3U
HP R5500 ERM BARY
UPS安装
2
2
2
服务
1 512485-B21
2 UK603E
HP iLO Adv 1-Svr incl 1yr TS&U SW
Proliant Essential电话7x24支持(3年)
6
6
服务
1 Hardware & Software installation, system setup, ongoing support
3 / 46
1
项目说明
客户的应用是以计算和数据写入为主,一个计算周期比较长,数据在计算完成后再写入存储中,如果在计算或写入的过程中系统出现故障,则整个计算周期的工作就作废,所以对稳定性和容错要求很高。因此在整个项目中,电源和数据链路都是冗余的,在硬件安装的过程中也要十分仔细,以保证整个系统的可用性。
6台HP DL360G6服务器安装linux操作系统用作运算,每台服务器在系统层面是独立的,双端口光纤卡分别经冗余的光纤交换机连接EVA4400,运算的结果存储在EVA上,下面拖三个磁盘柜,给每个服务器划分4个vd(virtual disk的容错级别是RAID5),可用容量在9T多。一个计算周期完成后,把所有数据备份在磁带中。服务器之间的通信能过千兆以太网交换机,EVA管理模块上的RJ-45网口也连接在交换机上以放便管理。双UPS分别连接两路市电,给整个机柜供电。
整个机柜部署完成后,独立于周围的环境,只有两根市电输入机柜,一根网线连其他机柜的交换机用作管理。
项目的实施人员至少需要三位。项目经理管全局工作安排与组织、与客户销售以及HP沟通协调、实施监督核查,另两位工程师分工负责对应的实施事项。这样工作才会顺利有序,少出差错。
项目实施过程中需要携带的工具:活动扳手、斜口钳、多功能螺丝刀、小螺丝刀(加光驱用)、扎线带、标签打印机(或打印好的标签)、手写标签纸、SmartStart8.30x64光盘等。
4 / 46
拓扑图
ProCurve Switch 1800-24GDL360 G6NvsLX194NvsLX193NvsLX192NvsLX191NvsLX190NvsLX189HP 8/24 SAN SwitchUltrium 920
SAS Internal
Tape DriveEVA4400UTP网线LC-LC光纤线SAS线
5 / 46
第一天:
一、送货验货
库房早上9点多开始备货装车,装车时用送货签收单一一核对所有货物,到客户处大概中午12点多,等客户吃完饭便开始卸货,货物应在客户指定的位置摆放整齐,有货号的标签应向外,以方便核查验货,根据货物签收单一项一项仔细核对,给客户讲清楚每一件货物和签收单的对应关系。完毕后让客户签字并加盖公章。签收单最好让送货师傅带回,如果遇特殊情况师傅无法带回,则由实施工程师带回并亲自交给对应的商务。
货物签收完毕大概下午3点多。
二、硬件上架
硬件安装的顺序自下往上为:机柜、PDU、UPS、EVA、服务器、磁带机、网络交换机、光纤交换机。机柜中的设备位置图见附件。
拆卸硬件外包装时,应计划有序,拆一套装一套,然后把有用的资料包整理到一个纸箱中,把没用的空包装箱放到一边,以免搞混。多余的电源线和数据线可以放到另一个纸箱中。
1. 安装机柜
先把机柜的塑料外包装拆掉,卸下不需要的前后门,装上机柜侧板,再把机柜推到指定位置,取出随机柜附带的螺丝包、内梅花螺丝刀、机柜门钥匙及四个固定机柜的脚杆。
先用活动扳手把机柜的四个脚杆上好,每个脚杆和地面间应垫上随机柜附带的垫片,脚杆上到机柜的轮子用手可以拨动为止,不宜太高,如果有多个机柜并排摆放,可以通过带有螺纹的固定脚调节机柜的倾斜度,使相邻的机柜间缝隙均匀,高度一致。
2. 安装PDU
两个PDU紧挨着安装在机柜后侧的最下面位置,两个PDU分别连接两个UPS,以实现电源的冗余,连接到PDU上的插座应分两路分别安装在机柜后侧的两边,一边一路,分别连接各个设备的两个电源,PDU的安装高度视整个机柜中的设备位置而定,以电源线的长度、连接设备和理线方便为原则。PDU连接UPS的工业插头应从机柜后的线缆孔穿上来。
注意:由于PDU的线缆在所有设备安装好后就没办法再动了,所以在安装好PDU后,所有线缆应立即整理好,并用扎线带固定在机柜上。
3.安装UPS
两个HP R5500UPS,两个控制器在上面,两个电池包紧挨着在下面,所以应先装两个电池包。在安装UPS时,需要两到三个人抬着上架,以免误伤或摔坏硬件。
拆掉电池包的外包装,把导轨先安装到机柜中,再取出电池箱和电池,把电池包装入电池箱中,按照随机附带的硬件安装说明书,把电池包固定在电池箱中,然后把电池箱安装到机架中并用随机附带的螺丝固定在机柜上。
接着拆掉UPS主机的外包装,先把导轨安装到机柜中,把电池包装入主机中,按照随机附带的安装说明书把电池包固定在主机内,然后把两个主机分别安装在电池包的上面,并用随机附带的螺丝固定在机柜上。
最后是UPS主机与电池包的线缆连接。撕掉主机后面的电池包输入插口上的标签,插入电池包的电缆线,在插口位置上面的电池开关先不要打开,等UPS的输入电源接上后再打开。UPS输出的工业插座可以先和PDU连接。
UPS的市电输入应由专业的强电工程师操作。
6 / 46
4.安装EVA控制器及磁盘柜
先安装磁盘柜,三个磁盘柜自下往上逐个安装。拆掉磁盘柜的外包装,先安装导轨,再把磁盘柜用随机附带的螺丝固定在机柜上,然后拆掉控制器的外包装,先安装导轨,再安装控制器。磁盘柜和控制器都是2U高度,重量较大,且安装位置中机柜的中部,安装时需要两个人抬着上架。
接着拆掉硬盘的外包装,由于硬盘的数量比较多,可单独安排一人在另外两人安装其他硬件时拆包装,打开包装的硬盘应摆放在地上或稳定的桌面上,而且摆放的高度不能太高,以免失误的触碰导致硬盘跌落损坏。拆完所有硬盘后,可由一到两人轮流插入磁盘柜中。
注意:在把硬盘插入磁盘柜中时,应先把硬盘把手拉起,用手轻轻地按住硬盘的固定位置把硬盘推到底,然后再压下把手。如果硬盘的把手没有完全抬起就插硬盘,或者硬盘没有完全推到底就压下把手,都属于不正确的安装操作,会造成磁盘柜的隔板鼓起,使相邻的硬盘插不进去,且硬盘卡在磁盘柜中不易拔出。
5.安装服务器
6台服务器的安装也是自下往上安装,所有的服务器都需要打开服务器顶盖加上光纤卡,最上面的三台服务器需要再分别安装一块SAS卡,所以机器上仅有的两个PCI扩展口会被用完,且有一个卡需要换成半高的挡片。
注意:由于EVA划分vd后需要通过光纤卡的WWN号挂载到指定主机, 而WWN号一般贴在长挡片上,所以尽量不要更换光纤卡上的挡片,如果必须把光纤卡更换成半高的挡片,需要先把WWN号抄下来做记录,以便以后使用,否则多个WWN号搞混后会拖延实施的进度。
服务器硬件加机完成后,先把导轨安装到机柜中的指定位置,然后自下往上逐台安装服务器,确保安装有SAS卡的三台服务器在最上面,最后用服务器自带的固定件把服务器固定在机柜中。
6.安装磁带机
先分别把三个内置磁带机和安装磁带机的机柜套件拆箱,打开机柜套件顶盖,卸下里面固定磁带机的挡片,分别用磁带机自带的螺丝把三个磁带机固定在挡片中,然后安装在机柜套件里,接下来用机柜套件中的电源线和数据线连接磁带机。
注意:在连接磁带机的数据线和电源线时,应确保机柜套件里的两个数据链路控制卡都接通了电源,否则磁带机的数据链路不通,主机无法识别到磁带机。
把机柜套件的导轨安装在机柜中的指定位置,然后安装整个机柜套件,并固定在机柜中。
7.安装交换机
此次安装包括两台SAN光纤交换机和一台LAN以太网交换机。
拆开外包装后,分别用交换机自带的螺丝把固定件安装在交换机的两边,以便把交换机固定在机柜的后面。
以太网交换机在安装到机柜时最好先把电源线插在交换机上,因为交换机的电源插口在机器的后面,如果安装好交换机后再插电源线,会很不方便。
第二天:
三、线缆连接
先关闭UPS的输出电源,然后再连接设备的电源线、光纤和网线。
接线时,应先连接电源线,再连接网线,把光纤线放在最后连接,而且这三种线应分别按顺序(先电源线、再网线、后光纤线)整齐地捆绑在机柜两侧,捆绑时应尽量与服务器平行,而且多留一点长度以利于插拔整理,这样不至于由于各种线缆互相穿插而乱成错乱,利于后期维护。
1. 电源线连接整理:每个设备有两个电源,每根电源线应分别用扎线带绑在机柜两边对应的位置(U数)上,经过两路PDU连接两路冗余的UPS。电源线另一头插在机柜两边较近的插座上,如果不能给电源线两头做标签的话,就应该按顺序插,而且服务器、存储、交换机等设备的电源线最好分开捆绑。 7 / 46
把电源线的两头捆绑整齐后,线缆的中间再捆绑一下塞在机柜的两侧缝隙里。
注意:由于光纤交换机只有一路电源,所以在连接光纤交换机的电源时,应每个交换机连接一路UPS。
2.网线的连接整理:服务器端把网线插好后就近捆绑在机柜的一侧,如果条件允许,强电和弱电尽量分开捆绑在机柜的两侧。网线两头捆绑整齐后,中间的部分顺着机柜的长度留好后,多余的部分捆好塞在机柜的侧缝里。网线两头最好贴上标签,这样有利于后期维测试和维护。
3.光纤线的连接整理:光纤线比较脆弱,容易损坏,所以在理线时应放在最后,捆绑时放在所有线缆的最外层,这样既方便后期插拔更换,又不至于在整理其他线缆时受到损伤。光纤线最好在拆开包装后就在两头贴上标签,标签的名称尽量通用,后期维护的人员应该都能看得懂。光纤线两头轻绑在机柜一侧,多余的长度必须一根一根绕圈整理并扎起来放在机柜的顶部,顺着机柜两侧的光纤线应轻轻捆绑在机柜上,如果用力过大,容易造成损坏。
光纤线的插接请参照第五节光纤交换机划zone “光纤交换机与服务器及EVA控制器之间的端口连接对应关系图”
4.连接EVA控制器与磁盘柜的SAS线:SAS线随机附带,长度不大,硬度较大,一般不用特别整理,最下面的磁盘柜连接到控制器上的SAS线较长,需要绕圈捆扎,不用固定在机柜上。SAS线的连接方式请按照随机附带的说明书连接,
总之,线缆整理要整齐有序,有层次,看起来不零乱,一目了然,方便后期维护。另外,电源和数据链路的冗余应再检查一遍,有错误的话必须马上重新插接整理。
四、安装系统
打开UPS的电源开关,启动UPS,这时所有设备的两路电源应该都亮绿灯,说明电源线插接到位。
这时可以打开服务器的电源,检查服务器的启动过程,如果没有异常,就对服务器的本地磁盘做阵列,此次项目中,所有的服务器都是单硬盘,做RAID0。然后安装系统,由于linux系统不用SmartStart光盘引导安装,所以直接用linux5.2系统光盘引导安装,安装完成后再打PSP驱动包。
客户要求安装的系统全部使用日文界面,而且分区大小都有明确的要求,应先阅读清楚后再安装。操作系统安装要求见附件2。
开始操作系统的安装,安装系统时确认EVA没有开启:
插入Redhat5.2x86 64位光盘,开机从光盘引导:
上图中直接回车,用图形化安装界面。
8 / 46
上图中选择[Skip]跳过媒体检测。
9 / 46
点[Next]按扭。
语言包如上图选择日语,点[Next]按扭。
键盘也同上图选择日语,点[Next]按扭。
10 / 46
上图中选择下面的单选框,不用填入序列号,点[OK]按扭。
上图中选把[Skip]按扭。
11 / 46
接着点(Y)按扭确认。
同上图选择手动分区。
12 / 46
从上图可以看出可用的本地磁盘空间是69.973G。磁盘设备在系统中的名称是/dev/cciss/c0d0。
选择上图中的空白磁盘空间以进行新建分区:
/boot分区格式为ext3,大小为100MB,勾选最下面的复选框,点[OK]按扭。
用同样的方法创建接下来的分区:
13 / 46
创建swap分区,大小为16192MB。
/var分区为ext3格式,大小为8192MB。
依照附件2中的分区要求,创建所有的分区后如下图:
14 / 46
上图中使用默认的GRUB引导加载器,点(N)按扭。
15 / 46
上图中勾选两个网卡,在系统启动时自动激活网卡。同时选择DHCP,服务器的双网卡以后再做绑定。
时区选择日本东京,点(N)按扭。
16 / 46
设置root用户的密码为:password,点(N)按扭。
如上图选择,点(N)按扭。
以下是系统中要安装的软件包:
17 / 46
18 / 46
19 / 46
上图中点(N)按扭。
20 / 46
下图开始复制文件:
21 / 46
文件复制完成后点[再启动(T)]按扭。
重新启动后,开始安装系统,点(F)按扭。
22 / 46
上图中选把上面的同意许可协议单选框,然后点(F)按扭。
上图中选择“无效”,点(F)按扭。
上图中选把(Y)按扭以确定刚才的选择。
23 / 46
SELinux也选择“无效”。
上图中选把(Y)按扭以确定刚才的选择。
上图书取消kdump前的复选框。
上图中选择(A)按扭。
24 / 46
然后选择(F)按扭。
上图中选择[终了(F)]按扭。
25 / 46
选择[OK]按扭重启系统,其他选项都选默认。重启后进入系统,至此系统安装完毕。
五、光纤交换机划zone
光纤交换机与服务器及EVA控制器之间的端口连接对应关系见下图:
13 1
15 3
14 2
16 4
1
3
5
7
9
11
EVAcontroler1
13 14
EVAcontroler2
15 16
12
NvsLX189光纤卡的两个口
10
NvsLX190光纤卡的两个口
8
NvsLX191光纤卡的两个口
6
NvsLX192光纤卡的两个口
4
NvsLX193光纤卡的两个口
2
NvsLX194光纤卡的两个口
6
8
10
12
Sw2的前8个口
5
7
9
11
sw1的前8个口
给光纤交换机划zone时,最好接上光纤线,这样在光换机的端口列表里就可以看到哪些端口有信号,以便确认连接状态。
配置SAN光纤交换机,先创建端口的别名,再划zone,最的保存配置文件。端口的别名和zone的名称,在命名时要规则,便于识别。
用一根网线直连光纤交换机的网络口和笔记本电脑。把本地电脑的IP地址设为:10.77.77.78,掩码为:255.0.0.0。打开浏览器,在地址栏里输入光纤交换机的IP地址:10.77.77.77进入光纤交换机的WEB配置界面。
注意:要想顺利进入web配置界面,本地电脑必须安装java虚拟机,否则无法进入此web界面。
打开的web界面见下图:
用户名:admin
26 / 46
密码:password
在登录后的界面的左上角选把[zone admin]进入下面的zone配置界面:
选择上图中的[Alias]选项卡,点击[New Alias]按扭给每个连接的端口创建别名,然后选择相应的端口点击[Add Member>>]按扭把一个端口添加到这个别名里,这样便创建了一个端口和一个别名的对应关系。
上图中共创建了8个别名,对应于一个交换机上的8个端口,其中2个端口对应EVA控制器,6个对应6台服务器中光纤卡的左边6个光纤口。6台服务器中光纤卡的右边6个光纤口被插在了sw2上,操作方法相同,只是对应端口的别名不同,为:xxxxxxxxx_p2。另一台光纤交换机的配置不再鳌述。
然后选择[Zone]选项卡:
27 / 46
在[Zone]选项卡中,点击[New Zone]按扭,添加一个zone,然后点击[Add Member>>]按扭把对应的端口添加到这个zone里。6台服务器,需要创建6个zone。
注意:一个zone对应一个服务器到存储的通路,在一个交换机中,一个zone需要添加三个交换机端口,这三个端口分别对应于一台服务器中的一个光纤口和EVA的两个控制器中的各一个光纤口。
选择[Zone config]选项卡:
点击[New Zone Config]按扭,给当前的配置文件起一个名字,然后点击[Add Member>>]按扭把划分的6个zone添加到此配置文件中,最后点击此页面上面的[应用配置],然后点击[保存配置]。至此光纤交换机的zone划分完毕。
第三天:
六、EVA划vd并挂载给服务器
配置EVA4400一般用网线直接连结笔记本电脑和EVA主机后的管理模块,通过web页面配置,见下图:
28 / 46
把本地电脑的IP地址设为:192.168.0.2,掩码为:255.255.255.0。打开浏览器,在地址栏里输入:192.168.0.1:2373进入web配置页面,见下图:
用户名为:admin,密码为空,点击[Log On]按扭,登录到下图的页面:
29 / 46
这个界面下,可以对EVA进行很多操作,可以做的操作见左边的列表。
首先需要注册EVA,方法是找到装有license的信封,打开并按照提示上网注册以获得一个license,将其填入上图中的注册界面。接下来是初始化系统。
进入磁盘空间管理界面,可以在浏览器的地址栏里填入:192.168.0.1:2372,也可以在上图中点击[Launch Command View EVA]按扭进入配置界面:
30 / 46
上图中可以看见一个控制器和三个磁盘柜。其中有一个控制器有警告,后面再讲EVA的排错。
对磁盘空间的划分并挂载给主机,我的方法是,先添加主机,再划分空间并挂载给主机,点击左边树型列表中的[Hosts],由于是使用管理模块来管理EVA,所以打开界面时会比较慢,等待右边的界面出现后再对其操作。
点击右边的[Add host]按扭以添加主机。
31 / 46
在上图的右边,填入对应主机的名称、主机上光纤卡的WWN号以及主机上安装的操作系统,下面的IP地址用默认的动态配置,连接类型也用默认的光纤通道。确认所有的信息无误,特别是WWN号一定不能出错,这时候就可以使用服务器硬件安装一节中所记录的WWN号以方便挂载主机。最后点击[Add
host]按扭。
操作完成时点击[OK]按扭回到初始的界面以进行下一台主机的添加。由于PN:AE312A光纤卡上有两个光纤口可以实现链路冗余,一个光纤口对应一个WWN号,而这时我们还需要对刚才添加的这台主机添加光纤卡上的另一个端口的WWN号:
32 / 46
从上图中[Ports]选项卡下可以看出这台服务器当前只挂载了一个WWN号,点击上面的[Add port]按扭添加另一个端口的WWN号:
在上图中的下拉列表中选择相应的WWN号码,一般一个光纤卡上两个端口的WWN号码是相邻的,如:5001-4380-0634-7608和5001-4380-0634-760A,并且在下拉列表中的位置也是两两紧邻。
操作完成后点击[OK]按扭。
33 / 46
上图中可以看出,刚才创建的主机所对应的两个WWN号。用同样的方法创建剩下的主机。
接下来划分vd(Virtual Disk),在左边列表中选择[Virtual Disks],等待右边的界面出现后点击[Create
folder]按扭,为主机创建一个目录以存放为此主机划分的多个vd,目录命名和主机名相同。
接下来等待操作完成:
上图中左边便多出一个刚才创建的目录,点击此目录,在右边的界面中点击[Create Vdisk]按扭以创建一个 34 / 46
vd,在创建vd的对话框中填入vd的名称、容量、RAID级别、要挂载的主机等信息。Vd创建完成后,可以看见主机和所挂载vd的关系:
上图中可以看到主机NvmLX194下面挂了四个vd,对应的LUN号码分别是1,2,3,4。
创建完成所有的vd并挂载给对应的主机后,这时在主机的系统中可以发现所挂载的vd,一个vd在操作系统中被当做一块物理磁盘。在linux系统中用命令:
#fdisk -l
列出系统所发现的所有已挂载的vd。由于每台主机与EVA之间都是通过双端口光纤卡经两个冗余的光纤交换机连接到EVA上的两个控制器,数据链路实现了双链路的完全冗余,坏掉任何一个设备(光纤口、光纤线、光纤交换机、EVA控制器)数据通路还可用,这时主机与EVA之间会有4条通路,也就是每个vd会在系统中被发现4次,在/dev/目录下会生成4个容量相同的磁盘设备。由于一个主机挂载了4个vd,用fdisk –l命令查看时,会看见4个vdX4条通路=16个磁盘设备,这时需要安装psp包,psp包中所带的软件会自动管理多链路,使系统只生成4个唯一的磁盘设备对应EVA为其划分的4个vd。
七、安装操作系统补丁、psp包
根据客户的需求,需要安装系统补丁,补丁列表如下:
5_2.x86_
5_2.1.x86_
5.x86_
5.x86_
5
5.x86_
前4个文件在一个tar包中,解压缩后就可以安装,过程如下:
[root@localhost /]#cd /tmp
[root@localhost tmp]#tar xvf CHN_
[root@localhost tmp]#cd CHN_LinuxUpdate
[root@localhost CHN_LinuxUpdate]# ls
5_2.1.x86_ kernel 5_2.x86_
[root@localhost CHN_LinuxUpdate]#rpm –ivh 5_2.1.x86_
35 / 46
[root@localhost CHN_LinuxUpdate]#rpm –ivh 5_2.x86_
[root@localhost CHN_LinuxUpdate]# cd kernel
[root@localhost kernel]# ls
5.x86_ 5.x86_
[root@localhost kernel]# rpm -ivh 5.x86_
warning: 5.x86_: Header V3 DSA signature: NOKEY, key ID 37017186
########################################### [100%]
1:kernel ########################################### [100%]
[root@localhost kernel]#
[root@localhost kernel]# rpm -ivh 5.x86_
warning: 5.x86_: Header V3 DSA signature: NOKEY, key ID 37017186
########################################### [100%]
1:kernel-devel ########################################### [100%]
[root@localhost kernel]#
安装完这四个补丁包后,重启服务器使新的内核补丁生效:
[root@localhost kernel]#reboot
重启后再查看一下所安装的补丁包是否安装成功:
[root@localhost /]#rpm –qa | grep kernel-2
[root@localhost /]#rpm –qa | grep kernel-devel
[root@localhost /]#rpm –qa | grep nfs
[root@localhost /]#rpm –qa | grep autofs
如果安装成功,则会显示相应的rpm信息。
接着安装rsh包,此文件在系统安装光盘中的Server目录下:
[root@NvsLX189 tmp]# rpm -ivh 5.x86_
璀﹀憡: 5.x86_: 銉樸儍銉€ V3 DSA signature: NOKEY, key ID 37017186
婧栧倷涓?.. ########################################### [100%]
1:rsh-server ########################################### [100%]
[root@NvsLX189 tmp]# rpm -qa |grep rsh
5
5
[root@NvsLX189 tmp]#
系统重启后,再安装psp包,如果先安装psp包再安装内核补丁,则新内核生效后先打的psp包中的部分软件会失效,还需要重新安装psp包。安装psp包的过程如下:
把HP的SmartStart8.3光盘放入服务器的光驱运行命令:
[root@localhost /]# mount /dev/cdrom /media
[root@localhost /]#cd /media/disk/Compaq/csp/linux
[root@localhost /]#./
按照提示,输入yes,会自动完成安装,然后重启服务器,再进入系统时,用fdisk –l命令只会显示4个挂载的磁盘设备:/dev/sda, /dev/sdb, /dev/sdc, /dev/sdd。
八、分区、格式化、mount vd
创建目录用以挂载
在根目录下创建一个名称为/ns189的目录(以NvsLX189服务器为例),再在此目录下创建四个目录:usr1,usr2,usr3,usr9对应于EVA中为每个服务器划分的vd,以便把磁盘设备分区并格式化完成后进行挂载:
36 / 46
[root@localhost ~]# mkdir /ns189
[root@localhost ~]# cd /ns189
[root@localhost ns189]# ls
[root@localhost ns189]# mkdir usr1
[root@localhost ns189]# mkdir usr2
[root@localhost ns189]# mkdir usr3
[root@localhost ns189]# mkdir usr9
[root@localhost ns189]# ls
usr1 usr2 usr3 usr9
[root@localhost ns189]#
对四个磁盘进行分区:
[root@localhost ~]# fdisk /dev/sda
Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel
Building a new DOS disklabel. Changes will remain in memory only,
until you decide to write them. After that, of course, the previous
content won't be recoverable.
The number of cylinders for this disk is set to 39162.
There is nothing wrong with that, but this is larger than 1024,
and could in certain setups cause problems with:
1) software that runs at boot time (e.g., old versions of LILO)
2) booting and partitioning software from other OSs
(e.g., DOS FDISK, OS/2 FDISK)
Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)
Command (m for help): n
Command action
e extended
p primary partition (1-4)
p
Partition number (1-4): 1
First cylinder (1-39162, default 1):
Using default value 1
Last cylinder or +size or +sizeM or +sizeK (1-39162, default 39162):
Using default value 39162
Command (m for help): w
The partition table has been altered!
Calling ioctl() to re-read partition table.
Syncing disks.
[root@localhost ~]#
格式化此分区:
[root@localhost ~]# mkfs -t ext3 /dev/sda1
mke2fs 1.39 (29-May-2006)
37 / 46
Filesystem label=
OS type: Linux
Block size=4096 (log=2)
Fragment size=4096 (log=2)
39321600 inodes, 78642183 blocks
3932109 blocks (5.00%) reserved for the super user
First data block=0
Maximum filesystem blocks=4294967296
2400 block groups
32768 blocks per group, 32768 fragments per group
16384 inodes per group
Superblock backups stored on blocks:
32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
4096000, 7962624, 11239424, 20480000, 23887872, 71663616
Writing inode tables: done
Creating journal (32768 blocks): done
Writing superblocks and filesystem accounting information: done
This filesystem will be automatically checked every 21 mounts or
180 days, whichever comes first. Use tune2fs -c or -i to override.
[root@localhost ~]#
用同样的方法对另外三个磁盘分区并格式化。格式化完成后挂载这四个分区:
挂载设备:
[root@localhost ns189]# mount /dev/sda1 /ns189/usr1
[root@localhost ns189]# mount /dev/sdb1 /ns189/usr2
[root@localhost ns189]# mount /dev/sdc1 /ns189/usr3
[root@localhost ns189]# mount /dev/sdd1 /ns189/usr9
[root@localhost ns189]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/cciss/c0d0p3 996M 582M 363M 62% /
/dev/cciss/c0d0p8 27G 173M 26G 1% /export/home
/dev/cciss/c0d0p7 7.8G 2.9G 4.5G 40% /usr
/dev/cciss/c0d0p6 7.8G 208M 7.2G 3% /var
/dev/cciss/c0d0p5 7.8G 305M 7.1G 5% /opt
/dev/cciss/c0d0p1 99M 21M 74M 22% /boot
tmpfs 3.9G 0 3.9G 0% /dev/shm
/dev/sda1 296G 191M 281G 1% /ns189/usr1
/dev/sdb1 296G 191M 281G 1% /ns189/usr2
/dev/sdc1 296G 191M 281G 1% /ns189/usr3
/dev/sdd1 197G 188M 187G 1% /ns189/usr9
[root@localhost ns189]#
然后修改/etc/fstab文件,使以后系统重启自动挂载这几个分区:
[root@localhost ns189]# vi /etc/fstab
LABEL=/ / ext3 defaults 1 1
38 / 46
LABEL=/export/home /export/home ext3 defaults 1 2
LABEL=/usr /usr ext3 defaults 1 2
LABEL=/var /var ext3 defaults 1 2
LABEL=/opt /opt ext3 defaults 1 2
LABEL=/boot /boot ext3 defaults 1 2
tmpfs /dev/shm tmpfs defaults 0 0
devpts /dev/pts devpts gid=5,mode=620 0 0
sysfs /sys sysfs defaults 0 0
proc /proc proc defaults 0 0
LABEL=SW-cciss/c0d0p2 swap swap defaults 0 0
/dev/sda1 /ns189/usr1 ext3 defaults 0 0
/dev/sda2 /ns189/usr2 ext3 defaults 0 0
/dev/sda3 /ns189/usr3 ext3 defaults 0 0
/dev/sda4 /ns189/usr9 ext3 defaults 0 0
~
~
~
~
"/etc/fstab" 15L, 1004C written
[root@localhost ns189]#
修改系统名称:
[root@localhost /]#hostname NvsLX189
[root@NvsLX189 /]#
重启服务器,然后用df –h命令查看显示结果:
[root@localhost ns189]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/cciss/c0d0p3 996M 582M 363M 62% /
/dev/cciss/c0d0p8 27G 173M 26G 1% /export/home
/dev/cciss/c0d0p7 7.8G 2.9G 4.5G 40% /usr
/dev/cciss/c0d0p6 7.8G 208M 7.2G 3% /var
/dev/cciss/c0d0p5 7.8G 305M 7.1G 5% /opt
/dev/cciss/c0d0p1 99M 21M 74M 22% /boot
tmpfs 3.9G 0 3.9G 0% /dev/shm
/dev/sda1 296G 191M 281G 1% /ns189/usr1
/dev/sdb1 296G 191M 281G 1% /ns189/usr2
/dev/sdc1 296G 191M 281G 1% /ns189/usr3
/dev/sdd1 197G 188M 187G 1% /ns189/usr9
九、网卡绑定
网卡绑定也需要在内核补丁安装完成并重启服务器后再做。过程如下:
先用命令:
[root@NvsLX189 /]#ifconfig
查看当前的两块网卡的状态,都为up的情况下再做绑定:
首先在/etc/sysconfig/network-scripts/下创建虚拟网卡bond0的配置文件ifcfg-bond0,内容如下
39 / 46
DEVICE=bond0
BOOTPROTO=none
BROADCAST=192.168.10.255
IPADDR=192.168.10.189
NETMASK=255.255.255.0
NETWORK=192.168.10.0
ONBOOT=yes
TYPE=Ethernet
#GATEWAY=
USERCTL=no
然后分别修改eth0和eth1的配置文件
ifcfg-eth0内容:
DEVICE=eth0
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
MASTER=bond0
SLAVE=yes
ifcfg-eth1内容
DEVICE=eth1
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
MASTER=bond0
SLAVE=yes
然后再修改/etc/,在其后面加入内容如下:
alias bond0 bonding
options bond0 miimon=100 mode=1 primary=eth0
运行命令:
[root@NvsLX189 /]#service network restart
重启的状态都为[OK]时,说明绑定成功,这时可以用ping命令同时拔网线测试。
至此,所有的配置都完成。
第四天:
十、测试
客户处的应用主要是服务器能对存储读写,UPS、网络、存储通路都可以实现冗余,所以测试包括:
UPS冗余检查
双网卡绑定冗余检查
光纤链路冗余检查
存储读写访问检查
操作系统及软件包安装
40 / 46
UPS冗余检查可以通过确认两路UPS都有效的情况下,分别关掉一路UPS测试,没有设备断电为通过。
双网卡绑定冗余已检查可以通过分别拔掉两根网线用ping命令测试,在两根网络不同时拔掉的情况下,络不中断为通过。
光纤链路冗余检查可以通过拔掉数据通路中的任一根光纤线或者关掉一个光纤交换机或者关掉一个EVA的控制器,看看从服务器本地拷文件到存储会不会中断,拷贝不中断为通过。
存储读写访问检查,在每个目录挂载完成后,进入此目录创建一个目录或文件,然后删掉,如果可以完成操作为通过。
操作系统及软件包安装的检查,用命令rpm –qa | grep xxxx检看,详见第七节安装操作系统补丁、psp包。
注意:测试应先自已做一遍,确保没有问题后再找客户测试。
自己测试通过后提交客户要的文档。最后做一个验收报告让客户签字确认。
41 / 46
附件1:
机柜图
正面 背面
sw1sw2NvsLX194NvsLX193NvsLX192NvsLX191NvsLX190NvsLX1890000s
42 / 46
附件2:
操作系统安装要求
阵列RAID0
物理物理ドライブ
グループ
アレイ A
RAIDレベル
RAID 0
スロット1
手動
マウントポデバイスファイル
/dev/cciss/c0d0p1
/dev/cciss/c0d0p2
/dev/cciss/c0d0p3
/dev/cciss/c0d0p4
/dev/cciss/c0d0p5
/dev/cciss/c0d0p6
/dev/cciss/c0d0p7
/dev/cciss/c0d0p8
イント
/boot
-
/
拡張領域
/opt
/var
/usr
/export/home
Total
Free
容量
(MB)
100
16192
1024
-
8192
8192
8192
残り全部
ext3
タイプ
ext3
swap
ext3
-
ext3
ext3
ext3
HDD
容量
(GB)
72.8
オンラインスペア
なし
オンラインスペア
HDD容量
(GB)
系统分区大小
パーティション分割方法
语言包选择
OS情報
OS バージョン
クォータリーアップデート
インストールメディア
キーボード
システム標準の言語
タイムゾーン
システムクロック(ハードウェア時計)
ブートローダ
ブートローダ
セキュリティの設定
ファイアウォールの設定
43 / 46
Red Hat Enterprise Linux (v.5) for ProLiant
Update 2
64bit版
Japanese
Japanese
アジア/東京
システムクロックにUTCを使用しない
0
なし
SELinuxの設定
Kdumpの有効/無効
Kdump
ルートユーザのパスワード
rootのパスワード
ログインの種類
ログインの種類
無効
無効
password
グラフィカル
所要安装的系统软件包(linux5.2 x86_64)
系统补丁
5_2.x86_
5_2.1.x86_
5.x86_
5.x86_ 以上补丁可以到网上下载
5 在系统安装光盘的Server目录下有
5.x86_
44 / 46
45 / 46
发布评论