TECS資源池上報(bào)存儲(chǔ)設(shè)備離線的問(wèn)題處理

某資源池在運(yùn)行過(guò)程中出現(xiàn)存儲(chǔ)設(shè)備離線告警，通過(guò)底層cinder service-list命令查看，確認(rèn)存儲(chǔ)state為down狀態(tài)。

登錄控制節(jié)點(diǎn)虛擬機(jī)，執(zhí)行source keystonerc_admin命令進(jìn)入OpenStack環(huán)境，執(zhí)行cinder service-list命令查看存儲(chǔ)狀態(tài)，如下圖所示。

?

當(dāng)云平臺(tái)通過(guò)存儲(chǔ)管理面無(wú)法獲取存儲(chǔ)設(shè)備上報(bào)的狀態(tài)，則上報(bào)告警。

當(dāng)云平臺(tái)能夠正常通過(guò)存儲(chǔ)管理面獲取存儲(chǔ)設(shè)備上報(bào)的狀態(tài)，則恢復(fù)告警。

存儲(chǔ)失去控制，磁陣不可用，存在如下3種情況：

存儲(chǔ)掉電。

網(wǎng)絡(luò)不通。

對(duì)接問(wèn)題。

問(wèn)題分析過(guò)程如下：

1.檢查存儲(chǔ)設(shè)備當(dāng)前狀態(tài)是否正常。

通過(guò)登錄存儲(chǔ)設(shè)備管理頁(yè)面，檢查存儲(chǔ)設(shè)備告警信息，未發(fā)現(xiàn)異常內(nèi)容。

2.檢查存儲(chǔ)網(wǎng)和管理網(wǎng)的連通性。

登錄控制節(jié)點(diǎn)虛擬機(jī)，通過(guò)Ping操作確認(rèn)磁陣的管理網(wǎng)和存儲(chǔ)網(wǎng)的連通性，網(wǎng)絡(luò)正常，如下圖所示。





3.檢查控制節(jié)點(diǎn)虛擬機(jī)/var/log/cinder/volume.log日志，分析詳細(xì)原因。

通過(guò)volume.log日志檢查，原因?yàn)樵L問(wèn)的IP地址被鎖定，如下圖所示。需要登錄磁陣做詳細(xì)的安全日志檢查。

4.登錄磁陣頁(yè)面，檢查存儲(chǔ)側(cè)記錄的所有事件，記錄為連續(xù)多次登錄失敗，IP和賬號(hào)被鎖定5分鐘，循環(huán)登錄失敗并持續(xù)鎖定。

5.通過(guò)磁陣管理頁(yè)面解鎖IP和賬號(hào)鎖定。

6.觀察5分鐘，IP和賬號(hào)再次被鎖定，可能原因是密碼錯(cuò)誤導(dǎo)致多次登錄失敗，繼而被鎖定。

1.登錄控制節(jié)點(diǎn)虛擬機(jī)，檢查/etc/cinder/cinder_huawei_conf_file_HW_IPSAN-1. xml配置，獲取用戶名和密碼的密文。 2. 在控制節(jié)點(diǎn)虛擬機(jī)下，執(zhí)行如下命令解讀密文：

a.執(zhí)行echo 'dGVjc19zdG9yYWdl'| base64 -d命令，得到對(duì)接賬號(hào)tecs_storage。

b.執(zhí)行echo 'Z0s5WUltc3k5SmRJQ1JWWmpmSHdfcW5kU2JaQnZCbG0waEZlUUJUSXZFQ2c2NGNlNTAxZGIyMDAwODllY2Q0YzgyOA=='| base64 -dse64 -d命令，得到密文為gK9YImsy9JdICRVZjfHw_qndSbZBvBlm0hFeQBTIvECg64ce501db2308a21fee00089ecd4c828，需要再次解密。

c.執(zhí)行python /usr/lib/python2.7/site-packages/oslo_config/aes.py decrypt gK9YImsy9JdICRVZjfHw_qndSbZBvBlm0hFeQBTIvECg64ce501db2308a21fee00089ecd4c828命令，得到對(duì)接密碼為kEYSTONE_2020。

3.登錄Daisy界面，在云配置→配置→存儲(chǔ)管理→存儲(chǔ)設(shè)備對(duì)接界面，更新磁陣的密碼。

4.登錄控制節(jié)點(diǎn)虛擬機(jī)在cinder-volume的服務(wù)節(jié)點(diǎn)，執(zhí)行以下命令，重啟服務(wù)。

systemctl restart openstack-cinder-volume.service

5.執(zhí)行source keystonerc_admin命令，進(jìn)入OpenStack環(huán)境。

6.執(zhí)行命令cinder service-list命令，查看存儲(chǔ)狀態(tài)。

7.總結(jié)及注意事項(xiàng)：

a.磁陣和平臺(tái)對(duì)接建議使用非admin用戶和密碼，避免定期修改密碼，影響對(duì)接。

b.修改磁陣的密碼時(shí)需要關(guān)注TECS側(cè)的影響。

c.由于輸入賬號(hào)的密碼是不可見(jiàn)的，需要確認(rèn)輸入密碼的正確性，避免大小寫(xiě)，特殊符號(hào)等問(wèn)題。