オペレーティングマニュアル - 日本語

RackCDU オペレーティングマニュアル 2016 年 8 月版

R11B-1528-02EN

R11A-0554-03JP

2

著作権および商標 Copyright © 2016 Fujitsu Technology Solutions GmbH. All rights reserved. お届けまでの日数は在庫状況によって異なります。技術的修正の権利を有します。 使用されているハードウェア名およびソフトウェア名は、各社の商標です。 – 本書の内容は、改善のため事前連絡なしに変更することがあります。 – 本書に記載されたデータの使用に起因する、第三者の特許権およびその他の権利の侵害に ついては、当社はその責を負いません。

– 無断転載を禁じます。

3

本書をお読みになる前に 安全にお使いいただくために 本書には、本製品を安全に正しくお使いいただくための重要な情報が記載されています。 本製品をお使いになる前に、本書を熟読してください。特に、添付の『安全上のご注意』をよくお読みになり、

理解されたうえで本製品をお使いください。また、『安全上のご注意』および当マニュアルは、本製品の使用中にいつでもご覧になれるよう大切に保管してください。 アルミ電解コンデンサについて 本製品のプリント板ユニットやマウス、キーボードに使用しているアルミ電解コンデンサは寿命部品であり、寿

命が尽きた状態で使用し続けると、電解液の漏れや枯渇が生じ、異臭の発生や発煙の原因になる場合があります。目安として、通常のオフィス環境（25 ℃）で使用された場合には、保守サポート期間内（5 年）には寿命に至らないものと想定していますが、高温環境下での稼働等、お客様のご使用環境によっては、より短期間で寿命に至る場合があります。寿命を超えた部品について、交換が可能な場合は、有償にて対応させていただきます。なお、上記はあくまで目安であり、保守サポート期間内に故障しないことをお約束するものではありません。 ハイセイフティ用途での使用について 本製品は、一般事務用、パーソナル用、家庭用、通常の産業用等の一般的用途を想定して設計・

製造されているものであり、原子力施設における核反応制御、航空機自動飛行制御、航空交通管制、大量輸送システムにおける運行制御、生命維持のための医療器具、兵器システムにおけるミサイル発射制御など、極めて高度な安全性が要求され、仮に当該安全性が確保されない場合、直接生命・身体に対する重大な危険性を伴う用途（以下「ハイセイフティ用途」という）に使用されるよう設計・製造されたものではございません。お客様は、当該ハイセイフティ用途に要する安全性を確保する措置を施すことなく、本製品を使用しないでください。ハイセイフティ用途に使用される場合は、弊社の担当営業までご相談ください。

4

改版履歴 版数 改版日 変更内容 1.0 2016/2/2 初版

2.0 2016/2/2 2.2 仕様 RackCDUの高さ変更

3.0 2016/8/9 誤記修正

5

目次 1 はじめに ......................................................................................................................................... 6

1.1 このマニュアルの概念と対象読者 .............................................................................................. 6

1.2 ドキュメントの概要 .................................................................................................................... 6

2 機能の概要 ................................................................................................................................... 7

2.1 機能 .......................................................................................................................................... 7

2.2 仕様 .......................................................................................................................................... 9

2.3 RackCDU モニタリングシステム ................................................................................................ 11

3 注意事項 .................................................................................................................................... 12

4 お客様にご準備いただく工具・物品 ............................................................................................ 13

5 ハードウェアの取り付け ............................................................................................................... 14

5.1 注水キャップの開封 ................................................................................................................. 14

5.2 RackCDUの一次側設備への接続 .......................................................................................... 15

5.3 一次冷却水の空気抜き作業(下配管タイプのみ) ................................................................... 17

5.4 RackCDU とサーバノードへのチューブセットの接続 .................................................................. 20

5.5 モニタリングシステムへの電源ケーブルと LAN ケーブルの接続 ................................................ 21

6 メンテナンス ................................................................................................................................. 22

7 制限・留意事項 .......................................................................................................................... 23

8 RackCDUの一次側設備からの取り外し ..................................................................................... 24

9 トラブルシューティング ................................................................................................................. 27

6

1 はじめに 水冷技術は、PRIMERGY マルチノードサーバの効率的な冷却を可能にします。CPUやメモリ、GPGPU

カードに直接取り付けられた熱交換器により、水冷システムはサーバで発生した熱を除去することができます。従来の空冷技術とは完全な互換性を有します。 水冷技術は、RackCDU, サーバクーラーとチューブセットにより構成されます。RackCDUはラックの拡張オ

プションであり、チューブセットを介してサーバノードに接続されます。これら３つの構成品に加えて、RackCDUが設置されるデータセンターに準備される、設備側１次冷却水を RackCDU に供給する必要がありあます。

1.1 このマニュアルの概念と対象読者

このオペレーティングマニュアルには、RackCDU の設置方法や操作方法が記載されています。 このオペレーティングマニュアルの対象読者は、RackCDU を設置して、スムーズに動作させる作業を担当し

ている方々です。ご購入いただきました RackCDU を動作させるために必要な情報が記載されています。

1.2 ドキュメントの概要

RackCDU については、以下のドキュメントにも記載されています。 - RackCDU モニタリングソフトウェア ユーザーガイド - RackCDU メンテナンスマニュアル - 『Safety Notes and Regulations』 マニュアル

CX400M1/CX600M1 シャーシやサーバノードについては、以下のマニュアルを参照してください。 – 『はじめにお読みください - PRIMERGY CX400 M1 シャーシ』 – 『FUJITSU Server PRIMERGY CX400 M1 シャーシ オペレーティングマニュアル』 – 『FUJITSU Server PRIMERGY CX400 M1 シャーシ アップグレード&メンテナンスマニュアル』 – 『FUJITSU Server PRIMERGY CX2550 M1 サーバノードオペレーティングマニュアル』 – 『FUJITSU Server PRIMERGY CX2550 M1 ノード用 D3343 BIOS セットアップユーティリティ』 – 『はじめにお読みください - PRIMERGY CX600 M1 シャーシ』 – 『FUJITSU Server PRIMERGY CX600 M1 シャーシ オペレーティングマニュアル』 – 『FUJITSU Server PRIMERGY CX600 M1 シャーシ アップグレード&メンテナンスマニュアル』 – 『FUJITSU Server PRIMERGY CX1640 M1 サーバノード オペレーティングマニュアル』 – 『FUJITSU Server PRIMERGY CX1640 M1 サーバノード アップグレード&メンテナンスマニュアル』 – 『FUJITSU Server PRIMERGY CX1640 M1 ノード用 D3727 BIOS セットアップユーティリティ』

7

2 機能の概要

2.1 機能

RackCDUは、ラックの後部の扉とヒンジを取りはずして設置されます。RackCDU が設置された後は、扉はRackCDU の後部に取り付けられます。内部には、冷却分配ユニット(CDU)が含まれています。RackCDUには 2 つの役割があります。1 つはラックに搭載されたサーバに冷却水を分配すること、もう１つは、１次側冷却水を通じて外部に熱を除去することです。熱の除去は、RackCDU内の熱交換器により行われます。熱交換器内では、設備側の１次冷却水流路と、サーバ側の２次冷却水流路は分離されています。混ざり合うことはなく、熱の交換のみが行われています。

RackCDU とサーバクーラーは１対のチューブにより接続されています。片方のチューブは冷たい冷却水をサーバに供給し、もう一方のチューブはサーバから熱交換器に冷却水を戻し、そこで熱の除去が行われます。 これらの RackCDU の構成品の内部には、冷却液が予め満たされています。RackCDU を取り付ける際

や、サーバをメンテナンスする際に、冷却液を補充する必要はありません。チューブの先端には、液漏れ防止機構のついたクイックコネクタが設けられています。チューブを RackCDUやサーバクーラーから取り外す時、コネクタは素早く自動的に閉じるため、液漏れは起こりません。

RackCDUは、奥行き 10.5 インチのラック拡張枠として、ラックに取り付けられて出荷されるのが一般的で、冷却水槽やモニタリングシステムで構成されます。RackCDUは受動的な装置で、サーバクーラーや一次側設備のポンプにより水は循環します。RackCDU上部に設置されたモニタリングシステムにより、RackCDUの稼動状態を随時監視することができます。同じく上部に設置された冷却水は 5年以上の寿命を有しています。

8

RackCDU

冷却水槽

クイックコネクタ

熱交換器 (内部)

漏水センサー (漏水トレイ上の液体を検知します)

サーバクーラー(CPU,Mem) チューブセット

9

2.2 仕様

１次冷却水要件

仕様 内容 水温 (*1, *2)

給水 最高: 45°C 最低: 2℃以上、または、露点以上

排水 最高: 59°C 最低: 2℃以上、または、露点以上

温度変化率 3°C/5分 水質 『ASHRAE 2011 Thermal Guidelines for Liquid Cooled Data

Processing Environments』 section-Fの table-3準拠 *1 最高温度はサーバノードの仕様に準ずる。 *2 RackCDU には、RackCDUやサーバ内部の結露を防止する機能はありません。 １次側設備にてご対応をお願いします。

仕様 内容 耐腐食性 RackCDU の１次側流路に使用される材料は以下

• 銅 • 真鍮 • ステンレス

圧力 最高: 6.86 bar (100 PSI) 最低: 0.686 bar (10 PSI)

流量 最大: 2500 l/h (11 GPM us) 0.276 bar (4.05 PSI)以下では RackCDU内で流れなくなります。

1次冷却水水質要件

パラメータ 閾値

pH 7 ～ 9

腐食剤 要

硫化物 <10 ppm

硫酸エステル <100 ppm

塩化物 <50 ppm

バクテリア <1,000 CFUs/ml

硬度 (例： CaCO3) <200 ppm

蒸発後残留物 <500 ppm

濁り <20 NTU (Nephelometric)

10

諸元、モニタリングシステム

仕様 内容

諸元 電源電圧: 100VAC to 240VAC, 50/60Hz auto-detecting コネクタ: IEC 320 C14 電源出力: 70W Max, 15W Normal Operation

ネットワーク 物理層 : 銅線, RJ-45 コネクタ アプリ層: Web browser interface, e-mail alerts & alarms

諸元、RackCDU

仕様 内容

外形寸法 [H x W x D] 2140 x 800 x 280(mm) [ラックへの取り付け時は、床からの高さは最大 2145mm]

重量 85kg

タイプ 下配管/mm ピッチ 上配管/mm ピッチ 下配管/インチピッチ 上配管/インチピッチ

クイックコネクタ 80組

サーバ内部冷却水 サーバ内部冷却水は、65%の脱イオン水と、35%の 『Dowcal 20-G』か『Dowcal 200』を混合してください。『Dowcal 20-G』と『Dowcal 200』 は主に腐食防止を強化したプロピレングリコールで、OSHA Hazard Communication Standard, 29 CFR 1910. 1200.で定義される有害化学物質ではありません。

11

2.3 RackCDU モニタリングシステム

RackCDUはモニタリングシステムを搭載しています。WebUI を通じて、運用中の RackCDU の冷却水温度、圧力、流量を随時監視することができます。また、漏水や冷却水不足も検知可能です。詳細は“RackCDU モニタリングソフトウェアユーザーガイド”を参照してください。 モニタリングシステム画面

12

3 注意事項 この章では、安全性についての基本情報を示します。 ● このマニュアルのガイドラインを遵守しなかったり、不適切な修理を行うと、ユーザーが危険（感電、エネルギーハザード、火災）にさらされたり、装置が破損する可能性があります。 ● RackCDU を低温環境から移動した場合は、装置の内部 / 外部の両方で結露が発生することがあります。 ● RackCDU が室温に順応し、完全に乾燥した状態になってから、作業を始めてください。この要件が満たされないと、サーバが破損する場合があります。 ●輸送する際は、必ず元の梱包材に入れるか、あるいは、衝撃からサーバを保護するように梱包してください。 ● 電源ユニットの主電源電圧は、100 - 240 V の範囲内で自動調整されます。ローカルの主電源電圧がこの範囲内であることを確認してください。 ● このデバイスは、適切に接地された電源コンセント、または、ラックの内部電源ユニットの絶縁ソケット（電源コードは試験を受けて承認済み）以外には接続しないでください ● 荒天時には、データ伝送路の接続または切断は行わないでください（落雷の危険性があります）。 ●宝飾品やペーパークリップなどの物や液体がサーバノード内部に入る可能性がないことを確認します（感電やショートの危険性があります）。 ● 緊急時（たとえば、ケース、コントロール、ケーブルの破損や、液体や異物の侵入）には、サーバノードの電源を直ちに切り、電源プラグをすべて抜いて、販売店または弊社カスタマサービス部門に連絡してください。 ● 内部オプションの回路とはんだ付け部品は露出しているため、静電気の影響を受けやすくなっています。これらを取り扱う前に、サーバノードの金属部分を触り、静電気を放電してください。 ● ボードやはんだ付け部品の電気回路に触れないでください。金具部分またはボードのふちを持つようにしてください。 ●設置やメンテナンスには脚立を使用します。脚立から落ちないように注意してください。

13

4 お客様にご準備いただく工具・物品 以下の工具・物品は、設置およびメンテナンスに必要となるもので、一次側設備でご準備ください。保守員がお願いした際には、貸与ください。

工具・物品 仕様 1 乾湿掃除機 8 リットル以上

2 防水パン 高さ 4cm以下

3 バケツ 4 リットル以上

4 脚立 1m以上

14

5 ハードウェアの取り付け 注意：サーバノードの設置が完了するまでは、RackCDU を起動しないでください。

5.1 注水キャップの開封

サーバ側に関しては、RackCDUは密封された状態で出荷されます。使用前には大気圧に合わせるために開封されなければなりません。冷却水槽は RackCDU の上部に配置されており、注水キャップで密封されています。RackCDU の輸送時は、注水キャップは締められ、圧力を低く保たれています。RackCDU を使用するためには、フィルポートを緩める必要があります。そのためには、注水キャップを反時計回りに 7/8周ほど回転させ、フィルポート上の目印線を”TRANSPORTATION”から”OPERATION”に合わせてください。 RackCDU を移動させる際には、その前に注水キャップを再度”TRANSPORTATION”に戻してください。 注意：冷却水槽内を冷却水で満水にしないでください。水槽内の空気により、温度や冷却水量にかかわらず、冷却水槽の圧力は適切に保たれます。冷却水が不足している場合は、モニタリングシステムからアラームが発せられますので、冷却水を補充してください。

注水キャップ

15

5.2 RackCDUの一次側設備への接続

一次冷却水への接続箇所は、RackCDU の上部または下部にあります。 RackCDU の給水用配管には、接続部に” Supply”の表記があり、排水用配管には “Return”の表記があります。 一次冷却水の接続箇所は、下配管用の RackCDU では漏水トレイを取り外した箇所にあり、上配管用の

RackCDU では上部に露出しています。 [下配管タイプ] (1) 漏水トレイを持ち上げ、右に持ち上げて横にたてかけます。 (2) 漏水センサーのケーブルを RackCDU から取り外します。 (3) 漏水トレイを RackCDU から取り外します。 (4) 設備側の配管を、RackCDU の”supply”管と”return” 管に接続します。

16

(5) 漏水トレイに取り付けられた、漏水センサーのケーブルを接続します。 (6) 漏水トレイを左から差し込みます。漏水トレイの右側が RackCDU の柱の下に差し込まれていることを確

認してください。 [上配管タイプ] 設備側の配管を、RackCDU上部の”supply”管と”return” 管に接続してください。 漏水センサーの取り外しは必要ありません。

17

5.3 一次冷却水の空気抜き作業(下配管タイプのみ)

RackCDU の上部には(下配管タイプのみ)、一次冷却水の流路に溜まった空気を抜くための空気弁が設置されています。この空気弁から空気を抜く作業は、空気抜きキットを使用して行います。 (日本市場ではRackCDU装置に添付されています) (1) RackCDU の給水管の上部に取り付けられたキャップを外します。

空気弁

空気抜きキット

18

(2) 空気抜きキットには on/off のスイッチが設置されています。空気弁に空気抜きキットを取り付ける前に、スイッチは off の状態になっていることを確認してください。

(3) 空気弁に空気抜きキットを取り付けます。

(4) 空気抜きキットのもう一方の先端を、バケツに差し込みます。

19

(5) RackCDU内に冷却水を入れるために、一次側冷却設備の、給水・排水バルブを開きます。空気抜きキットのスイッチを”on”にし、チューブ内に空気の泡が含まれなくなるまでこの状態を続けます。 ※作業中にバケツから冷却水があふれないよう注意してください。 Off On

(6) 空気の泡がなくなったら、空気抜きキットのスイッチを”off”にし、空気弁から取り外します。 (7) 排水管についても同様に空気抜き作業を行います。

作業中にバケツが水一杯になったら、RackCDU から取り出した水を乾湿掃除機で取り除きます。

20

5.4 RackCDU とサーバノードへのチューブセットの接続

サーバノード内の水冷クーラーと RackCDU のマニホールドは、チューブセットを介して接続されます。チューブセット内には、出荷時に冷却液が充填されています。 給水用のチューブには青いリングがついています。給水用チューブは、青い環のコネクタに接続されます。排水用のチューブには赤いリングがついています。排水用チューブは、赤い環のコネクタに接続されます。 RackCDU のコネクタには、その外周にピンが設けてあります。チューブのクイックコネクタには、内側に”J”の形をした溝がついています。”J" の字の先端を RackCDU のクイックコネクタのピンに挿し込み、チューブのコネクタをそのまま強く押します。押した状態で約 15度、時計回りに回転させ、回転が止まる位置で手を離します。 コネクタ同士の接続を解除するには、チューブのコネクタを接続方向に押し、押した状態で反時計回りに止まるまで回転させます。それぞれのコネクタに内蔵されたバネの力により、コネクタの接続は簡単に解除されます。 サーバノードのコネクタとチューブセットの接続・解除も同様の手順で作業することができます。

21

5.5 モニタリングシステムへの電源ケーブルと LAN ケーブルの接続

モニタリングシステムには、電源ケーブルと LAN ケーブルが接続されます。電源定格は、100VAC-240VAC, 50/60 Hz. です。電源コネクタと LAN コネクタの位置は、RackCDU の上部右側です。LAN コネクタは、RJ45 に準拠しています。RackCDU の電源のコネクタは C14 コネクタで、電源ケーブルは C13 コネクタです。電源への電力供給ケーブルは、それぞれの使用環境に合わせて選択してください。 RackCDU の内側面には、LED が設置されています。LED の点灯は、RackCDU の稼動を表しています。

電源ケーブル LED

接続 点灯

未接続 消灯

LED

22

6 メンテナンス 不意の問題に備えて、いくつかの保守部品が準備されています。問題発生時には、『RackCDU メンテナンスマニュアル』を参照し、対応内容を確認してください。 交換作業には、”サーバの電源をオフ”や”RackCDUの 1次側冷却水からの切り離し”が必要な場合があります。詳細は下表となります。 ”サーバの電源をオフ”はお客様によって行ってください。”RackCDU の 1次側冷却水からの切り離し”は、設備施工業者によって行ってくだささい。 交換保守部品 サーバの電源をオフ 1次側冷却水からの切り離し モニタリングボックス 不要 不要 電源 不要 不要 一次冷却水圧力センサー 必要 必要 二次冷却水圧力センサー 必要 不要 一次冷却水流量センサー 必要 必要 LED 不要 不要 漏水センサー 不要 不要 水位センサー 必要 不要 注水キャップ 不要 不要 補充用二次冷却水 必要 不要

23

7 制限・留意事項 水冷システムには以下の制限・留意事項があります。 (1) ServerView の水冷対応 ServerView はサーバノードに対応していますが、RackCDU には対応していません。RackCDU の状態を確認するには、RackCDU モニタリングシステムを使用してください。 (参照：RackCDU モニタリングシステムユーザガイド)

24

8 RackCDUの一次側設備からの取り外し RackCDU の一次側設備からの取り外しは、以下の手順にしたがってください。 (1) 一次側冷却設備の、給水・排水バルブを閉じて、 設備からの給水を停止します。この時、給水バルブか

ら閉じてください。(排水バルブから閉じると残圧がより高くなります。) (2) 漏水トレイを RackCDU から取り外します。 (3) Rack CDU の下に、防水パンを挿入します。

(4) RackCDU と設備の配管を切り離す前に、”空気抜きキット”を使用して RackCDU内部の圧力を下げ

ます。(この作業を行わない場合、高圧の一次冷却水が切り離し部分から噴出します) ※(4) – (9) は内部の圧力を除去する作業で、下配管タイプの RackCDU のみが対象です。

(5) RackCDU の給水管の上部に取り付けられたキャップを外します。

(6) 空気抜きキットには on/off のスイッチが設置されています。空気弁に空気抜きキットを取り付ける前には、スイッチが off になっていることを確認してください。

25

(7) 空気弁に空気抜きキットを取り付けます。

(8) 空気抜きキットのもう一方の先端を、バケツに差し込みます。

(9) RackCDU内に冷却水を入れるために、一次側冷却設備の、給水・排水バルブを開きます。空気抜きキットのスイッチを”on”にし、チューブから水が出なくなるまでこの状態を続けます。 ※作業中にバケツから冷却水があふれないよう注意してください。 Off Off On

(10) 排水管についても同様に空気抜き作業を行います。

作業中にバケツが水一杯になったら、 RackCDU から取り出した水を乾湿掃除機で取り除きます。

26

(11) 乾湿掃除機の吸入口を防水パンの中に入れ、掃除機のスイッチを入れます。 (12) 設備と RackCDU を繋いでいる配管を外します。防水パンの中に流れ出てくる、

RackCDU内に残った一次冷却水を掃除機で取り除きます。 ※配管を外す際は少しずつ外してください。 いきなり外すと防水パンで冷却水を受けきれない場合があります。

27

9 トラブルシューティング ■ "RackCDU leak detection" がモニタリングシステムで赤く表示される RackCDU の下部に漏水センサーが設置されています。 漏水トレイ内のセンサーが漏水を検知すると、アラームが発せられます。二次冷却水が漏水している可能性があるため、速やかにサーバをシャットダウンし、サーバと RackCDU の AC ケーブルを取り外し、漏水箇所を特定してください。詳しくは『RackCDU メンテナンスマニュアル』を参照してください。 ■ "RackCDU liquid level" がモニタリングシステムで赤く表示される 冷却水槽には水位センサーが設置されています。水位が基準値より低下すると、アラームが発せられます。 RackCDU には必要量の冷却水が充填されて出荷され、通常の運用で 5年以上の使用が可能となっています。 もし使用開始から 5年以内に水位センサーがアラームを発したら、漏水が発生している可能性があります。速やかにサーバをシャットダウンし、サーバと RackCDU の AC ケーブルを取り外し、漏水箇所を特定してください。詳しくは『RackCDU メンテナンスマニュアル』を参照してください。 ■ その他のセンサーエラー(モニタリングシステムの赤表示)が表示される

("RackCDU pressure", "Facility pressure", "Facility water flow",) まず、モニタリングシステムの閾値が適切であることを確認してください。閾値が問題ない場合は、センサーが確実に接続されていることを確認し、接続されていれば、センサーを交換してください。詳しくは『RackCDU メンテナンスマニュアル』を参照してください。 ■ RackCDU 内の圧力が高い 冷却水槽の注水キャップが開いていないと、RackCDU内の圧力が適切に保たれません。 5.1項を参照し、キャップを開いてください。

■ Facilities flow が 0、またはとても少ない

以下の確認をしてください。 ・ 一次冷却水に関するバルブがすべて開いていることを確認してください。 ・ 一次冷却水のポンプが適切に稼動していることを確認してください。 ・ 速やかにサーバをシャットダウンし、その他の異常がないかどうか確認してください。

■ Facilities pressure が 0、またはとても低い

以下の確認をしてください。 ・ 一次冷却水のポンプが適切に稼動していることを確認してください。 ・ 一次冷却水に関するバルブがすべて開いていることを確認してください。

28

・ 速やかにサーバをシャットダウンし、その他の異常がないかどうか確認してください。 ■ Facilities pressure が高すぎて一次冷却水が流れない RackCDU の給水・排水バルブが閉じている可能があります。速やかに開いてください。 ■ liquid temperature が低い 冷却水温は露点より高い必要があります。ASHRAE では、データセンターでの推奨温度は 17°C 以下となっています。

・ 冷却水温が露点より低い場合は、サーバを起動しないでください。 結露によりサーバに損害を与える恐れがあります。

・ サーバ稼働中に露点より低い値を示した場合は、速やかにサーバをシャットダウンしてください。アイドル状態でも損害を与える恐れがありますので、シャットダウンは確実に行ってください。

■ liquid temperature が高い 速やかにサーバをシャットダウンしてください。 冷却水の流量が十分であることを確認し、その他の冷却部品

(FAN等)が正常であることを確認してください。