70
<Insert Picture Here> Oracle Direct Seminar ZFS 第二弾! ZFS はどうすごい? (詳細編 ) 日本オラクル株式会社

Oracle Direct Seminar...2010/10/07  · Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

  • Upload
    others

  • View
    3

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

<Insert Picture Here>

Oracle Direct Seminar

ZFS 第二弾! ZFS はどうすごい? (詳細編)

日本オラクル株式会社 

Page 2: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 2

以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことはできません。以下の事項は、マテリアルやコード、機能を提供することをコミットメント(確約)するものではないため、購買決定を行う際の判断材料になさらないで下さい。オラクル製品に関して記載されている機能の開発、リリースおよび時期については、弊社の裁量により決定されます。

OracleとJavaは、Oracle Corporation 及びその子会社、関連会社の米国及びその他の国における登録商標です。文中の社名、商品名等は各社の商標または登録商標である場合があります。

Page 3: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 3

スピーカー自己紹介

• 学生時代• JDK 1.1でPrologの推論機構を実装し検索エンジンの真似ごと

• 1998年4月(日本)サン・マイクロシステムズ入社• ふと気づけば社会人13年目

• ほぼずっとSE (Sはシステム?セールス?)• 主にSolaris、開発環境、Sun Rayシンクライアント

• 今は主に通信事業者様担当

• 1年だけサポートエンジニア• Java VMの解析

• Solarisエバンジェリスト(宣教師?!)• 最近は特にZFSの宣伝係としての出番増

Page 4: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 4

本日の内容

• 前回のおさらい• ZFS 第一弾! 超入門 ファイルシステムって何だ?

• ZFSはどうすごい?• 拡張性

• 堅牢性

• 機能

• 機能詳細は第三弾にて..

• 性能

• 管理性

Page 5: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 5

前回のおさらい

Page 6: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 6

結局のところファイルシステムとは

• どのセクタにどうデータを書くか

• 開発者の腕(?)の見せどころ• 容量をうまく使えるか

• 安全か

• 便利か

• 高速か

• 管理しやすいか

Page 7: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 7

既存ファイルシステムの問題点

• 拡張性

• 堅牢性

• 機能

• 性能

• 管理性

Page 8: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 8

ZFS開発目的

• 目指すところはDIMM• メモリはOSがリソースとして管理

• 既存ファイルシステム・ボリューム管理の問題点を全て解決できそう

• 拡張性

• 堅牢性

• 機能

• 性能

• 管理性

• →究極のファイルシステムを作ろう!

• Zは「究極の」「最後の」の意味もある

Page 9: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 9

ZFSはどうすごい?拡張性

Page 10: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 10

ZFS拡張性

• 既存ファイルシステムの問題点• 容量変更が難しい

• アドレス(サイズ)の制限

• ファイル数の制限

• ...ZFSでは?• プールによるストレージ管理、128ビットファイルシステム、

さらなる拡張性

拡張性

Page 11: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 11

ストレージプール

• 物理ストレージを登録• イメージとしては容れ物 (プール) に格納

• 必要なときにその容量を使用

拡張性!

StoragePool

Page 12: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 12

プール内でRAIDを構成

• プール=あるRAID特性(性能や冗長性)の容量のまとまり• 10ディスクドライブのプール例

• 10ドライブでRAID 0

• 容量10ドライブ分、冗長性0、ストライプ幅10

• 10ドライブでRAID 5(相当)

• 容量9ドライブ分、冗長性1、ストライプ幅9

• 5ドライブのRAID 5(相当)を2グループ

• 容量8ドライブ分、冗長性2、(ストライプ幅 4) x 2

• 10ドライブでRAID 1(+0)

• 容量5ドライブ分、ストライプ幅5、冗長性5

• 後から追加も可 (基本的にはグループ単位)

拡張性!

Page 13: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 13

「ファイルシステム」

• プールから必要な容量が自動で切り出されて使われる• 個々では容量を設定する必要無し

• 「属性値」で設定することも可

• 同一プール内でプール容量を共有

• サイズの上限=プールサイズ• 格納データ増加

• →プールからの容量自動割り当て

拡張性!

Page 14: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 14

切り出す?

ファイルシステム1ファイルシステム2

ファイルシステム3

拡張性!

StoragePool

/ (root)

usr opt export

homeファイルシステム4

どのデバイスのどこが使われるかはZFSが自動で決定

Page 15: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 15

「ファイルシステム」概念の進化

• DIMMと同じコンセプト• ファイルシステム格納データ増加

• →プールからの容量自動割り当て

• DIMMをシステムに追加

• → OSが認識し必要プロセスに割り当て

• ストレージの仮想化

拡張性!

Page 16: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 16

容量追加

• プール容量不足時• システムに物理ストレージデバイスを追加し認識させ

• オンラインでストレージプールに追加

• マウント解除不要、バックアップ不要

• →プールに属するファイルシステム全てから容量を使用可能

• 使用率や速度を考慮して新規書込先を振り分けリバランス

• データ量の予測が難しい場合• スモールスタート

• 後から容量を追加

拡張性!

StoragePool

Page 17: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 17

128ビットファイルシステム

• ディスクブロックを128ビットアドレッシング• 想像できないほどの容量を表現

• 340,282,366,920,938,463,463,374,607,431,768,211,456

• ZFSのZはZetta-byte (10の21乗≒2の70 乗) のZ?• 1 Zetta-byte = 10億TB

• 10の21乗= 1,000,000,000,000,000,000,000

• 2の70乗= 1,180,591,620,717,411,303,424

• → 256 Quadrillion (1000兆) Zetta-byte

拡張性!

Page 18: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 18

各種制限(?)値

• プールサイズ• 2の78乗( 256 x 10≒ の21乗)バイト

• システムのプール数• 2の64乗( 16 x 10≒ の18乗)個

• ファイルシステムサイズ• 2の64乗( 16 x 10≒ の18乗)バイト

• ファイルサイズ• 2の64乗( 16 x 10≒ の18乗)バイト

• ディレクトリ内のファイル数• 2の48乗( 256 x 10≒ の12乗)個

拡張性!

Page 19: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 19

さらに拡張性

• メタデータを動的に割り当て• プールやファイルシステム作成時の

指定不要

• 格納可能ファイル数はファイルシステム作成時点で固定されない

• 圧縮機能• 容量を有効利用

• 圧縮レベル変更可能

• 重複排除機能• (Sun ZFS Storage Applianceのみ)

拡張性!

Data Compression

ZFS

Page 20: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 20

ZFSはどうすごい?堅牢性

Page 21: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 21

ZFS堅牢性• 既存ファイルシステムの問題点• 上書きによるデータ破損の可能性

• 構造データの不整合

• 多くはジャーナリング(ロギング)で対処

• プログラムの複雑化

• 誤り検出単位が狭い範囲

• ...ZFSでは?• トランザクションベースの書込み時コピー(Copy-on-Write)、

End-to-Endチェックサム、自己修復、write-holeの排除、RAID

堅牢性

Page 22: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 22

トランザクションベースの書込時コピー(Copy-On-Write)堅牢性!

Uber-block

1. はじめの状態

データ

ポインタ

ポインタ

Page 23: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 23

トランザクションベースの書込時コピー(Copy-On-Write)堅牢性!

2. コピーを作成して変更を記録(CoW)

元データ

新データ

Uber-block

Page 24: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 24

トランザクションベースの書込時コピー(Copy-On-Write)堅牢性!

3-1. ポインタ(間接ブロック)をCoW

元ポインタ

新ポインタ

Uber-block

Page 25: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 25

トランザクションベースの書込時コピー(Copy-On-Write)堅牢性!

3-2. ポインタ(間接ブロック)をCoW (続き)

元ポインタ

新ポインタ

Uber-block

Page 26: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 26

トランザクションベースの書込時コピー(Copy-On-Write)堅牢性!

4. atomicにUber-blockを新しいものに置き換える

New Uber-block

Page 27: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 27

トランザクションベースの書込時コピー(Copy-On-Write)

はじめの状態 コピーを作成して変更を記録(CoW)

ポインタ(間接ブロック)をCoW Uber-blockを更新

元データ

新データ

新ポインタ

元ポインタ New Uber-block

Uber-block

堅牢性!

Page 28: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 28

End-to-Endチェックサム

• データとチェックサムを分離

• ツリー全体用のチェックサム• silent data corruption 対策

• IOパス全体のチェック

• bit rot

• phantom writes

• misdirected read/writes

• accidental overwrites

• DMA parity errors

• driver bugs

堅牢性!

Page 29: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 29

アプリケーションアプリケーション

ZFS ミラーZFSミラーZFSミラー

アプリケーション

チェックサムで不正ブロック検知

別ドライブから正常ブロックを読み込めたら

RAIDを修復

堅牢性!ZFSでのRAID自己修復

Page 30: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 30

メタデータの複製

DataMetaData

Data

Application

FS

堅牢性!

• 必ず構造情報の複製を持つ

MetaData

MetaData

MetaData

ディスク上の別々の箇所に置かれる

Page 31: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 31

dittoブロック(ditto: 〃)

DataDataData

Data

Data

Data

Application

堅牢性!

• 1ドライブでcopies=3• ノートPCなどで便利

(容量はその分必要)

一部のセクタが破損しても持ちこたえる

MetaDataMetaData

MetaDataMetaData

FS

MetaData

MetaData

MetaData

MetaData

Page 32: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 32

RAID構成時のdittoブロック

DataDataData

Application

堅牢性!

• RAID 1でcopies=3

Data

Data

Data

Data

Data

Data

MetaDataMetaData

MetaDataMetaData

FS

MetaData

MetaData

MetaData

MetaData MetaData

MetaData

MetaData

MetaData

Page 33: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 33

サポートするRAIDレベル

• RAID 0

• RAID 1(+0)

• RAID-Z (+0)• RAID 5の拡張

• シングルパリティ

• RAID-Z2 (+0)• RAID-6の拡張

• ダブルパリティ

• RAID-Z3 (+0)• トリプルパリティ

• Solaris 10 9/10-

• RAID 5/6とZ/Z2の違いは後ほど..

堅牢性!

c1t0d0

Storage Pool

c1t1d0 c1t2d0 c1t3d0

RAID 0

D1 D2 D3

D4

RAID 1(+0)

c1t0d0

Storage Pool

c1t1d0 c1t2d0 c1t3d0

D1 D1 D2 D2

RAID-Z

c1t0d0

Storage Pool

c1t1d0 c1t2d0 c1t3d0

D1 D2 D3 P

c1t0d0

Storage Pool

c1t1d0 c1t2d0 c1t3d0

RAID-Z2

D1 D2 P1 P2

D D

DD

Page 34: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 34

ZFSはどうすごい?機能(概要)

Page 35: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 35

ZFS機能

• 既存ファイルシステムの問題点• 基本機能が少ない

• 拡張機能に追加費用が必要なものも

• ...ZFSでは?• スナップショット、リモートコピー、圧縮、ファイル共有

機能

Page 36: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 36

全ての機能が追加ライセンス費不要

• スナップショット

• クローン

• バックアップ・リストア

• リモートコピー

• NFS

• iSCSI

• CIFS • Solaris 10はSamba経由

• 圧縮

• 重複排除 (Sun ZFS Storage Applianceシリーズのみ)

• 機能については第三弾で詳細に扱います

機能!

Current Data

snapshotuber-block

originaluber-block

Page 37: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 37

ZFSはどうすごい?性能

Page 38: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 38

ZFS性能

• 既存ファイルシステムの問題点• 堅牢性との両立が難しい

• ...ZFSでは?• read-modify-writeの排除、高速なRAID再同期、

Hybrid Storage Pool、Flashの使いどころ、さらなる性能の追求

性能

Page 39: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 39

堅牢性追求から一工夫性能!

• 堅牢性追求• そのままの実装では性能劣化が心配..

• でも性能も追求• 既存ファイルシステム同等の性能

Page 40: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 40

書き込み時コピーでの工夫性能!

• 必ず元データを残して新規にブロック確保• ランダム書き込み

• 複数

• 細かい

• →シーケンシャル書き込みにまとめる

元データ

Page 41: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 41

差分へのアクセス性能!

• 通常データと同コストでアクセス可能

snapshotuber-block

originaluber-block

Page 42: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 42

read-modify-write: RAID 5/6の問題点(1)性能?

ストライプ

• ストライプ幅固定• →「ストライプの一部」を更新する場面が多い

1.旧データと旧パリティを読む

2.新パリティの計算計算● 旧データ、新データ、旧パリティから

3.新データと新パリティをディスクに書き込む

- ストライプ幅固定- 同じブロックに上書き

旧Parity

新データ

旧データ

新Parity

計算

1

23

1 3

Page 43: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 43

RAID 5/6でのフルストライプライト性能

ストライプ

• ストライプ幅固定でも• →たまたまストライプ全体に更新が及ぶ場合

1.(読み込み待ち不要)

2.新パリティの計算計算●      新データ    から

3.新データと新パリティを同じ箇所に上書き

- ストライプ幅固定- 同じブロックに上書き

旧Parity

新データ

旧データ

新Parity

計算2

33

上書き

全書き込みが

こうだと

うれしいのだが..

Page 44: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 44

RAID-Z/Z2: read-modify-writeの排除性能!

ストライプ

• ストライプ幅可変で全てフルストライプライト• →「ストライプの一部」を更新する場面が無い

1.(読み込み待ち不要)

2.新パリティの計算計算●    新データ     から

3.新データと新パリティを別の箇所に書き込む

- ストライプ幅可変- フルストライプライト- 同じブロックへの 上書き無

旧Parity

新データ

旧データ

新Parity

計算2

33

新データ 新Parity

Page 45: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 45

ストライプ幅自動調節でフルストライプライト

P0 D0 D2 D4 D6

P1 D1 D3 D5 D7

P0 D0 D1 D2 P0

D0 D1 D2 P0 D0

P0 D0 D4 D8 D11

P1 D1 D5 D9 D12

P2 D2 D6 D10 D13

P3 D3 D7 P0 D0

D1 D2 D3 X P0

D0 D1 X . . .

HDD1 HDD2 HDD3 HDD4 HDD5

性能と堅牢性!

大きな書き込み

小さな書き込み

• RAID 5/6とRAID-Z/Z2の違い

ストライプ幅自動調節

書き込むブロックサイズ

(512B-128KB)によって伸縮

LBA (Logical Block Address)

0

1

2

3

4

5

6

7

8

:

Page 46: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 46

write-hole: RAID-5/6の問題点(2)

Data1 Data2 Data3 Data4 Parity

(1) Data1-4が正常に書き込み終了

(2) 電源が突然落ちた

(3)パリティーは書き終わっていないのでデータとパリティーの不整合が起こってしまう。

write hole(データとパリティーの不整合)によるデータ損傷の可能性がある

※ H/W RAIDストレージでバッテリを搭載すれば電源障害から データを保護でき、write holeを回避可能だが、 高価になってしまう面もある

堅牢性?

Page 47: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 47

write-holeの排除: RAID-Z/RAID-Z2

Data1 Data2 Data3 Data4 Parity

(2) Data1-4,Parityを書き込み中

(4)Copy-On-Writeなので、いつ電源が落ちても- 古いデータでData,Parityが完全に書かれている- 新しいデータでData,Parityが完全に書かれているのどちらか → write-holeは起きない

(1) 別のブロック確保

(3) 電源が突然落ちた

堅牢性!

Page 48: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 48

高速なRAID再同期

• ディスク障害時のオンライン再同期処理• 通常のRAID管理ソフトウェア

• ディスクのどこが使用中か認識できない

• ドライブ全体に及ぶ再同期

• ZFS

• ディスクのどこが使用中か認識されている

• 使用中部分のみ最小限のアクセスで再同期

• RAID管理とファイルシステムが統合されている利点

• 冗長性が低くなっている時間を短くできる

性能と堅牢性!

使用中再同期

未使用 ×

Page 49: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 49

さらに性能の追求(1)

• 入出力のパイプライン処理• 依存性と優先順位に基づき入出力ソート

• トランザクションの任意順処理• ディスク動作を最適化可能

• インテリジェントな先読み• アクセス分析と隣接ブロック先読み

• 並列処理• 並列ディレクトリ処理

• 同一ファイルへの並列読み書き

• 各モジュールがスケーラビリティを意識• ストライプ数増加による性能向上

性能!

Page 50: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 50

さらに性能の追求(2)性能!

• 組み込み型のデータ圧縮• 入出力必要数量削減

• キャッシュ機構• 読み込みキャッシュ

• ARC (Adaptive Replacement Cache)

• L2ARC (2nd Level ARC)

• Flash (SSD等)に置くことが可能

• ハードディスクより高速

• 物理メモリより安価

• Solaris 10は10/09から

• ログ機構• 書き込みログ(ZIL: ZFS Intent Log)

• Flash (SSD等)に置くことが可能

Page 51: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 51

Hybrid ストレージプール

• デバイスの価格、速度、容量をバランスよく• DRAM

• Flash(SSD)

• HDD

性能!

Page 52: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 52

SSDのデバイス特性

DRAM SSD HDD

性能!

Page 53: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 53

SSDの使いどころ性能と管理性!

Page 54: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 54

Hybridストレージプールの性能測定(例)

7x 146GB 10,000 RPM SAS ドライブ

構成 A:

SSD無しのストレージプール

• Sun Fire X4450• 4x Xeon 7350 プロセッサ (計16コア)• 32GB DDR2 ECC DRAM• ZFS on Solaris

5x 400GB 4200 RPM SATAドライブ

1x 32G SSD ZILデバイス

1x 80G SSD L2ARCデバイス

構成 B:

SSD有りのストレージプール

性能!

Page 55: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 55

Hybridストレージプールの性能効果(例)

• SSD利用でコスト面も優位• 大規模構成時のコストメリットが特に期待できる

Raw 容量

(TB)

構成 A: SSD無しのストレージプール (DRAM + 7x 10K RPM SAS)構成 B: SSD有りのストレージプール (DRAM + Read SSD + Log SSD + 5x 4200 RPM SATA)

消費電力

(ワット)読込IOPs 書込IOPs TBあたり

コスト

x3.2x3.2+11%+11%

x2x2

SSD無し vs. SSD有り

x1x1//22 x1x1//4.94.9

性能!

Page 56: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 56

Flash (SSD) 使用時の信頼性• SSDの冗長構成が可能

• 読込SSD全故障: 単なるキャッシュミス扱い

• 書込SSD全故障: 一次キャッシュ中のコピー使用

• さらに、エンタープライズ向け Flash は HDD より MTBF が長い

書込内容通常時

この矢印全体が

1トランザクション

同期書込時

電源障害後

性能と堅牢性!

Page 57: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 57

ZFSはどうすごい?管理性

Page 58: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 58

ZFS管理性

• 既存ファイルシステムの問題点• 管理が面倒

• 使うコマンドも多い

• ...ZFSでは?• 管理コマンド、Web GUI、ファイルシステム作成手順、属性値

管理性

Page 59: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 59

管理コマンド

• zpool• プール関連処理

• zfs• ファイルシステム関連処理

• .. 2個だけ!

管理性!

Page 60: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 60

Solaris 10 の Web GUI管理性!

Page 61: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 61

ファイルシステム作成手順

1.プールにストレージを登録 zpool create tank cXtXdX ...

2.プールからファイルシステム切出 zfs create tank/home

3. (省略可) 属性値設定 zfs set <attr>=<value> tank/home

• 3ステップで構成可能

• /etc/vfstab書き換え不要

• /etc/dfs/dfstab書き換え不要

/ (root)

usr opt tank

Storage Pool: tank

ZFS

home

home作成時に自動でマウント

管理性!

Page 62: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 62

属性値管理性!

• 容量予約

• 容量制限• ファイルシステム単位

• 加えてユーザー、グループ単位(Solaris 10 10/09-)

• マウントポイント

• NFS 共有の設定

• 圧縮の有効化(lzjb, gzip-[1-9])

• 等

Storage Pool

ZFSuser1用

ファイルシステムの容量を

1GB以内に制限

user2用ファイルシステムの

容量を5GB分確保

属性値はディスクに書かれる

Page 63: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 63

ファイルシステム

• ディレクトリのように操作できる• ユーザーやプロジェクトごとに個別ファイルシステムを作成

• きめ細かい管理を実現

管理性!

StoragePool

11-15 △△

16-20 □□

1-10 ○○

Page 64: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 64

さらなる管理性

• 対応アーキテクチャ• SPARC、x86/x64

• フォーマットやエンディアンの心配不要

• エクスポート、インポート

• あるアーキテクチャのマシンで構築したプールを他アーキテクチャのマシンに接続可能

• 優れた拡張性や堅牢性• 多くの管理作業を不要のものにしている

管理性!

SANなど

Storage Pool

import

移行元サーバ 移行先サーバ

export

Page 65: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 65

今回のまとめ: ZFS - 革新的ファイルシステム

ZFS 1 ZFS 2 ZFS 3

機能•スナップショット•リモートコピー•バックアップ•ファイル共有

Storage Pool

管理性•極めて簡素

•プール構造•ボリューム管理の統合

拡張性•事実上無制限

•プール容量•ファイルシステム容量•ファイル数•ディレクトリ数

堅牢性•Copy-on-Write•トランザクション処理•End-to-Endチェックサム•自己修復

性能•Hybridストレージプール•Read-modify-writeの排除•入出力のパイプライン処理

追加ライセンス費無オープンソース

Page 66: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 66

7720

7420

73207120

宣伝: Sun ZFS ストレージアプライアンス• Unified Storage / Sun ZFS Storage 7000• Solaris ベースの NAS ヘッド

• オープンアーキテクチャ

• データ形式、プロトコル

• オープンソースソフトウェア採用

• 追加ライセンス費用無

• ZFSとSSD

• ハイブリッドストレージプール

• DTrace Analytics

• リアルタイム

• システム性能確認

• 容量プランニング

• 課題特定

宣伝!

Page 67: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 67

ZFS 参考情報

• 参考情報リンク集

• 解説記事、アーキテクチャ、ソースツアー、デモ、マニュアル、構築時の参考情報、blog、事例、書籍

• Oracle Universityコース• Solaris 10 ZFS管理 (SA-2290-S10)

• ZFSの機能、プールとファイルシステム管理、スナップショットとクローンの操作、ACL、トラブルシューティング

参考情報

hiroa blog zfs 検索 からリンクしました!

Page 68: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 68

http://www.oracle.co.jp/inq_pl/INQUIRY/quest?rid=28

Oracle Direct 検索

あなたにいちばん近いオラクル

Oracle Directまずはお問合せくださいまずはお問合せください

Web問い合わせフォーム フリーダイヤル専用お問い合わせフォームにてご相談内容を承ります。

※フォームの入力には、Oracle Direct Seminar申込時と同じ ログインが必要となります。※こちらから詳細確認のお電話を差し上げる場合がありますので、 ご登録されている連絡先が最新のものになっているか、ご確認下さい。

0120-155-096 ※月曜~金曜 9:00~12:00、13:00~18:00

  (祝日および年末年始除く)

システムの検討・構築から運用まで、ITプロジェクト全般の相談窓口としてご支援いたします。

システム構成やライセンス/購入方法などお気軽にお問い合わせ下さい。

Page 69: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved.

Page 70: Oracle Direct Seminar...2010/10/07  ·  Oracle Direct Seminar ZFS 第二弾!ZFS はどうすごい?(詳細編)日本オラクル株式会社

Copyright© 2010, Oracle. All rights reserved. 70 70