ZFSの重複排除で容量が増え、物理1.8Tがまもなく44Tを収容

ZFSの重複排除で容量が増え、物理1.8Tがまもなく44Tを収容


いつもアクセスありがとうございます。匠技術研究所の谷山 亮治です。
今回は「ZFSの重複排除で容量が増え、物理1.8Tがまもなく44Tを収容」の紹介です。

ZFSonLinuxを試しています。dedupという重複排除機能のテストが終わりません。
ZFSシステムでの読み書きアクセス速度の把握と、ある程度のストレステストを行うつもりが、延々と終わりません。テストプログラムはpostmarkです。Ubuntuの場合はapt-getでインストールできます。

postmarkで、500Kから512Mの大きさのファイルを100,000程作るように指示しました。ディスクフルになるなら、その終わり方も見ておきたいという期待があったからです。先週金曜日の深夜よりpostmarkは、どんどんファイルを作っていますが、同じ内容が書かれているようで、ZFSの重複排除機能の作用により、なかなかディスクフルになりません。6日弱書き込みが続いており、44T弱のファイルをつくり、重複を排除し続けています。

なんと1.8T弱のディスクに44T弱のファイルが書かれました。素晴らしい重複排除の性能です。まだ、postmarkは黙々とファイルを作り続け、ZFSは黙々と重複排除してディスクに収めています。トランザクションの試験もしているので読んでもいます。44T分の書き込みを続けても尚、パニックも起こさずに、ファイルを作っているので、もう充分ですよね。

これでpostmark試験プログラムを止めます。

■現在のディスク容量
root@storage:~# df -m
Filesystem 1M-blocks Used Available Use% Mounted on
/dev/sdd1 52414 27857 21872 57% /
none 1 0 1 0% /sys/fs/cgroup
udev 3697 1 3697 1% /dev
tmpfs 748 2 747 1% /run
none 5 0 5 0% /run/lock
none 3740 1 3740 1% /run/shm
none 100 1 100 1% /run/user
spool 1050296 1 1050296 1% /spool
spool/data 46690414 45640119 1050296 98% /mnt/data
spool/data20g 20480 15818 4663 78% /mnt/data20g
spool/shares 1050296 1 1050296 1% /mnt/shares
root@storage:~#

■ZFSは44T書き込まれたと思っている
実際にpostmarkは44TをZFS上に書き出しています。トランザクションの試験もしているので読んでもいます。
takumi@storage:/mnt/data$ sudo zfs list
NAME USED AVAIL REFER MOUNTPOINT
spool 43.5T 1.00T 96K /spool
spool/data 43.5T 1.00T 43.5T /mnt/data
spool/data20g 15.4G 4.55G 15.4G /mnt/data20g
spool/shares 100K 1.00T 100K /mnt/shares

takumi@storage:/mnt/data$ sudo zpool list
NAME SIZE ALLOC FREE EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
spool 1.81T 106G 1.71T 16.0E 8% 5% 1860.97x ONLINE -

■ディスクシステムは正常
takumi@storage:/mnt/data$ sudo zpool status
pool: spool
state: ONLINE
scan: scrub repaired 0 in 0h14m with 0 errors on Tue May 12 05:58:47 2015
config:

NAME STATE READ WRITE CKSUM
spool ONLINE 0 0 0
mirror-0 ONLINE 0 0 0
sdb ONLINE 0 0 0
sdc ONLINE 0 0 0
spares
sda AVAIL

errors: No known data errors
takumi@storage:/mnt/data$