[分享] 多核壓縮工具 pigz 的力量

TuTu

主角係 pigz (Parallel gzip) multicore
http://www.zlib.net/pigz/

在 3.x GB 的 ramdisk 上測試
Thinkpad T61 (T7300 4 GB) 好可憐
沒開 swap/暫存

檔案是一個 2003年 thunderbird 的 mailbox file，大小是 1.2 GB  (代表裡面乜都有 )

計時: 壓縮 && 空間大小 && 降壓



---------------------
t61 tmp # free -m
             total       used       free     shared    buffers     cached
Mem:          3904       2798       1106          0        185       2055
-/+ buffers/cache:        557       3347
Swap:            0          0          0

t61 tmp # df /tmp/
Filesystem           1K-blocks      Used Available Use% Mounted on
tmpfs                  3584000   1185636   2398364  34% /tmp

t61 tmp # du /tmp/2003RECE
1182640 /tmp/2003RECE

估計最慢既行先
t61 tmp # time bzip2 -9 2003RECE && du 2003RECE* && time bunzip2 2003RECE.bz2

real    3m51.155s<-- 壓
user    3m48.818s
sys     0m1.770s
832536  2003RECE.bz2

real    1m53.119s <-- 解
user    1m50.539s
sys     0m1.710s

t61 tmp # time pigz -9 2003RECE && du 2003RECE* && time pigz -d 2003RECE.gz

real    1m15.382s<-- 主角壓
user    2m19.664s
sys     0m2.200s
839148  2003RECE.gz

real    0m12.345s<-- 主角解
user    0m11.273s
sys     0m1.817s

t61 tmp # time gzip -9 2003RECE && du 2003RECE* && time gunzip 2003RECE.gz

real    2m13.596s<-- 壓
user    2m12.068s
sys     0m1.390s
838384  2003RECE.gz

real    0m19.584s<-- 解
user    0m18.312s
sys     0m1.270s


edit: 加顏色，易睇些。

[ 本帖最後由 TuTu 於 2009-8-10 03:20 編輯 ]

TuTu

How is it pronounced?
I'm glad you asked. It is pronounced “pig-zee”. It is not pronounced like the plural of pig.

hdvd-rom

very nice job
compression fast nearly 90%
it used up how many cores?what is the cpu usage percent?

TuTu

原帖由 hdvd-rom 於 2009-8-10 01:25 發表
very nice job
compression fast nearly 90%
it used up how many cores?what is the cpu usage percent?

Thank you.

T7300 is running ondemand cpufreq at 800 - 2000 MHz with 2 cores only, compression fully loads core(s) to 100%, they do. (they = bzip2, pigz, gzip)

向前展望係 core 數在跑, multicore 利害, ram 多亦唔壞菜.....
7-zip 都係多核的，剛做完﹐為了帥哥，即時奉上

edit: thank you.

[ 本帖最後由 TuTu 於 2009-8-10 02:26 編輯 ]

TuTu

7-zip


time 7za 2003RECE 2003RECE && du 2003RECE* && time 7z x 2003RECE.7z
real    10m56.106s
user    18m51.940s
sys     0m7.226s
1182640 2003RECE
759268  2003RECE.7z
Compressed: 775964996

real    2m2.419s
user    1m32.121s
sys     0m1.893s

fsck

good job, 我平時會用7za -m0=bzip2 做parallel壓縮.

TuTu

原帖由 hdvd-rom 於 2009-8-10 01:25 發表
very nice job
compression fast nearly 90%
it used up how many cores?what is the cpu usage percent?

我的 atom 唔夠 ram , pigz 是跑足 4 core 的, 現在 atom 是透過 aoe (ata-over-ethernet) 把 raid 送給 小黑本本 用，好滿足  

(cat-6 線使用中)

TuTu

原帖由 fsck 於 2009-8-10 01:43 發表
good job, 我平時會用7za -m0=bzip2 做parallel壓縮.

Thank you, 好彩您提我，我報欠了

1. t61 / # alias 7za
   
2. alias 7za='7z a -t7z -m0=lzma -mx=9 -mfb=64 -md=32m -ms=on '

複製代碼

edit: 對不起﹐功課扣分了   
edit2: 7-zip 是 version 4.65 未上 9.04

[ 本帖最後由 TuTu 於 2009-8-10 02:26 編輯 ]

TuTu

OT: 同期預告
做了一些 ram, hdd, sdcard, ufd (usb flash drive) 的交配 raid result, 衰在唔知點報 及 interpret。performance results 是嚇人的。(raid 是 raid10f2, raid0)

lazyfai

你試下每次 test 之後先做一次
sync
同埋
echo 1 > /proc/sys/vm/drop_cache
清咗個 cache 佢先。