作者: TuTu 時間: 2009-8-10 00:29 標題: [分享] 多核壓縮工具 pigz 的力量
主角係 pigz (Parallel gzip) multicore
http://www.zlib.net/pigz/
在 3.x GB 的 ramdisk 上測試
Thinkpad T61 (T7300 4 GB) 好可憐
沒開 swap/暫存
檔案是一個 2003年 thunderbird 的 mailbox file，大小是 1.2 GB (代表裡面乜都有
)計時: 壓縮 && 空間大小 && 降壓
---------------------
t61 tmp # free -m
total used free shared buffers cached
Mem: 3904 2798 1106 0 185 2055
-/+ buffers/cache: 557 3347
Swap: 0 0 0
t61 tmp # df /tmp/
Filesystem 1K-blocks Used Available Use% Mounted on
tmpfs 3584000 1185636 2398364 34% /tmp
t61 tmp # du /tmp/2003RECE
1182640 /tmp/2003RECE
估計最慢既行先
t61 tmp # time bzip2 -9 2003RECE && du 2003RECE* && time bunzip2 2003RECE.bz2
real 3m51.155s<-- 壓
user 3m48.818s
sys 0m1.770s
832536 2003RECE.bz2
real 1m53.119s <-- 解
user 1m50.539s
sys 0m1.710s
t61 tmp # time pigz -9 2003RECE && du 2003RECE* && time pigz -d 2003RECE.gz
real 1m15.382s<-- 主角壓
user 2m19.664s
sys 0m2.200s
839148 2003RECE.gz
real 0m12.345s<-- 主角解
user 0m11.273s
sys 0m1.817s
t61 tmp # time gzip -9 2003RECE && du 2003RECE* && time gunzip 2003RECE.gz
real 2m13.596s<-- 壓
user 2m12.068s
sys 0m1.390s
838384 2003RECE.gz
real 0m19.584s<-- 解
user 0m18.312s
sys 0m1.270s
edit: 加顏色，易睇些。
[ 本帖最後由 TuTu 於 2009-8-10 03:20 編輯 ]
作者: TuTu 時間: 2009-8-10 01:02
How is it pronounced?
I'm glad you asked. It is pronounced “pig-zee”. It is not pronounced like the plural of pig.
作者: hdvd-rom 時間: 2009-8-10 01:25
very nice job
compression fast nearly 90%
it used up how many cores?what is the cpu usage percent?
作者: TuTu 時間: 2009-8-10 01:40
原帖由 hdvd-rom 於 2009-8-10 01:25 發表
very nice job
compression fast nearly 90%
it used up how many cores?what is the cpu usage percent?
Thank you.
T7300 is running ondemand cpufreq at 800 - 2000 MHz with 2 cores only, compression fully loads core(s) to 100%, they do. (they = bzip2, pigz, gzip)
向前展望係 core 數在跑, multicore 利害, ram 多亦唔壞菜.....
7-zip 都係多核的，剛做完﹐為了帥哥，即時奉上
edit: thank you.
[ 本帖最後由 TuTu 於 2009-8-10 02:26 編輯 ]
作者: TuTu 時間: 2009-8-10 01:40
7-zip
time 7za 2003RECE 2003RECE && du 2003RECE* && time 7z x 2003RECE.7z
real 10m56.106s
user 18m51.940s
sys 0m7.226s
1182640 2003RECE
759268 2003RECE.7z
Compressed: 775964996
real 2m2.419s
user 1m32.121s
sys 0m1.893s
作者: fsck 時間: 2009-8-10 01:43
good job, 我平時會用7za -m0=bzip2 做parallel壓縮.
作者: TuTu 時間: 2009-8-10 01:44
原帖由 hdvd-rom 於 2009-8-10 01:25 發表
very nice job
compression fast nearly 90%
it used up how many cores?what is the cpu usage percent?
我的 atom 唔夠 ram , pigz 是跑足 4 core 的, 現在 atom 是透過 aoe (ata-over-ethernet) 把 raid 送給 小黑本本 用，好滿足
(cat-6 線使用中)
作者: TuTu 時間: 2009-8-10 01:45
原帖由 fsck 於 2009-8-10 01:43 發表
good job, 我平時會用7za -m0=bzip2 做parallel壓縮.
Thank you, 好彩您提我，我報欠了
- t61 / # alias 7za
- alias 7za='7z a -t7z -m0=lzma -mx=9 -mfb=64 -md=32m -ms=on '
edit2: 7-zip 是 version 4.65 未上 9.04
[ 本帖最後由 TuTu 於 2009-8-10 02:26 編輯 ]
作者: TuTu 時間: 2009-8-10 01:55
OT: 同期預告
做了一些 ram, hdd, sdcard, ufd (usb flash drive) 的交配 raid result, 衰在唔知點報 及 interpret。performance results 是嚇人的。(raid 是 raid10f2, raid0)
作者: lazyfai 時間: 2009-8-10 07:24
你試下每次 test 之後先做一次
sync
同埋
echo 1 > /proc/sys/vm/drop_cache
清咗個 cache 佢先。
作者: TuTu 時間: 2009-8-10 11:32
好的，即係重做，待會貼上。
作者: TuTu 時間: 2009-8-10 12:30
做完了
time bzip2 -9 2003RECE && du 2003RECE* && time bunzip2 2003RECE.bz2
sync
echo 1 > /proc/sys/vm/drop_caches
time pigz -9 2003RECE && du 2003RECE* && time pigz -d 2003RECE.gz
sync
echo 1 > /proc/sys/vm/drop_caches
time gzip -9 2003RECE && du 2003RECE* && time gunzip 2003RECE.gz
sync
echo 1 > /proc/sys/vm/drop_caches
time 7za 2003RECE 2003RECE && du 2003RECE* && time 7z x 2003RECE.7z
sync
echo 1 > /proc/sys/vm/drop_caches
作者: TuTu 時間: 2009-8-10 12:31
所得結果:
BZIP2
real 3m52.353s
user 3m49.922s
sys 0m1.543s
832536 2003RECE.bz2
real 2m2.015s
user 2m0.302s
sys 0m1.647s
PIGZ
real 1m18.779s
user 2m19.838s
sys 0m2.293s
839148 2003RECE.gz
real 0m12.499s
user 0m11.009s
sys 0m1.757s
GZIP
real 2m2.300s
user 2m0.895s
sys 0m1.350s
838384 2003RECE.gz
real 0m19.910s
user 0m18.542s
sys 0m1.317s
7-ZIP
real 11m8.708s
user 18m56.839s
sys 0m7.236s
1182640 2003RECE
759076 2003RECE.7z
real 1m39.308s
user 1m32.527s
sys 0m1.967s
[ 本帖最後由 TuTu 於 2009-8-10 12:31 編輯 ]
作者: 閒魂 時間: 2009-8-10 13:06
我個人現在最喜歡 lzma / xz
bzip2 呢兩年基本上無用過了…
作者: netter 時間: 2009-8-10 13:33
似乎 "豬豬" 係 file size 同 速度 之間有一個好好的平衝
真係可以考慮下改玩佢
作者: TuTu 時間: 2009-8-10 13:33
這裡 http://tukaani.org/lzma/benchmarks
作者: netter 時間: 2009-8-10 13:34
--- deleted ---
問題已解決
[ 本帖最後由 netter 於 2009-8-10 13:39 編輯 ]
作者: TuTu 時間: 2009-8-10 14:14
相同環境下, 也試了 lzma (single core的)
t61 tmp # time lzma -v -9 2003RECE
real 32m34.806s
user 32m21.983s
sys 0m5.073s
t61 tmp # du 2003RECE.lzma
768756 2003RECE.lzma
..... 好慢
[ 本帖最後由 TuTu 於 2009-8-10 14:14 編輯 ]