本帖最後由 s84292 於 2024-5-6 08:29 編輯
話 AI 性能超車 apple
人地都無 NPU
usei 發表於 2024-4-11 06:55
apple 有NPU,有好多年了
不過咁講,到佢高通批NOTEBOOK出黎了,都差唔多係要同M4比NPU性能
APPLE 最強NPU你估下係M3 嗎⋯⋯
錯了,係A17PRO ,35 TOPS
A17PRO支持 int8 咪35 囉,M3得int16 咪17.5 TOPS囉
只要下一代加個int4 支持,A17Pro 同M4 就可以突破50 TOPS
唔好比D廠商數字蒙蔽,高通個NPU 45TOPS 係因為佢支持int4,拎int4跑出黎
有幾多真係會拎int4精度黎行,我畫圖同LORA訓練 4090都唔用int8了,都係bf16 int16
大模型雖然話可以int8/4混合精度,一混合30都唔倍知有冇⋯
仲有手機有幾多RAM你RUN,又食電~不如ONLINE 好過
之前高通為左數字上高,佢標個D TOPS仲要係CPU+GPU+NPU總和
講時講,M3 M3PRO M3MAX都係同一粒NPU,唔知下代會唔會搞分級
M4同M4 PRO:16核NPU int8 35TOPS
M4MAX:32核NPU int8 70TOPS |