用AI,LLM,是否一定要nvda 行cuda? Amd 同價位有較多vram

想玩埋LLM,是否一定要用nvda? 因amd多vram。見LLM一般分8gb 12gb 16gb model

via HKEPC Reader for Android

想玩埋LLM,是否一定要用nvda? 因amd多vram。見LLM一般分8gb 12gb 16gb model

via HKEPC Reader for Andro ...
aaronlui 發表於 2024-8-28 01:45


問得即係冇玩開

建議租下CLOUD 先試下先決定買咩配置
清一色nvidia 3090 4090 A6000 H100唔係冇原因

TOP

是的,不然 nvda 的股价为何一路飙涨?基本是独家垄断了。
我也是建议先租用云GPU,在决定要不要买,我之前收集了一些云 GPU 厂商,有
需要可以参考下:
https://www.autodl.com/

[如何配置一台 GPU 服务器? - V2EX](https://www.v2ex.com/t/552932)

https://gpushare.com/

[智星云 AI Galaxy | GPU云服务器 GPU服务器租用 远程GPU租用 深度学习服务器 | 免费GPU 便宜GPU (ai-galaxy.cn)](http://gpu.ai-galaxy.cn/store)

Featurize ,比较贵,优点就是实例是 KVM 上跑的,其他大部分平台都是 docker ,如果有需要可以考虑

国外:

[vast.ai](http://vast.ai/) ,优点是选对机器带宽很高,基本上都是千兆起步. 缺点:流量计费(不便宜)、关机存储也要计费.

[趋动云-连接全球算力,让计算更简单 (virtaicloud.com)](https://www.virtaicloud.com/)

[北鲲云 - 一站式云超算平台 (bkunyun.com)](https://www.bkunyun.com/index.html)

[Pricing – Replicate](https://replicate.com/pricing)

https://stablediffusionapi.com/

TOP

AMD也不是完全不能用cuda , 只是小問題很多
(高手在民間 例如zluda)
但始終只是小眾的魔改

你認真想玩的話 還是咬咬牙 "比錢啦"

TOP

軟件層面唔支援,張卡幾快Ram幾多都冇用。要轉譯真係生產用時,時間支援等都是成本。

via HKEPC IRF 5.1.14 - iOS(5.1.1)

TOP

暫時AI都係只得N卡用起來方便,如果只係想試下都係先租cloud試左先。

TOP

TOP