用AI，LLM，是否一定要nvda 行cuda? Amd 同價位有較多vram

aaronlui

想玩埋LLM，是否一定要用nvda? 因amd多vram。見LLM一般分8gb 12gb 16gb model

via HKEPC Reader for Android

s84292

想玩埋LLM，是否一定要用nvda? 因amd多vram。見LLM一般分8gb 12gb 16gb model

via HKEPC Reader for Andro ...
aaronlui 發表於 2024-8-28 01:45

問得即係冇玩開

建議租下CLOUD 先試下先決定買咩配置
清一色nvidia 3090 4090 A6000 H100唔係冇原因

Hans8

是的，不然 nvda 的股价为何一路飙涨？基本是独家垄断了。
我也是建议先租用云GPU，在决定要不要买，我之前收集了一些云 GPU 厂商，有
需要可以参考下：
https://www.autodl.com/

[如何配置一台 GPU 服务器？ - V2EX](https://www.v2ex.com/t/552932)

https://gpushare.com/

[智星云 AI Galaxy | GPU云服务器 GPU服务器租用 远程GPU租用 深度学习服务器 | 免费GPU 便宜GPU (ai-galaxy.cn)](http://gpu.ai-galaxy.cn/store)

Featurize ，比较贵，优点就是实例是 KVM 上跑的，其他大部分平台都是 docker ，如果有需要可以考虑

国外：

[vast.ai](http://vast.ai/) ，优点是选对机器带宽很高，基本上都是千兆起步. 缺点：流量计费（不便宜）、关机存储也要计费.

[趋动云-连接全球算力，让计算更简单 (virtaicloud.com)](https://www.virtaicloud.com/)

[北鲲云 - 一站式云超算平台 (bkunyun.com)](https://www.bkunyun.com/index.html)

[Pricing – Replicate](https://replicate.com/pricing)

https://stablediffusionapi.com/

cngaiyin

AMD也不是完全不能用cuda , 只是小問題很多
(高手在民間 例如zluda)
但始終只是小眾的魔改

你認真想玩的話 還是咬咬牙 "比錢啦"

rickrickchan

軟件層面唔支援，張卡幾快Ram幾多都冇用。要轉譯真係生產用時，時間支援等都是成本。

via HKEPC IRF 5.1.14 - iOS(5.1.1)

jaron

暫時AI都係只得N卡用起來方便，如果只係想試下都係先租cloud試左先。

chowjyc

https://ollama.com/blog/amd-preview