作者: aaronlui 時間: 2024-8-28 09:45 標題: 用AI，LLM，是否一定要nvda 行cuda? Amd 同價位有較多vram
想玩埋LLM，是否一定要用nvda? 因amd多vram。見LLM一般分8gb 12gb 16gb model
via HKEPC Reader for Android
作者: s84292 時間: 2024-8-28 09:58
想玩埋LLM，是否一定要用nvda? 因amd多vram。見LLM一般分8gb 12gb 16gb model
via HKEPC Reader for Andro ...
aaronlui 發表於 2024-8-28 01:45
問得即係冇玩開
建議租下CLOUD 先試下先決定買咩配置
清一色nvidia 3090 4090 A6000 H100唔係冇原因
作者: Hans8 時間: 2024-8-29 17:34
是的，不然 nvda 的股价为何一路飙涨？基本是独家垄断了。
我也是建议先租用云GPU，在决定要不要买，我之前收集了一些云 GPU 厂商，有
需要可以参考下：
https://www.autodl.com/
[如何配置一台 GPU 服务器？ - V2EX](https://www.v2ex.com/t/552932)
https://gpushare.com/
[智星云 AI Galaxy | GPU云服务器 GPU服务器租用 远程GPU租用 深度学习服务器 | 免费GPU 便宜GPU (ai-galaxy.cn)](http://gpu.ai-galaxy.cn/store)
Featurize ，比较贵，优点就是实例是 KVM 上跑的，其他大部分平台都是 docker ，如果有需要可以考虑
国外：
[vast.ai](http://vast.ai/) ，优点是选对机器带宽很高，基本上都是千兆起步. 缺点：流量计费（不便宜）、关机存储也要计费.
[趋动云-连接全球算力，让计算更简单 (virtaicloud.com)](https://www.virtaicloud.com/)
[北鲲云 - 一站式云超算平台 (bkunyun.com)](https://www.bkunyun.com/index.html)
[Pricing – Replicate](https://replicate.com/pricing)
https://stablediffusionapi.com/
作者: cngaiyin 時間: 2024-8-29 21:28
AMD也不是完全不能用cuda , 只是小問題很多
(高手在民間 例如zluda)
但始終只是小眾的魔改
你認真想玩的話 還是咬咬牙 "比錢啦"
作者: rickrickchan 時間: 2024-8-30 20:43
軟件層面唔支援，張卡幾快Ram幾多都冇用。要轉譯真係生產用時，時間支援等都是成本。
via HKEPC IRF 5.1.14 - iOS(5.1.1)
作者: jaron 時間: 2024-9-2 20:54
暫時AI都係只得N卡用起來方便，如果只係想試下都係先租cloud試左先。
作者: chowjyc 時間: 2024-9-8 22:21
https://ollama.com/blog/amd-preview