公司想部署一个私有化的deepseek 可以用6000ada的显卡么

akatom · 发表于 2025-2-7 13:06:04

如题，请问大家部署depseek都需要啥配置呢？

尼古丁真 · 发表于 2025-2-7 13:35:07

本帖最后由尼古丁真于 2025-2-7 13:36 编辑

int4量化跑671b大概要350G 内存堆到350G容易显存堆到350G有点难
int4精度损失有点高 int8要700G应该能跑
h100 80g显存
也有便宜的方案 2080ti魔改22G显存插16张

奧巴马 · 发表于 2025-2-7 13:08:49

CPU都可以，就是慢，自己部署没意思。和官网不一样的

无神通 · 发表于 2025-2-7 13:20:54

什么配置都可以，速度快慢的区别

方块李 · 发表于 2025-2-7 13:22:24

建议20块H100 直接上671B

dragonfsky · 发表于 2025-2-7 13:22:32

可以啊但是满血要几十张吧

cooe · 发表于 2025-2-7 13:43:00

前几天部署了一个8b的，速度还行，但是不够聪明，还是官网用吧，已充值了几十块！

丹帕 · 发表于 2025-2-7 13:45:34

1688现在不是很多跳水卡，来个满血671b

我是老王 · 发表于 2025-2-7 14:17:34

公司跑 32B 就足够了你也可以前端弄个转发接各大API

小猪佩奇小嵐 · 发表于 2025-2-7 15:52:26

不一样，没什么意义那好用嗎?

		自动登录	找回密码
密码			立即注册