lilyhcn1 发表于 2024-4-25 15:31:18

好想知道X79的垃圾服务器能不能跑Llama3 70b

自己试了一下llama3 8b的版本，居然7735hs的小主机也能跑起来，而且速度很快。<br />
也试了一下llama3 70b的效果，感觉非常不错。<br />
很想知道 要是自己组装个x79的2000块破服务器，能不能跑起来。

huayixin 发表于 2024-4-25 15:32:02

不是吃显卡么

lilyhcn1 发表于 2024-4-25 15:36:01

<div class="quote"><blockquote><font size="2"><a href="https://hostloc.com/forum.php?mod=redirect&goto=findpost&pid=15481543&ptid=1300129" target="_blank"><font color="#999999">huayixin 发表于 2024-4-25 15:32</font></a></font><br />
不是吃显卡么</blockquote></div><br />
这玩意居然是靠cpu算的，我都惊呆了。

skugov 发表于 2024-4-25 15:32:00

CPU 和显卡都可以，显卡效果好

comet 发表于 2024-4-25 15:37:14

cpu卡死人。用甲骨文arm试过

lilyhcn1 发表于 2024-4-25 15:40:22

<div class="quote"><blockquote><font size="2"><a href="https://hostloc.com/forum.php?mod=redirect&goto=findpost&pid=15481568&ptid=1300129" target="_blank"><font color="#999999">skugov 发表于 2024-4-25 15:37</font></a></font><br />
CPU 和显卡都可以，显卡效果好</blockquote></div><br />
显卡 不会用，只会cpu

jekyll 发表于 2024-4-25 15:42:25

内存够就能跑。<br />
双路X79,满8通道DDR3内存，胜在便宜，但远远比不上GDDR的速度。

yaren 发表于 2024-4-25 15:37:00

x79可以一战

huayixin 发表于 2024-4-25 16:03:26

<div class="quote"><blockquote><font size="2"><a href="https://hostloc.com/forum.php?mod=redirect&goto=findpost&pid=15481557&ptid=1300129" target="_blank"><font color="#999999">lilyhcn1 发表于 2024-4-25 15:36</font></a></font><br />
这玩意居然是靠cpu算的，我都惊呆了。</blockquote></div><br />
我看有人3060 12g 70B跑着很吃力，就放弃了本地测试的念头。<br />
<br />
听你这么一说又有兴趣了，不知道手上的x99洋垃圾2666V3 64G能不能一试。

yaren 发表于 2024-4-25 16:37:39

看过评测，cpu的确可以跑，但是效率很低，那个测试博主用家用游戏显卡跑问题，秒出结果，用CPU跑，一秒蹦2个字我也有一张3060，能否把这个博主的链接发一下？
页: [1]
查看完整版本: 好想知道X79的垃圾服务器能不能跑Llama3 70b