低价vps大全 发表于 7 天前

把微软针对cpu优化的ai大模型跑起来了，纯cpu跑 27.09 tokens/s

<div class="blockcode"><div id="code_MpS"><ol><li>速度是真快，英语效果一般，中文效果堪忧！:lol <br /><li><br /><li>llama_perf_sampler_print:&nbsp; &nbsp; sampling time =&nbsp; &nbsp;&nbsp;&nbsp;108.23 ms /&nbsp;&nbsp;1040 runs&nbsp; &nbsp;(&nbsp; &nbsp; 0.10 ms per token,&nbsp;&nbsp;9608.72 tokens per second)<br /><li>llama_perf_context_print:&nbsp; &nbsp;&nbsp; &nbsp;&nbsp;&nbsp;load time =&nbsp; &nbsp;&nbsp;&nbsp;582.45 ms<br /><li>llama_perf_context_print: prompt eval time =&nbsp; &nbsp;&nbsp;&nbsp;327.41 ms /&nbsp; &nbsp; 10 tokens (&nbsp; &nbsp;32.74 ms per token,&nbsp; &nbsp; 30.54 tokens per second)<br /><li>llama_perf_context_print:&nbsp; &nbsp;&nbsp; &nbsp;&nbsp;&nbsp;eval time =&nbsp; &nbsp;37991.07 ms /&nbsp;&nbsp;1029 runs&nbsp; &nbsp;(&nbsp; &nbsp;36.92 ms per token,&nbsp; &nbsp; 27.09 tokens per second)<br /><li>llama_perf_context_print:&nbsp; &nbsp;&nbsp; &nbsp; total time =&nbsp; &nbsp;38726.16 ms /&nbsp;&nbsp;1039 tokens<br /><li></ol></div><em onclick="copycode($('code_MpS'));">复制代码</em></div><br />
<br />
<br />
<br />
<br />
叫bitnet<br />
<br />

afkool 发表于 7 天前

英语效果一般，中文效果堪忧！<br />
这个评价6

朝花夕拾 发表于 7 天前

<div class="quote"><blockquote><font size="2"><a href="https://hostloc.com/forum.php?mod=redirect&goto=findpost&pid=16347640&ptid=1405219" target="_blank"><font color="#999999">afkool 发表于 2025-4-24 20:35</font></a></font><br />
英语效果一般，中文效果堪忧！<br />
这个评价6</blockquote></div><br />
这也垃圾，那也垃圾。哈哈

fpga 发表于 7 天前

谢谢分享！ 请问能不能把 bitnet 应用在英文的语音识别上 ?

Cuchemist 发表于 7 天前

好评
页: [1]
查看完整版本: 把微软针对cpu优化的ai大模型跑起来了，纯cpu跑 27.09 tokens/s