主机论坛

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
楼主: youshao

龙虾怎么配本地模型跑

[复制链接]

8

主题

9

回帖

50

积分

注册会员

Rank: 2

积分
50
发表于 4 天前 | 显示全部楼层
Musk 发表于 2026-3-10 10:46
内存,存贮,显卡都有一定的要求

32g + 4060能跑起来不
回复

使用道具 举报

115

主题

5161

回帖

1万

积分

论坛元老

Rank: 8Rank: 8

积分
12281
发表于 4 天前 | 显示全部楼层
youshao 发表于 2026-3-10 10:45
据说一个月要烧1-2K,所以看看本地模型是否靠谱,也不干什么特别重要的东西么。 ...

昨天还在群里问同事了。  他说一次 0.25刀。 我是玩不起。
回复

使用道具 举报

2

主题

69

回帖

256

积分

中级会员

Rank: 3Rank: 3

积分
256
发表于 4 天前 | 显示全部楼层
装一个ollama 本地跑模型一般都用这个 接入openclaw官方文档很完善 16G显存可以跑Qwen3.5 9B 上月刚发布的目前最强的小模型
回复

使用道具 举报

1

主题

3073

回帖

6455

积分

论坛元老

Rank: 8Rank: 8

积分
6455
发表于 4 天前 | 显示全部楼层
回复

使用道具 举报

634

主题

2万

回帖

5万

积分

论坛元老

Rank: 8Rank: 8

积分
50732
发表于 4 天前 | 显示全部楼层
你这个本地配置连给龙虾提鞋都不配
回复

使用道具 举报

117

主题

298

回帖

1229

积分

金牌会员

Rank: 6Rank: 6

积分
1229
发表于 4 天前 | 显示全部楼层
这么烧钱
回复

使用道具 举报

0

主题

862

回帖

2698

积分

金牌会员

Rank: 6Rank: 6

积分
2698
发表于 4 天前 | 显示全部楼层
智能诈骗
回复

使用道具 举报

35

主题

328

回帖

1161

积分

金牌会员

Rank: 6Rank: 6

积分
1161
发表于 4 天前 | 显示全部楼层
ollama 不过龙虾上下文需要64k,需要占用好几G的现存,所以能跑的模型就很小
回复

使用道具 举报

0

主题

2

回帖

8

积分

新手上路

Rank: 1

积分
8
发表于 4 天前 | 显示全部楼层
个人认为龙虾还得再进化下,否则token一般人玩不起,目前可以白票gpt给龙虾用。 自己搭建也挺耗电,玩玩可以。另外有错删文件,清空磁盘的风险,mjj需要注意我3090显卡 双e52666洋垃圾 128g内存 ollama搭建了qwen3.5 27b,小龙虾本地用,回答一个“介绍一下你自己”,用了大概6分多钟。
回复

使用道具 举报

0

主题

2763

回帖

5844

积分

论坛元老

Rank: 8Rank: 8

积分
5844
发表于 4 天前 | 显示全部楼层
烧钱
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|主机论坛

GMT+8, 2026-3-14 22:39 , Processed in 0.042563 second(s), 17 queries .

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表