Gemma4 E4B IT 4bit MLX 能跑出几十 tokens/s ，但是有什么用呢？试着在同一局域网里面的 Mac Mini ，把 OpenCode 的 Quick 类指定成它，但是 12K 上下文都能报错，tensors cannot be broadcast 。这玩意儿到底有什么用？
也试了一下 Jackrong 的 Qwopus 3.5 9B 6bit MLX ，还是只能当单次聊天回复机器人用，接入 OpenCode 就报错。
实在是想不出来本地 LLM 有什么用。
加钱换 64G 的新机器？那钱买 Coding Plan 都够用多长时间了，不比本地模型强多了。
也试了一下 Jackrong 的 Qwopus 3.5 9B 6bit MLX ，还是只能当单次聊天回复机器人用，接入 OpenCode 就报错。
实在是想不出来本地 LLM 有什么用。
加钱换 64G 的新机器？那钱买 Coding Plan 都够用多长时间了，不比本地模型强多了。
 |
1
sddyzm 5 小时 10 分钟前
本地模型很弱智，不建议将这点加入到任何和现实生活相关的考量中，当它不存在
|
 |
2
yougo 4 小时 15 分钟前
之前看到说 50 张 H200 也无法支撑起一个 GPT 5.2 Pro 的稳定的算力需求 所以即便那些遥遥领先的闭源模型哪天开源了 也跟大多数人没有关系 光是电费就远超当前订阅的费用 所以以后只要需求持续存在 模型就会持续涨价直到和个人部署成本达成平衡
|
 |
3
nc 4 小时 12 分钟前
64G 统一内存都不够用。不如用买机器的钱去买 token ，本地模型智商还是低，上下文也有限。
|
 |
4
aklllw 3 小时 16 分钟前
想起一个冷笑话：
“我的 xx 设备能够连续跑一天的任务花费超多 token 不用一分钱” “有没有可能是因为智力太低了所以才需要跑一整天” |
Select Language