闲置 16GB M1 Pro MBP 跑大模型

6 小时 48 分钟前
 ahdw
Gemma4 E4B IT 4bit MLX 能跑出几十 tokens/s ,但是有什么用呢?试着在同一局域网里面的 Mac Mini ,把 OpenCode 的 Quick 类指定成它,但是 12K 上下文都能报错,tensors cannot be broadcast 。这玩意儿到底有什么用?

也试了一下 Jackrong 的 Qwopus 3.5 9B 6bit MLX ,还是只能当单次聊天回复机器人用,接入 OpenCode 就报错。

实在是想不出来本地 LLM 有什么用。

加钱换 64G 的新机器?那钱买 Coding Plan 都够用多长时间了,不比本地模型强多了。
296 次点击
所在节点    MacBook Pro
4 条回复
sddyzm
6 小时 44 分钟前
本地模型很弱智,不建议将这点加入到任何和现实生活相关的考量中,当它不存在
yougo
5 小时 49 分钟前
之前看到说 50 张 H200 也无法支撑起一个 GPT 5.2 Pro 的稳定的算力需求 所以即便那些遥遥领先的闭源模型哪天开源了 也跟大多数人没有关系 光是电费就远超当前订阅的费用 所以以后只要需求持续存在 模型就会持续涨价直到和个人部署成本达成平衡
nc
5 小时 45 分钟前
64G 统一内存都不够用。不如用买机器的钱去买 token ,本地模型智商还是低,上下文也有限。
aklllw
4 小时 50 分钟前
想起一个冷笑话:
“我的 xx 设备能够连续跑一天的任务花费超多 token 不用一分钱”
“有没有可能是因为智力太低了所以才需要跑一整天”

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://nm.100875.xyz/t/1204156

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX