MoreRSS

site iconSoulteary | 苏洋修改

十年代码生涯,参与新浪、淘宝、美团、阿里云项目,贡献于人工智能知识传播,业余热衷WordPress、Traefik、Docker及游戏。
请复制 RSS 到你的阅读器,或快速订阅到 :

Inoreader Feedly Follow Feedbin Local Reader

Soulteary | 苏洋的 weibo 的 RSS 预览

《近期家用设备(NUC、群晖、光猫、交换机、机柜)散热升级记录》过年到现在,陆陆续续对家里的一些设备做了兼顾静音的散热升级,设备目前已经稳定运行一段时间...

2025-03-27 17:14:51

《近期家用设备(NUC、群晖、光猫、交换机、机柜)散热升级记录》

过年到现在,陆陆续续对家里的一些设备做了兼顾静音的散热升级,设备目前已经稳定运行一段时间,分享出来,希望帮助到有需要的同学。

《使用 Docker 和 Traefik v3 搭建轻量代码仓库(Gitea 1.20+)》本篇文章聊聊搭建“轻量好用又不吃资源”的代码仓库,分享如何在 Docker 环境下搭配 Traefik v3...

2025-03-27 17:11:19

《使用 Docker 和 Traefik v3 搭建轻量代码仓库(Gitea 1.20+)》

本篇文章聊聊搭建“轻量好用又不吃资源”的代码仓库,分享如何在 Docker 环境下搭配 Traefik v3 快速搭建一个私有化的 Gitea 代码仓库。

《管理 HomeLab 设备:借助 Claude 3.7 构建更智能的前端看板(一)》再次聊聊如何用简单的模型工具,来快速完成一个提供设备管理和监控看板的工具。让我们最简...

2025-03-07 21:27:41

《管理 HomeLab 设备:借助 Claude 3.7 构建更智能的前端看板(一)》

再次聊聊如何用简单的模型工具,来快速完成一个提供设备管理和监控看板的工具。
让我们最简单的原型开始吧。

嗯,追求速度 4bit 或更低位数的混合精度是可以提速的。加 vllm 额外 cache 还能进一步加速。但如果质量优先,大家还是会选择 int8 或以上或 fp16。这个事情看场...

2025-03-06 15:02:16

嗯,追求速度 4bit 或更低位数的混合精度是可以提速的。加 vllm 额外 cache 还能进一步加速。但如果质量优先,大家还是会选择 int8 或以上或 fp16。这个事情看场景,没有标准答案。//@Easy:呃,MacMiniM4 32G 跑 mlx 的 QwQ 32B 4bit 就能超过 5token/s 了

- 转发 @soulteary: 转一个海外创业者(joel)去年年底用4台mac mini集群跑 QwQ 32B Preview的录屏,为了保障模型输出质量,使用的是 8bit 量化模型,受限于设备带宽和算力,5 token/s。

或许,如果实在不想用API,还是老老实实蹲下新 ultra 或者买新卡更实在呐…

千问团队这波应该是来卖苹果(mac studio)的。

转一个海外创业者(joel)去年年底用4台mac mini集群跑 QwQ 32B Preview的录屏,为了保障模型输出质量,使用的是 8bit 量化模型,受限于设备带宽和算力,5 token...

2025-03-06 13:10:19

转一个海外创业者(joel)去年年底用4台mac mini集群跑 QwQ 32B Preview的录屏,为了保障模型输出质量,使用的是 8bit 量化模型,受限于设备带宽和算力,5 token/s。

或许,如果实在不想用API,还是老老实实蹲下新 ultra 或者买新卡更实在呐…

千问团队这波应该是来卖苹果(mac studio)的。

收获满满,@张俊林say 老师分享很棒,撑起了这次分享的技术深度。// 这个“毕业快乐”太有梗了,尤其是对我这个渣浪前员工。 北京·新浪总部大厦 [图片][图片][...

2025-03-04 16:21:03

收获满满,@张俊林say 老师分享很棒,撑起了这次分享的技术深度。

// 这个“毕业快乐”太有梗了,尤其是对我这个渣浪前员工。 北京·新浪总部大厦