2025-03-18 22:59:00
#mark
一个非常简单的利用 netcat 就可以免验证上传 code snippet 的工具: https://termbin.com
简单封装了一下
tb () {
if [ $# -eq 0 ]
then
cat | nc termbin.com 9999
else
if [ -f "$1" ]
then
cat "$1" | nc termbin.com 9999
else
echo "$*" | nc termbin.com 9999
fi
fi
}
2025-03-02 17:49:01
vllm 的 cpu offload 参数卸载逻辑代码简析
via Blog
Telegraph
vllm 的 cpu offload 参数卸载逻辑代码简析最近在看 vllm 的代码，cpu offloading 这部分它的实现还是比较简单的，这里简单记录一下。 由于大模型的参数量实在很大，所以如果想在单机上运行一般都需要跑量化蒸馏后的模型，但是有时又不想牺牲模型质量，于是CPU/SSD 卸载成为一种折衷方案，通过增加推理时间来降低内存需求。 vllm 也实现了一个简单的 cpu offload 的机制，可以通过 --cpu-offload-gb 启用。 官方文档: https://docs.vllm.ai/en/latest/getting_starte…
