2025-02-13 13:31:00
DeepSeek是一家专注通用人工智能（AGI）的中国科技公司，主攻大模型研发与应用。DeepSeek-R1是其开源的推理模型，擅长处理复杂任务且可免费商用。使用 DeepSeek 的方式有几种：直接访问官网 https://chat.deepseek.com/、下载 App 或者通过本地的客户端来使用。
使用本地的客户端能更方便的留存和管理聊天记录，同时因为使用 API 的方式还能灵活的接入不同提供方的模型，进行比较和能力综合。不要听到 API 就犯怵，其实大部分客户端都预置好了选项，只需要简单的填写从厂商哪里申请到的 API Key 就可以简单的配置好。
Chatbox （https://chatboxai.app）是一个支持多种流行LLM模型的桌面客户端，可在 Windows、Mac 和 Linux 上使用。Mac 用户推荐 https://chatwise.app/。
如果已经申请了 DeepSeek 或者 OpenAI 的 API key，直接在设置中选择模型提供方然后填写 API key 即可。如下图所示：
由于 DeepSeek 的热度持续上升，DeepSeek 暂停了 API 充值，而且官网和 APP 也因为涌入的流量过大经常停摆，因为 DeepSeek 是开源的大模型，所以很多第三方也同样部署了 DeepSeek 服务，例如 阿里云、硅基流动（SiliconFlow）等，将 API 换成这些公司的就能另辟蹊径享受快速的使用体验。
例如：有阿里云账户的同学可以激活开通阿里云百炼平台。使用阿里云百炼部署的 DeepSeek 671B 满血版模型，然后按照下面图示的方式配置即可使用。硅基流动的配置类似，区别只是 API 域名不同。
Chatbox 设置中 API 模式选择“添加自定义提供方”，添加阿里云版的 DeepSeek-V3
添加阿里云版的 DeepSeek-R1，其他都一样模型名称修改一下。
DeepSeek-R1 在后训练阶段大规模使用了强化学习技术，在仅有极少标注数据的情况下，极大提升了模型推理能力。在数学、代码、自然语言推理等任务上，性能较高，能力较强。
DeepSeek-V3 为 MoE 模型，671B 参数，激活 37B，在 14.8T token 上进行了预训练，在长文本、代码、数学、百科、中文 能力上表现优秀。
配置参数
模型名称
deepseek-r1
deepseek-v3
最好的 AI 是将它应用到自己的工作和生活中。写程序，测试，市场文案，智能客服，甚至招投标等工作，都可以尝试如何利用AI大模型，行动起来 ；）
2024-06-06 15:18:00
Surge Ponte（Surge Ponte 是一种在运行 Surge Mac 和 iOS 设备之间的私有 mesh 网络。 --Surge Ponte 指引） 功能对于很多 Surge 用户来说并不陌生，但是用起来的并不多。通常只是被用来远程控制另一台设备的规则和查看请求。实际上利用 Surge 构建的这个私有网络，你的 Macbook、Mac mini、iPhone、iPad 都是可以互相安全的访问的。
用 Surge 的 Ponte 完全可以替代 Zerotier、Tailscale，远程访问时服务器地址输入 macbookpro.sgponte 这样的地址就行。多台 Mac 之间远程访问可以说是最简单的方案之一，用系统内置的「屏幕共享」就能轻松的访问另一台电脑。
访问电脑上的 Ollama 原理一样，只需要增加一个 Ollama 环境变量 ，将 Ollama 服务暴露给网络即可，Ollama 的本地部署这里就不赘述了。运行下面的命令，对照修改服务器地址，就可以利用 Surge Ponte 构建的私网，让 iPad 和 iPhone 轻松访问 Ollama。
launchctl setenv OLLAMA_HOST "0.0.0.0"，然后重新加载 Ollama；
http://macbookpro.sgponte:11434
只要这台设备在线，你就能在其他安装了 Surge 的设备上访问你自己的本地语言模型。
每次升级 Ollama 或重启电脑后，远程访问会失败，因为需要重新运行命令打开 Ollama Host 模式，可以用 Raycast 来偷懒，用 Raycast 运行 launchctl setenv OLLAMA_HOST "0.0.0.0" 并重新加载 Ollama，按照以下步骤进行设置：
编写脚本命令：
创建一个新的脚本命令文件，内容如下：
#!/bin/bash
# 设置 OLLAMA_HOST 环境变量
launchctl setenv OLLAMA_HOST "0.0.0.0"
# 使用 osascript 退出 Ollama 应用
osascript -e 'tell application "Ollama" to quit'
# 等待应用彻底退出
sleep 2
# 启动 Ollama 应用
open -a "/Applications/Ollama.app"
echo "OLLAMA_HOST 已设置，Ollama 已重新加载。"
这样，你就可以通过 Raycast 方便地执行设置环境变量并重新加载 Ollama 的操作。这个自动化流程会提高操作效率，减少手动步骤。
2024-03-30 10:44:00
从 Chrome 迁移到 Arc，使用习惯上有不少变化，高频的日常操作行为主要集中在：书签、标签、扩展和搜索这几方面。
换到 Arc 以后书签的使用习惯变化了一下：按分区把原来的书签拆分，文件夹放在最上面（保留2-4个），常用的移出来 Focus，今天访问的默认在当前 Space，打开很多以后点击🧹自动分类整理。关闭浏览器前评估有保存必要的按 ⌘D（Pin） 固定下来或者点 Clear 归档（默认12小时自动归档）。
快速的定位到已经打开的标签页，除了通过左侧的边栏定位之外，更有效的方式是快捷键操作。
关闭当前标签页 command + W
后悔关错了标签页，重新打开刚关的标签页 command + Shift + T
命令模式，command + T 窗口出来后，按 Tab 键激活常用操作，可以快速打开扩展，或者执行操作项，例如：显示边栏、分屏，这样就不用刻意的记忆快捷键。
以快捷键的方式 command + E 打开扩展选项，保持 command 按住不放，再次点击 E 键在多个扩展之间切换，停留在那个图标上松开手就是激活这个扩展。
还有一种方式就是把工具栏长期显示出来，菜单栏操作 View - Show Toolkar。
command + T 窗口类似于 Raycast 和 Spotlight 的操作逻辑，能记住最近访问的信息，并能从已有的书签中匹配内容，甚至菜单操作。
Arc 比较独特搜索用法，command + T 窗口，输入关键词，再按Tab键。搜索特定网站的内容，例如 YouTube、GitHub 等。
command + T 和 command + L都可以打开搜索框，不同的是前者是新建，后者是替换当前页内容。PS：当前页刷新出来的新页面可以通过双指滑动回退。
当前页面的网址复制，直观的操作方式是通过工具栏点击（菜单栏操作 View - Show Toolkar），也可以记住快捷键 shift + command + C，或者更进一步记住 ⌥⌘⇧C 以 Markdown 格式拷贝网址，这个操作对于 md 编辑器很贴心。
分屏快捷键，按住 option 点击其他标签页或者链接可以快速split
2024-03-25 09:53:00
Cloudflare 是一个 CDN 服务商，利用他们提供的 Worker 服务（免费版有一些限制，比如每天只能访问 100,000 次，对于个人用户来说是足够的），可以很简单的实现请求转发。 为了解决国内的访问问题，已经陆续在 Cloudflare Workers 里为 OpenAI、Azure、Gemini 搭建了代理。
Cloudflare Workers 中点击创建应用程序
创建 Worker
命名并部署
编辑代码
修改 worker.js 中的内容，复制粘贴如下代码，保存并部署，Done。
export default {
async fetch(request, env, ctx) {
const url = new URL(request.url)
url.host = 'generativelanguage.googleapis.com'
return fetch(new Request(url, request))
},
}
最后，到 Workers 当前应用的设置（Settings）中增加一个 Custom Domains，填写自己的域名。
到域名 DNS 中做好 CNAME 的指向即可。
上面的操作完成，以后使用就能直接用自己的域名代替官方的域名进行请求，例如：沉浸式翻译、Chatbox 等，只要支持 API 自定义就 OK。
；）
2024-03-22 17:00:00
ChatGPT 火热起来以后，陆陆续续使用了不少和 GPT 有关的浏览器扩展，功能定位上主要围绕着几个方面：翻译、内容总结、提问和搜索等等。这些浏览器扩展，可以让用户更好地利用 ChatGPT 和 GPT 等语言模型的能力，提高工作和学习的效率。
经过一段时间的使用，结合应用场景的流畅性，沉淀下来几个值得推荐和分享的扩展：Cubox、沉浸式翻译、Perplexity、Elmo，以及无需固定在顶栏的 Raycast Companion。
1、Cubox，网页收藏，cubox.pro
Cubox 的作用主要是收藏网页稍后阅读，主要特色包括：收藏、阅读、标注、管理功能，支持共享菜单、小组件等。App 覆盖 Mac、iOS、Android、浏览器扩展，收集渠道支持微信、邮件，AI 能力体现在自动总结、自动解读关键问题、自动标注、问答和分析，还可以快速处理或筛选值得阅读的文章。
Cubox Pro 会员还可以使用邮件收藏，生成一个自己的专有邮箱，就能用来订阅网站或博客的内容更新，直接收藏到 Cubox 当中。另一个会员功能则是微信公众号的文章收藏，先将微信与 Cubox 账号绑定，微信扫码添加「Cubox 收藏助手」，最后在微信中将内容发送给「Cubox 收藏助手」即可完成收藏。
2、沉浸式翻译，英文网页浏览 沉浸式翻译
AI 驱动的双语网页翻译扩展，支持 Deepl/Google/OpenAI/有道/腾讯翻译等多个翻译服务，支持 Firefox/Chrome/油猴脚本，还可以在 iOS Safari 上使用。使用场景上默认通过快捷键（⌥A）来翻译当前网页，也可以设置按下 Control 键翻译当前鼠标指针所在的段落，或者在设置中添加「总是翻译的网址」自动翻译个别网址。
我的使用习惯是通过 Control 键翻译指定的段落，这样能减少不必要的 token 消耗。沉浸式扩展还有一个很使用的翻译功能，启用「输入框增强」，然后就能在输入框中快速连击 3 次<空格键>，直接翻译整个输入框内容为英语 (English)。
对于已经安装过 Ollama 的用户来说，还可以使用本地的语言模型来无限量的翻译。需要注意的问题是，目前 Ollama 默认允许来自 127.0.0.1 和 0.0.0.0 的跨域请求（CORS），但是应用扩展和 Ollama 之间进行互动需要额外的在命令行先运行一下 launchctl setenv OLLAMA_ORIGINS "*"，再打开 Ollama 的主程序。
其他 OLLAMA 沉浸式扩展中的参数项填写如下图所示：
翻译服务选择 OpenAI，Apikey 填写 ollama，模型填写你已经下载到本地的模型库名称，例如：gemma、qwen:7b 等；API 接口地址填写：http://localhost:11434/v1/chat/completions
3、Perplexity，Perplexity是一个「信息」检索引擎 Perplexity - AI Companion
不同于传统的 Google、百度搜索只是罗列相关的关键词，Perplexity 会通过网络对搜索到的信息进行总结提炼并给出参考内容来源，回答的下方，Perplexity 还预测用户可能会追问的问题。
Perplexity 比搜索引擎额外多做了几件事：搜索前，Perplexity 会通过大模型，重新理解用户提出的问题，然后解析为更清晰的搜索指令，接下来，调用 Google、Bing 等搜索引擎创建相应的索引库，对所有的搜索结果做重新排序。最后，让大模型筛选出优质的内容并输出答案和相关的问题。Perplexity 让搜索结果更接近用户想要的东西，它在原有搜索引擎的基础上加入了大模型的自然语言理解，通过 AI 生成了更丰富的回答和相关内容。
Perplexity 有单独的网站，可以保存对话（需要登录）的记录。另一种方式就是安装 Chrome 扩展，以小窗口的方式查询，后者更灵活。Perplexity 扩展也提供了 Summarize（总结）功能，点击 Summarize 就能快速总结当前网页，如果输出是英文，也能直接输入用“中文对当前网页进行总结”然后重新让它总结一次。
Perplexity 免费就能使用，它利用了来自 OpenAI、Google 和 Anthropic 的 API 模型。免费计划使用的是 OpenAI GPT 3.5 模型，而 Perplexity Pro（每月20美元或每年200美元）则能使用 GPT 4、GPT 4V、Claude 2.1 和 Gemini 模型，Pro 用户能通过 Focus 选项选择特定的数据来源，包括学术写作、Wolfram Alpha、YouTube、Reddit 等，以便获得更专业的回应。
4、Elmo Elmo.Chat
Elmo 是以扩展边栏的方式来总结内容，无需 GPT/OpenAI 账号即可使用。除了总结和翻译这些点，Elmo 还能对当前页面内容进行问答交互, 你可以针对性地提出问题，Elmo 会直接从页面内容中获取答案。插件除了默认语言设置没有其他杂七杂八的东西，简约清新。
底部的输入框中，通过 / 可以切换命令：总结（summarize）、重新措辞（rephrase）、翻译（Translate）。点击橘色的⚡图标，重新生成内容。
最后再来说说 Raycast Companion 扩展，这是 Raycast 最新一次升级带来的网页总结 AI 扩展，安装后通过Raycast 中设置的快捷键来激活。
默认的英文 AI 指令总是输出英文，可以自行通过 Create Al Command 创建一个来代替。
Prompt：Please provide a concise summary in Chinese that covers the main points and information based on the {browser-tab} I provide you.
Raycast 默认使用的模型是 GPT 3.5，GPT 4 需要单独订阅 8 美元/月。实际使用中，Raycast 的不足是总结内容经常会中断，需要以继续对话的方式让它补全。另外，快捷键激活的总结窗口是单独的，失去焦点后会自动消失。 想找回刚才的总结记录，要记住好几个快捷键，多次操作才能打开 chat 历史窗口，有些繁琐和不方便。
Raycast 整合的 AI 功能一直用的不太顺，毕竟它的主要优势是整合调用各种 App 和插件，AI 只是其中的一部分，操作流畅度不太高，既有快捷键操作的递进问题、也有输入法切换的困扰、最主要的还是模型的限制，对 API 用户没那么 Open。
刚好最近关注到 Twitter 出现的一个很有潜力的新应用推广：Haye AI，专为 macOS 设计的文本智能助手，系统级支持多平台同步的 AI 工具，Haye 不仅可以在 Chrome 中运行，还可以在 macOS 上的任何应用程序中运行。预计四月底至五月初发布官方版本，感兴趣的同学可以一起加入等待名单：https://haye.ai/。
2024-02-27 17:31:00
Ollama是一个开源的大型语言模型服务,可以非常方便地部署最新版本的GPT模型并通过接口使用。支持热加载模型文件,无需重新启动即可切换不同的模型。简单来说Ollama是“一个允许你在本地机器上运行开源大型语言模型 (LLM) 的工具”。
Ollama有哪些优势呢？
对设备配置有什么基本要求呢？
一说起大模型大家就想到了 GPU 和超贵的显卡，不过现在已经进化到可以在台式机或者笔记本电脑上本地运行。例如：8 GB 可用 RAM 可用运行 2B（20 亿参数） 的模型，16 GB 来运行 7B（70 亿参数） 型号，32 GB 来运行 13B（130 亿参数） 型号。下载模型文件时你留意一下模型的参数量级。
要在本地跑大语言模型，首先需要安装 Ollama，然后用 Ollama 命令安装模型文件，最后通过命令行或者 Raycast Ollama UI 插件来运行即可。
1、下载安装 https://ollama.com/ 支持 Mac 和 Windows
2、运行 Ollama，它将在后台常驻以便响应你的请求，终端中运行ollama -v判断一下是否安装成功
3、下载模型 ollama pull gemma ollama pull 语句就是下载指定的模型，这里指定下载 gemma 模型文件。具体的模型文件列表可以访问 https://ollama.com/library 查看，模型文件都比较大，建议针对自己的内存大小下载对应的版本
中文语境 gemma 和 llama2-chinese 模型效果都还不错。
模型下载完成后用 ollama list 命令可以查看一下下载好的模型文件。
而且通过命令行的方式 ollama run gemma “问题描述” 已经可以向语音模型提问了，例如：
ollama run gemma "天气预报为什么总是不准？"
当然优雅一点的方式是安装 Chatbox 客户端，Chatbox支持多款全球最先进的AI大模型服务，支持Windows、Mac和Linux。也是目前不多的支持 Ollama 的客户端。配置很简单，只要在设置中选择 AI 模型提供方为 Ollama 即可，默认的 API 域名是本地 http://localhost:11434。
或者安装一个第三方的客户端 Ollamac，如果有安装 Raycast，增加一个Raycast Ollama 插件就能交互，个人觉得插件的方式最方便。
开发人员还可以通过 API 方式来调用，更多 API 参数查阅 GitHub 文档 https://github.com/ollama/ollama/blob/main/docs/api.md
curl http://localhost:11434/api/chat -d '{
"model": "mistral",
"messages": [
{ "role": "user", "content": "why is the sky blue?" }
]
}'最后推荐几个官方模型库里对中文支持相对较好或比较有趣的模型：
PS：如果你有多台电脑，模型文件不用重复下载，直接将 ~/.ollama/models/ 模型文件夹中的所有内容 Copy 到另一台电脑即可。
