2025-03-30 12:05:00
Vibe Coding这个词火了,指挥AI干活的风潮席卷全球。为了验证当下的实际效果,最近正好想把多个模型供应商开放的免费模型放在一起,方便自己使用的同时,也能再降低独立开发者对接大模型API的门槛。
我用的工具:Trae国际版+Cursor(Claude3.5/3.7+DeepSeek-V3-0324)
技术架构:Next.js+Supabase+Vercel
如果你也想体验AI编程,推荐黄叔在WaytoAGI社区发布的Build on Trae系列教程,跟着实操很容易上手~
https://waytoagi.feishu.cn/wiki/O5V5wLC5Jiilpjk9j9RcAuACnZcWaytoAGI
直接进入正题:
AI Tools开放平台
https://platform.aitools.cfd/ (也可点击本文底部[阅读原文]进入)
免注册登录,获取API密钥、接口地址、模型名称后直接使用,兼容OpenAI接口规范
目前支持多个最新主流模型(包括DeepSeek的满血版模型):
以开源模型为主,由OpenRouter、SiliconFlow等模型供应商提供,包括DeepSeek-R1、DeepSeek-V3-0324、Qwen2.5、QwQ、GLM-4-Flash、Gemini2.5Pro、Gemma3等,既有语言模型,也有多模态视觉模型,也有多个支持function call的模型。
以上是给开发者看的,那么普通用户如何使用呢:
1、下载安装CherryStudio:https://www.cherry-ai.com/download
官网如果无法访问,可用夸克网盘下载:https://pan.quark.cn/s/c8533a1ec63e
2、依次点击左下角“设置”图标、左侧“模型服务”菜单、点击“添加”,输入AI Tools
3、到这个页面获取API密钥:https://platform.aitools.cfd/key 粘贴到CherryStudio中
4、然后将这个地址https://platform.aitools.cfd/api 粘贴到“API地址”栏
5、点击添加模型,将以下模型id添加进来,你可以全部添加,也可以选择你想要使用的模型添加即可。
deepseek/deepseek-r1、deepseek/deepseek-v3、deepseek/deepseek-v3-0324、qwen/qwq-32b、google/gemini-2.5-pro-exp、zhipu/glm-4-9b、qwen/qwen2.5-7b、deepseek/deepseek-r1-32b、deepseek/deepseek-r1-70b、google/gemma-3-27b、google/gemini-2.0-flash-exp、qwen/qwen2.5-72b、qwen/qwen2.5-vl-72b、qwen/qwen2.5-vl-32b、zhipu/glm-4-flash、zhipu/glm-4v-flash
粘贴模型ID,下方的两项会自动填写,模型名称用于界面显示,可任意修改。
6、回到CherryStudio的首页,顶部选择好模型,就可以开始使用啦!
2025-03-19 14:25:43
Agent Loop(智能体循环) 是自主智能体(AI Agent)的核心运行机制,通过不断迭代的步骤实现目标导向的任务执行。以下是其核心流程及关键组成部分:
Agent Loop是一个持续循环的过程,通过以下步骤动态调整策略以完成任务:
requests
库访问天气数据,或调用支付系统完成交易。Agent Loop的核心是以目标为导向的动态循环机制,结合LLM的推理能力与工具链的执行能力,在反馈迭代中逐步逼近最终结果。这一模式正在推动AI从“单次响应”向“持续协作”发展,成为下一代智能系统的基础架构之一。
2025-03-06 22:42:00
Manus还在少量邀请测试中,但官方做了会话回放功能,使得更多用户可以看到Manus的工作过程以及产生的交付物。
从几个回放的会话中观察到了目前Manus能够执行的行为,列了一下(括号中为具体操作):
ComputerUse类行为:
状态类行为:
2025-02-16 10:55:51
-运行模型(本地没有会自动pull,模型名称可以带远程仓库路径):ollama run 模型名称
-运行时显示性能数据:ollama run –verbose 模型名称
-拉取模型(比如嵌入模型):ollama pull 模型名称
-查看已安装模型(可看到模型大小和安装时间):ollama list
-删除模型:ollama rm 模型名称
-查看模型运行数据(CPU/GPU占比等):ollama ps
-查看模型配置文件:ollama show 模型名称 –modelfile
-从modelfile创建模型:ollama create 模型名称 -f Modelfile
运行中:
修改模型参数(以设置线程数32为例):/set parameter num_thread 32
修改上下文窗口(以修改为8k为例):/set parameter num_ctx 8192
修改gpu数量(以纯cpu推理为例):/set parameter num_gpu 0
清除上下文:/clear
退出:/bye
帮助:/?
2025-02-12 15:17:45
在深度学习中,稠密架构(Dense Architecture)和稀疏架构(Sparse Architecture)是两种常见的神经网络设计方式,它们的主要区别在于神经元或连接的分布密度。
1. 稠密架构(Dense Architecture)
稠密架构是指每一层的神经元都与前一层的所有神经元连接的网络结构。这种结构在大多数传统的深度学习网络中都很常见,比如经典的全连接神经网络(Fully Connected Networks)和卷积神经网络(CNN)中的某些部分。
• 特点:
• 每个神经元都会与前一层的所有神经元进行连接。
• 网络结构非常密集,参数量通常很大。
• 计算量和存储开销较大,可能导致较长的训练时间和较高的计算资源需求。
• 适用于一些要求高表达能力的任务。
• 优点:
• 高度连接的结构使得网络可以学习非常复杂的模式和特征。
• 对于大多数传统任务,如图像分类、语音识别等表现良好。
• 缺点:
• 参数非常多,容易导致过拟合。
• 高计算和存储需求,尤其是在大型网络中,计算资源开销很大。
2. 稀疏架构(Sparse Architecture)
稀疏架构是指每一层的神经元只与前一层中的部分神经元连接,而不是与每个神经元都连接。这样做的目的是减少计算和存储成本,提高效率。
• 特点:
• 只有一部分连接被保留,而其他连接被去除,从而减少了网络中的参数数量。
• 稀疏连接的选择可以是手动设计的,也可以通过一些算法自动选择,比如基于稀疏性的正则化方法。
• 通常采用稀疏矩阵表示,以节省内存和计算资源。
• 优点:
• 更少的参数,使得网络计算和存储更加高效。
• 可能有助于提高泛化能力,减少过拟合。
• 可以应用于一些资源受限的环境,比如嵌入式系统和边缘计算设备。
• 缺点:
• 由于不是每个神经元都参与计算,可能会限制模型的表达能力,导致性能下降。
• 稀疏结构设计较复杂,可能需要特定的优化方法来训练。
稠密与稀疏架构的对比
特性 | 稠密架构 (Dense) | 稀疏架构 (Sparse) |
---|---|---|
连接方式 | 每个神经元与前一层所有神经元连接 | 仅部分连接 |
参数数量 | 较多 | 较少 |
计算和存储开销 | 高 | 低 |
训练效率 | 需要更多计算资源 | 计算资源消耗较低 |
表现能力 | 高 | 可能略低(取决于稀疏程度) |
过拟合风险 | 较高 | 较低 |
适用场景 | 传统大规模深度学习任务 | 资源受限场景,如边缘计算、嵌入式 |
稀疏架构的应用
在一些前沿的研究中,稀疏架构已被广泛应用,例如神经网络剪枝(Pruning)技术,它通过去除一些不必要的连接(或者低权重的连接)来实现稀疏化。此外,一些更先进的模型,如稀疏变换器(Sparse Transformer)等,也采用了稀疏连接来提高计算效率,尤其是在处理大规模数据时。
总之,稠密和稀疏架构各有优缺点,通常会根据具体应用需求来选择合适的架构。在某些情况下,可能会结合这两者的优势,使用混合架构(如稠密-稀疏混合网络)来获得更好的效果。
2025-02-08 23:55:09
从ChatGPT上线开始,我就有了一个想法,打造一个个人知识库,它可以充当我的第二大脑,记住我的尽量多的信息(包括隐私信息)。
无论是我每天的琐碎事务,还是重要的决策和回忆,它都能存储并快速检索。当我问它“我去年5月做了什么?”时,它不仅能够从知识库中找到当时的记录,还能结合上下文和细节,帮助我回忆起那些可能遗忘的瞬间。
但要实现这个想法,用在线服务肯定是不行的,我需要它完全本机运行。现在,有了可完全本机部署的deepseek-r1和bge-m3,加上界面优雅的Cherry Studio,是时候实现它了。
注意1:以下步骤在苹果M系列芯片,16G内存的MacBook Pro上实现。由于Mac拥有统一内存和显存,类似配置的PC除了16G及以上的内存外,还需要有额外的显存分配才能正常运行。
注意2:先不要吐槽非满血版deepseek-r1的模型效果,可以先学会怎么本机部署,往后开源的模型会越来越好的(一年前谁能想到现在端侧大模型效果这么好了呢)。
直接开始:
1、下载安装ollama:https://ollama.com/download
按自己的电脑系统选择即可,安装后,双击启动。
2、下载DeepSeek-R1:14b模型(9GB)
这里我选择了我的设备能运行的最大尺寸的模型,14b参数的这个。打开终端,输入命令:
ollama run deepseek-r1:14b
回车之后,模型就开始下载啦,确保电脑硬盘还有足够的剩余空间(下图示意是7b参数的版本,共4.7GB)
等待模型下载完成后,当你看到 >>> 提示符,这时已经可以跟模型聊天啦,让我们来试试:
到这里,如果你不需要知识库,你已经完成了deepseek-r1模型的本地部署,是不是很简单?只是这个聊天界面在命令行中,也无法保存跟deepseek的聊天记录。
更多尺寸的模型下载命令可以在这里找到:https://ollama.com/library/deepseek-r1
也可以在顶部Models菜单中找到其他的开源模型,比如阿里的通义千问qwen2.5、智谱的GLM-4、Meta的Llama3.2等等,有兴趣都可以试试,支持多个模型同时安装。
查看已安装模型的命令:ollama list
删除已安装模型的命令(rm后是要删除的模型名称):ollama rm deepseek-r1:14b
3、下载embedding模型 bge-m3(1.2GB)
打开终端,输入命令:ollama pull bge-m3
等待下载完毕,看到success,关闭终端就行了。embedding嵌入模型的作用是把知识库里的文档内容转化为便于搜索的向量,这里只需要理解它是用来处理知识库文档数据的即可。
4、安装Cherry Studio
访问:https://cherry-ai.com,根据电脑系统选择相应版本下载安装
Cherry Studio是一款支持本地知识库的AI客户端,其实同类产品还有很多,比如Chatbox(有联网搜索和手机端)、PageAssist(浏览器插件)、Enchanted(简洁轻量)、OpenWebUI(可供局域网内多人访问)等等,有兴趣的同学可以挨个体验下。
到这里我们需要下载和安装的东西都完成了,接下来断网也可以使用。
5、配置模型提供商:Ollama,添加LLM语言模型和embedding嵌入模型
启动Cherry Studio,依次点击左下角设置-模型服务-Ollama,开启Ollama,API地址保持默认,点击管理按钮,可以看到会自动读取到我们刚才下载的deepseek-r1:14b和bge-m3[嵌入] 两个模型,点击添加。
这样我们就把Ollama下载的两个模型配置到Cherry Studio中了。
拓展阅读:在模型服务的设置这里,可以看到Cherry Studio已经支持的模型提供商,推荐大家还可以添加一个部署在siliconflow硅基流动的DeepSeek-R1满血版,但与这个模型产生的交互都需要连接网络,你的问题会被发送到siliconflow硅基流动的服务器,使用满血版会按实际用量计费,你可以根据自己的实际情况选择是否使用。配置时需要用到的api密钥,可通过这个链接https://cloud.siliconflow.cn/i/r2Z3LRPQ注册获取,现在新注册会有免费额度赠送。
6、创建知识库,导入本地文档
点击Cherry Studio左侧的知识库按钮,再点击“添加”,给知识库取个名字,嵌入模型选择我们刚才下载的bge-m3,点击确定后,即可创建出一个知识库。
这时可以添加文件或者直接拖拽文件到知识库里,支持pdf、docx、pptx、txt等格式,把个人简历、日记、工作文档、甚至微信聊天记录(前提是手动导成文本)放进来都可以。
我们先加一两个文档试试,可以看到加入后,每个文档都会经过嵌入模型的处理,有个蓝色小点loading过程,如果看到绿色小勾,就代表这个文档可以被deepseek检索到了。
此时,DeepSeek就学习了你上传的文档。这是一种被称为RAG的技术,AI收到你的问题后,会先到知识库里找出最相关的几个片段,然后结合它自有的知识,组织一段新的表述回复给你。这样就能把AI大模型原本训练时没有的知识(比如关于你个人的信息)告诉它。
好啦,现在你电脑上的DeepSeek-R1就拥有了知晓你私人文档的知识库:回到聊天界面,顶部选择deepseek-r1:14b|Ollama这个模型,输入框下方知识库按钮选中刚才创建的知识库,现在试试询问一个DeepSeek本身不知道的问题——
大功告成,我也要再去丰富一下我的个人知识库了
更多AI动态,欢迎关注公众号:未来科技