MoreRSS

site iconJerryLee | 遨游修改

1989 年天蝎座。UESTC 软件工程。成都人在上海。前腾讯人。
请复制 RSS 到你的阅读器,或快速订阅到 :

Inoreader Feedly Follow Feedbin Local Reader

JerryLee | 遨游的 RSS 预览

AI普惠!我用AI写了个免费提供大模型API的开放平台

2025-03-30 12:05:00

Vibe Coding这个词火了,指挥AI干活的风潮席卷全球。为了验证当下的实际效果,最近正好想把多个模型供应商开放的免费模型放在一起,方便自己使用的同时,也能再降低独立开发者对接大模型API的门槛。

我用的工具:Trae国际版+Cursor(Claude3.5/3.7+DeepSeek-V3-0324)

技术架构:Next.js+Supabase+Vercel

如果你也想体验AI编程,推荐黄叔在WaytoAGI社区发布的Build on Trae系列教程,跟着实操很容易上手~

https://waytoagi.feishu.cn/wiki/O5V5wLC5Jiilpjk9j9RcAuACnZcWaytoAGI

直接进入正题:

AI Tools开放平台

https://platform.aitools.cfd/ (也可点击本文底部[阅读原文]进入)

免注册登录,获取API密钥、接口地址、模型名称后直接使用,兼容OpenAI接口规范

目前支持多个最新主流模型(包括DeepSeek的满血版模型):

以开源模型为主,由OpenRouter、SiliconFlow等模型供应商提供,包括DeepSeek-R1、DeepSeek-V3-0324、Qwen2.5、QwQ、GLM-4-Flash、Gemini2.5Pro、Gemma3等,既有语言模型,也有多模态视觉模型,也有多个支持function call的模型。

以上是给开发者看的,那么普通用户如何使用呢:

1、下载安装CherryStudio:https://www.cherry-ai.com/download

官网如果无法访问,可用夸克网盘下载:https://pan.quark.cn/s/c8533a1ec63e

2、依次点击左下角“设置”图标、左侧“模型服务”菜单、点击“添加”,输入AI Tools

3、到这个页面获取API密钥:https://platform.aitools.cfd/key 粘贴到CherryStudio中

4、然后将这个地址https://platform.aitools.cfd/api 粘贴到“API地址”栏

5、点击添加模型,将以下模型id添加进来,你可以全部添加,也可以选择你想要使用的模型添加即可。

deepseek/deepseek-r1、deepseek/deepseek-v3、deepseek/deepseek-v3-0324、qwen/qwq-32b、google/gemini-2.5-pro-exp、zhipu/glm-4-9b、qwen/qwen2.5-7b、deepseek/deepseek-r1-32b、deepseek/deepseek-r1-70b、google/gemma-3-27b、google/gemini-2.0-flash-exp、qwen/qwen2.5-72b、qwen/qwen2.5-vl-72b、qwen/qwen2.5-vl-32b、zhipu/glm-4-flash、zhipu/glm-4v-flash

粘贴模型ID,下方的两项会自动填写,模型名称用于界面显示,可任意修改。

6、回到CherryStudio的首页,顶部选择好模型,就可以开始使用啦!

什么是Agent Loop

2025-03-19 14:25:43

Agent Loop(智能体循环) 是自主智能体(AI Agent)的核心运行机制,通过不断迭代的步骤实现目标导向的任务执行。以下是其核心流程及关键组成部分:

1. 核心原理:闭环反馈驱动

Agent Loop是一个持续循环的过程,通过以下步骤动态调整策略以完成任务:

  • 输入解析:理解用户指令或环境状态。
  • 规划与决策:生成行动计划(如分解子任务、选择工具)。
  • 执行操作:调用工具(如API、代码、外部服务等)获取结果。
  • 反馈学习:根据执行结果调整策略,优化后续步骤。

2. 典型流程分步

(1) 目标解析(Goal Parsing)

  • 任务分解:将用户指令拆解为可执行的子目标。
    示例:若用户说“预订从北京到纽约的机票”,Agent会将其分解为查询航班时间、比较价格、确认座位等步骤。
  • 意图识别:通过自然语言处理(NLP)确定用户的深层需求。

(2) 规划与任务分配(Planning & Task Allocation)

  • 生成行动计划:利用LLM(如GPT)或规则引擎制定分步策略。
    示例:使用Python代码调用航班API,或通过对话询问用户偏好。
  • 工具选择:根据任务需求选择合适的工具(如搜索引擎、数据库接口、第三方服务等)。

(3) 执行与操作(Execution & Action)

  • 工具调用:直接执行代码、调用API或触发外部动作。
    示例:通过OpenAI的requests库访问天气数据,或调用支付系统完成交易。
  • 结果收集:获取执行后的反馈信息(如成功/失败状态、返回的数据)。

(4) 反馈与调整(Feedback & Adaptation)

  • 评估结果:判断当前步骤是否达成目标。
    示例:若航班查询无结果,可能需要调整搜索条件或重新询问用户。
  • 记忆更新:通过记忆模块(Memory)存储上下文信息,确保后续步骤的连贯性。

(5) 输出与终止

  • 最终输出:向用户提供任务完成的结果或下一步建议。
    示例:“已为您预订航班CX8401,起飞时间为2月15日18:30。”
  • 循环终止条件:当目标达成、超时或用户中断时停止循环。

3. 关键技术支撑

(1) 大语言模型(LLM)

  • 作为Agent的“大脑”,负责意图理解、规划生成和自然语言交互。
    示例:使用Claude-3.5-Sonnet模型解析指令并生成代码片段。

(2) 工具调用链(Tool Chains)

  • 集成多种工具实现具体任务,如:
    • 数据查询(数据库API)
    • 文件操作(读写本地文件)
    • 浏览器使用(访问互联网内容)
    • 编辑器使用(Coding)
    • 外部服务(支付、物流系统)

(3) 记忆模块(Memory)

  • 存储历史对话和中间结果,确保长期上下文一致性。
    示例:在多轮对话中记住用户的偏好(如“我只坐商务舱”)。

4. 典型应用场景

  1. 自动化任务:如数据抓取、邮件分类、订单处理。
  2. 复杂决策支持:金融分析、医疗诊断建议。
  3. 虚拟助手:智能客服、个人日程管理。
  4. 游戏AI:自主角色行为规划(如《星际争霸》中的AI对手)。

5. 与传统流程的区别

  • 动态适应性:不同于固定流程的“Workflow”,Agent Loop可实时调整策略。
  • 目标导向:始终围绕用户指令优化路径,而非按预设步骤执行。
  • 自主决策:通过LLM和工具链实现端到端自动化。

Agent Loop的核心是以目标为导向的动态循环机制,结合LLM的推理能力与工具链的执行能力,在反馈迭代中逐步逼近最终结果。这一模式正在推动AI从“单次响应”向“持续协作”发展,成为下一代智能系统的基础架构之一。

Manus行为观察

2025-03-06 22:42:00

Manus还在少量邀请测试中,但官方做了会话回放功能,使得更多用户可以看到Manus的工作过程以及产生的交付物。

从几个回放的会话中观察到了目前Manus能够执行的行为,列了一下(括号中为具体操作):

ComputerUse类行为:

  • 使用终端(执行命令)
  • 使用编辑器(创建文件、编辑文件、读取文件、处理编辑器错误)
  • 使用搜索(搜索)
  • 使用浏览器(浏览、向下滚动、滚动到底部、点击元素、按键、处理浏览器错误)(我很好奇浏览器的UA是什么)

状态类行为:

  • 初始化沙盒
  • 建议的知识
  • 连接数据源(Get stock profile、Get stock insights、Get stock SEC filing、Get what analysts are saying of a stock、Get company’s LinkedIn details、Search Twitter、Get Twitter profile by username、Get user tweets)(大多为外部api,返回json文件)
  • 将应用部署到公网

ollama常用命令

2025-02-16 10:55:51

-运行模型(本地没有会自动pull,模型名称可以带远程仓库路径):ollama run 模型名称

-运行时显示性能数据:ollama run –verbose 模型名称

-拉取模型(比如嵌入模型):ollama pull 模型名称

-查看已安装模型(可看到模型大小和安装时间):ollama list

-删除模型:ollama rm 模型名称

-查看模型运行数据(CPU/GPU占比等):ollama ps

-查看模型配置文件:ollama show 模型名称 –modelfile

-从modelfile创建模型:ollama create 模型名称 -f Modelfile

运行中:

修改模型参数(以设置线程数32为例):/set parameter num_thread 32

修改上下文窗口(以修改为8k为例):/set parameter num_ctx 8192

修改gpu数量(以纯cpu推理为例):/set parameter num_gpu 0

清除上下文:/clear

退出:/bye

帮助:/?

深度学习中的稠密架构与稀疏架构

2025-02-12 15:17:45

在深度学习中,稠密架构(Dense Architecture)和稀疏架构(Sparse Architecture)是两种常见的神经网络设计方式,它们的主要区别在于神经元或连接的分布密度。

1. 稠密架构(Dense Architecture)

稠密架构是指每一层的神经元都与前一层的所有神经元连接的网络结构。这种结构在大多数传统的深度学习网络中都很常见,比如经典的全连接神经网络(Fully Connected Networks)和卷积神经网络(CNN)中的某些部分。

特点

• 每个神经元都会与前一层的所有神经元进行连接。

• 网络结构非常密集,参数量通常很大。

• 计算量和存储开销较大,可能导致较长的训练时间和较高的计算资源需求。

• 适用于一些要求高表达能力的任务。

优点

• 高度连接的结构使得网络可以学习非常复杂的模式和特征。

• 对于大多数传统任务,如图像分类、语音识别等表现良好。

缺点

• 参数非常多,容易导致过拟合。

• 高计算和存储需求,尤其是在大型网络中,计算资源开销很大。

2. 稀疏架构(Sparse Architecture)

稀疏架构是指每一层的神经元只与前一层中的部分神经元连接,而不是与每个神经元都连接。这样做的目的是减少计算和存储成本,提高效率。

特点

• 只有一部分连接被保留,而其他连接被去除,从而减少了网络中的参数数量。

• 稀疏连接的选择可以是手动设计的,也可以通过一些算法自动选择,比如基于稀疏性的正则化方法。

• 通常采用稀疏矩阵表示,以节省内存和计算资源。

优点

• 更少的参数,使得网络计算和存储更加高效。

• 可能有助于提高泛化能力,减少过拟合。

• 可以应用于一些资源受限的环境,比如嵌入式系统和边缘计算设备。

缺点

• 由于不是每个神经元都参与计算,可能会限制模型的表达能力,导致性能下降。

• 稀疏结构设计较复杂,可能需要特定的优化方法来训练。

稠密与稀疏架构的对比

特性 稠密架构 (Dense) 稀疏架构 (Sparse)
连接方式 每个神经元与前一层所有神经元连接 仅部分连接
参数数量 较多 较少
计算和存储开销
训练效率 需要更多计算资源 计算资源消耗较低
表现能力 可能略低(取决于稀疏程度)
过拟合风险 较高 较低
适用场景 传统大规模深度学习任务 资源受限场景,如边缘计算、嵌入式

稀疏架构的应用

在一些前沿的研究中,稀疏架构已被广泛应用,例如神经网络剪枝(Pruning)技术,它通过去除一些不必要的连接(或者低权重的连接)来实现稀疏化。此外,一些更先进的模型,如稀疏变换器(Sparse Transformer)等,也采用了稀疏连接来提高计算效率,尤其是在处理大规模数据时。

总之,稠密和稀疏架构各有优缺点,通常会根据具体应用需求来选择合适的架构。在某些情况下,可能会结合这两者的优势,使用混合架构(如稠密-稀疏混合网络)来获得更好的效果。

【教程】基于DeepSeek-R1的个人AI知识库,全本地部署,可断网使用

2025-02-08 23:55:09

从ChatGPT上线开始,我就有了一个想法,打造一个个人知识库,它可以充当我的第二大脑,记住我的尽量多的信息(包括隐私信息)。

无论是我每天的琐碎事务,还是重要的决策和回忆,它都能存储并快速检索。当我问它“我去年5月做了什么?”时,它不仅能够从知识库中找到当时的记录,还能结合上下文和细节,帮助我回忆起那些可能遗忘的瞬间。

但要实现这个想法,用在线服务肯定是不行的,我需要它完全本机运行。现在,有了可完全本机部署的deepseek-r1和bge-m3,加上界面优雅的Cherry Studio,是时候实现它了。

注意1:以下步骤在苹果M系列芯片,16G内存的MacBook Pro上实现。由于Mac拥有统一内存和显存,类似配置的PC除了16G及以上的内存外,还需要有额外的显存分配才能正常运行。

注意2:先不要吐槽非满血版deepseek-r1的模型效果,可以先学会怎么本机部署,往后开源的模型会越来越好的(一年前谁能想到现在端侧大模型效果这么好了呢)。


直接开始:
1、下载安装ollama:https://ollama.com/download

按自己的电脑系统选择即可,安装后,双击启动。

2、下载DeepSeek-R1:14b模型(9GB)

这里我选择了我的设备能运行的最大尺寸的模型,14b参数的这个。打开终端,输入命令:

ollama run deepseek-r1:14b
回车之后,模型就开始下载啦,确保电脑硬盘还有足够的剩余空间(下图示意是7b参数的版本,共4.7GB)

等待模型下载完成后,当你看到 >>> 提示符,这时已经可以跟模型聊天啦,让我们来试试:

到这里,如果你不需要知识库,你已经完成了deepseek-r1模型的本地部署,是不是很简单?只是这个聊天界面在命令行中,也无法保存跟deepseek的聊天记录。

更多尺寸的模型下载命令可以在这里找到:https://ollama.com/library/deepseek-r1

也可以在顶部Models菜单中找到其他的开源模型,比如阿里的通义千问qwen2.5、智谱的GLM-4、Meta的Llama3.2等等,有兴趣都可以试试,支持多个模型同时安装。

查看已安装模型的命令:ollama list

​删除已安装模型的命令(rm后是要删除的模型名称):ollama rm deepseek-r1:14b

3、下载embedding模型 bge-m3(1.2GB)

打开终端,输入命令:ollama pull bge-m3

等待下载完毕,看到success,关闭终端就行了。embedding嵌入模型的作用是把知识库里的文档内容转化为便于搜索的向量,这里只需要理解它是用来处理知识库文档数据的即可。

4、安装Cherry Studio

访问:https://cherry-ai.com,根据电脑系统选择相应版本下载安装

Cherry Studio是一款支持本地知识库的AI客户端,其实同类产品还有很多,比如Chatbox(有联网搜索和手机端)、PageAssist(浏览器插件)、Enchanted(简洁轻量)、OpenWebUI(可供局域网内多人访问)等等,有兴趣的同学可以挨个体验下。

到这里我们需要下载和安装的东西都完成了,接下来断网也可以使用。

5、配置模型提供商:Ollama,添加LLM语言模型和embedding嵌入模型

启动Cherry Studio,依次点击左下角设置-模型服务-Ollama,开启Ollama,API地址保持默认,点击管理按钮,可以看到会自动读取到我们刚才下载的deepseek-r1:14b和bge-m3[嵌入] 两个模型,点击添加。

这样我们就把Ollama下载的两个模型配置到Cherry Studio中了。

拓展阅读:在模型服务的设置这里,可以看到Cherry Studio已经支持的模型提供商,推荐大家还可以添加一个部署在siliconflow硅基流动的DeepSeek-R1满血版,但与这个模型产生的交互都需要连接网络,你的问题会被发送到siliconflow硅基流动的服务器,使用满血版会按实际用量计费,你可以根据自己的实际情况选择是否使用。配置时需要用到的api密钥,可通过这个链接https://cloud.siliconflow.cn/i/r2Z3LRPQ注册获取,现在新注册会有免费额度赠送。

6、创建知识库,导入本地文档

点击Cherry Studio左侧的知识库按钮,再点击“添加”,给知识库取个名字,嵌入模型选择我们刚才下载的bge-m3,点击确定后,即可创建出一个知识库。

这时可以添加文件或者直接拖拽文件到知识库里,支持pdf、docx、pptx、txt等格式,把个人简历、日记、工作文档、甚至微信聊天记录(前提是手动导成文本)放进来都可以。

我们先加一两个文档试试,可以看到加入后,每个文档都会经过嵌入模型的处理,有个蓝色小点loading过程,如果看到绿色小勾,就代表这个文档可以被deepseek检索到了。

此时,DeepSeek就学习了你上传的文档。这是一种被称为RAG的技术,AI收到你的问题后,会先到知识库里找出最相关的几个片段,然后结合它自有的知识,组织一段新的表述回复给你。这样就能把AI大模型原本训练时没有的知识(比如关于你个人的信息)告诉它。

好啦,现在你电脑上的DeepSeek-R1就拥有了知晓你私人文档的知识库:回到聊天界面,顶部选择deepseek-r1:14b|Ollama这个模型,输入框下方知识库按钮选中刚才创建的知识库,现在试试询问一个DeepSeek本身不知道的问题——

大功告成,我也要再去丰富一下我的个人知识库了

更多AI动态,欢迎关注公众号:未来科技