2024-12-16 16:16:06
1. 引言
o1 系列模型是 OpenAI 通过强化学习（RLHF）训练的高级语言模型。其核心特性之一是链式推理（Chain of Thought, CoT），这使得模型能够在回答问题前进行逻辑推理，从而提升其在复杂任务中的表现。
• 主要功能：
• 提升模型的推理能力。
• 改进模型在安全性政策和内容生成规避中的表现。
• 达到行业内针对不当内容生成、偏见选择和越狱攻击防御的最新技术标准。
• 潜在风险：
• 更高的智能可能引发滥用风险，例如欺骗性使用和危险的应用场景。
文档明确了o1及其轻量化版本o1-mini的设计目标：在提高功能性的同时，确保安全性和合规性。
2. 模型数据与训练
o1 系列模型通过强化学习进行训练，专注于复杂推理任务。其训练数据来源包括公开数据、专有数据以及内部开发的数据集，这些数据经过严格筛选以确保质量和安全性。模型在应对不安全请求时表现更好，能更有效地拒绝生成敏感或不当内容。
2.1 数据来源
模型的训练数据包括：
1. 公开数据：涵盖广泛的网络数据、开源数据集以及科学文献，保证模型在一般知识和技术主题上的表现。
2. 专有数据：通过合作伙伴关系获取的高价值数据集，包括付费内容和领域特定知识。
3. 内部数据集：由OpenAI团队专门设计，用于满足模型推理和安全性需求。
2.2 数据处理
为了确保数据的安全性和质量：
• 数据过滤：使用高级算法过滤个人信息和潜在有害内容。
• 内容审查：通过Moderation API和安全分类器，屏蔽不适宜的材料，如CSAM（儿童性剥削材料）。
2.3 训练特点
o1 系列的训练过程中引入了强化学习，重点在于：
• 多步推理：训练模型在回答问题前进行多层次的逻辑思考。
• 错误纠正：让模型通过反馈机制改进自身推理。
• 政策一致性：强化模型对OpenAI安全政策的遵循能力。
3. 安全挑战与评估
3.1 安全评估
3.1.1 不允许内容的生成
模型在多个测试场景下被评估是否能正确拒绝生成有害内容：
• 标准拒绝评估：表现接近完美，能准确拒绝用户的不适当请求。
• 边缘案例测试：在避免过度拒绝（例如，误解良性请求）方面也有显著提升。
3.1.2 越狱攻击评估
模型在面对已知的越狱攻击（例如，诱导模型生成违规内容）时表现出更强的抵抗力：
• 生产环境越狱攻击：对现有最难破解的攻击方式表现良好。
• 学术越狱基准（如 StrongReject）：比前代模型更擅长抵御复杂攻击。
3.1.3 虚假生成
通过内部测试，o1 系列在准确拒绝用户请求的同时，减少了生成虚假或编造的答案。
3.1.4 偏见与公平性
• 在 BBQ 测试中，o1 模型在处理种族、性别和年龄等敏感属性时表现出更高的公平性。
• 在多义问题上，模型的判断更加准确，减少了选择带有偏见答案的可能性。
3.2 防止开发者绕过
o1 支持开发者自定义消息，但为了防止滥用，模型被设计为始终优先遵循系统消息的指令，确保安全策略优先级。
3.3 链式推理的安全性
链式推理为模型提供强大的思维过程透明性，但也可能增加潜在风险，例如用虚假推理误导用户。OpenAI 针对链式推理开展了监控研究，初步发现模型在有限场景下可能出现“有意编造信息”的行为。
4. 准备框架评估
4.1 风险类别
根据 OpenAI 的 Preparedness Framework，对模型的四大风险进行了评估：
1. 网络安全：模型未显示显著提升真实世界网络漏洞利用能力。
2. 化学与生物威胁：模型可能协助专家进行已知生物威胁的操作性规划，但不支持非专家构建威胁。
3. 说服力：模型具备类似人类水平的说服能力，但未超过顶级人类写作水平。
4. 模型自治：模型被评估为低风险，因为其自主行为的能力有限。
4.2 风险缓解措施
• 训练数据过滤：剔除敏感或有害内容。
• 模型层面拒绝策略：如拒绝化学、生物相关的威胁生成请求。
• 系统级内容监控：通过分类器和用户监测，防止不当使用。
o1 系列模型通过强化学习和链式推理显著提升了智能表现，同时在安全性和政策一致性方面取得了重要进展。尽管模型在应对潜在风险方面表现良好，但仍需持续改进，以应对未来更复杂的应用场景。
2024-10-10 16:29:19
华为于2024年10月8日宣布开启手机版原生鸿蒙操作系统HarmonyOS NEXT的公测，首批开启公测的设备共3个系列14个型号（Mate60系列、MateX5系列、MatePad13寸2024款）。
华为自今年1月中旬开始启动开发者内测，6月底至9月底经过4轮先锋用户内测，现在正式进入公测，但国民级超级应用“微信”一直没有上架鸿蒙应用市场。随着公测开启，腾讯也终于宣布微信同日开启邀请内测，内测时间为10月8日至12日。从部分参与内测的用户分享截图来看，鸿蒙原生版微信的版本号为1.0.0，首页标题为“微信测试版”，目前已有基础通信（支持消息和音视频聊天，暂不支持引用消息/语音转文字/从图片提取文字/收发文件/红包等）、公众号、小程序（仅支持下拉查看“最近使用的小程序”，暂不支持搜索）、朋友圈、扫一扫、收付款及零钱包等功能，暂不支持视频号及直播。
WXG员工@客村小蒋 在微博分享了鸿蒙原生版微信的开发难点：
1、鸿蒙原生版和 iOS、安卓有啥区别？
原生鸿蒙（HarmonyOS NEXT）完全是一套新的技术框架，编程语言是独特的 ArkTS 语言，这意味着所有的 app 都要完全重写。
技术同事说，开发微信鸿蒙原生版有当年做第一版微信的感觉，很多问题，大家要对着文档边做边学。
2、微信鸿蒙原生版功能怎么现在才出来？
参考问题 1，虽然切换一种新的编程语言，不是大问题，但一些技术问题，用新的工具解决后，它的稳定性也要重新测试。原生鸿蒙系统的公测，华为目前也仅开放了 Mate 60、Mate X5 两个系列的手机。大家都要谨慎对待一个新生态。
3、微信鸿蒙原生版目前体验如何？能做日常使用吗？
先说结论，如果你有两个微信号，主要用来和亲密的朋友联系的小号问题不大，工作用的大号我建议再稍等等。
目前单聊、群聊中发图片、视频，音视频通话，朋友圈，以及微信支付的二维码收付款功能都 ok 了，但还有一些功能，比如发文件、看视频号、部分小程序使用、发红包等还要等等。如果你比较依赖某些功能，可以再稍等等，功能会逐步完善。
4、怎么申请内测？
现在是小范围邀请内测，如果还没收到邀请，不要着急，预计很快会跟更多朋友见面。相信我，技术同事的键盘已经快敲冒烟了。
5、还有什么需要注意的问题？
记得数据备份。记得数据备份。记得数据备份。
华为提供了从原生鸿蒙回退到鸿蒙 4.2（可以兼容安卓应用）的选项，但回退会清空数据，手机本地的微信聊天记录就没了。
这名工程师还在评论区回答了许多网友的问题，罗列部分如下：
怎么才能知道自己是否收到了内测邀请呢？
如果收到邀请，华为账号绑定的手机号或邮箱会收到短信或邮件。
转账功能可以正常使用吗？
还不行，这个会优先完善。
消息通知有没有延迟？
我目前没遇到延迟。
是不是还没有小程序？
需要开发者做下适配，但不是重新开发，部分小程序已经可以用了。
换到鸿蒙微信，聊天记录是不是会被清空了？
不会，但升级 next 后再回退 4.2 的话，会清掉。
鸿蒙微信朋友圈后面会支持发送动图吗？
目标是所有功能都对齐，但这个功能预计要晚一些，另外非 iOS 平台的 live 图还有个标准不统一的问题。
既然都出原生版了，为什么不直接开放全量内测？然后直接在设置里面开一个反馈入口，这样不是能够收集更多问题、提高收集效率吗？现在还要邀请才能内测。腾讯啥新产品怎么都慢吞吞的？很小部分人内测怎么收到更多的建议和 bug 反馈呢？
涉及的功能多，一些功能比如支付，对安全性、稳定性的要求极高，只能先用通行的安全的做法：先内部测试，再小范围外部内测，再扩大范围、公测，直到正式版。
10/12更新:
NEXT里不再有AOSP的代码，但浏览器还是基于Chromium的，版本114，依赖后续升级；
NEXT已有开发者做出hap安装包的AutoInstaller，可以侧载Stream串流应用Moonlight和网络调试应用ClashMeta等。
2024-10-04 23:38:02
微软前几天刚发布了Windows 11 24H2，但最近我又翻出了XP虚拟机，这个在十年前就结束支持的操作系统，现在大部分软件的当前版本已经不再支持。那么，还有办法让它在发布23年后继续日常使用吗？
我这个虚拟机是Windows XP SP3 32-bit中文版，装完VMware Tools之后，通过宿主机联网没有问题，但IE6现在几乎无法打开任何网站，首先要解决的就是找一个现代浏览器。
搜了一下，装了Firefox的最后支持版本，52.9.0ESR https://ftp.mozilla.org/pub/firefox/releases/52.9.0esr/，但依然有很多网站无法正常显示。
再搜了一下，发现竟然有人基于Chromium最新代码在维护旧版操作系统能用的浏览器，这就是Supermium，最新版更新到126，是一个用于 Windows XP/2003 及更高版本的 Chromium 浏览器分支。安装之后，Windows 11能打开的网站，它都能打开了。
然后，到微软官方装一下SP3的各种补丁：https://www.catalog.update.microsoft.com/Search.aspx?q=xp%20sp3
然后，根据下面的帖子，装了一些常用软件，微信、TIM、搜狗输入法、7-zip、Office2010、酷狗、迅雷、PotPlayer等，可以说基本的使用没啥问题了。
https://zhuanlan.zhihu.com/p/348144558
https://zhuanlan.zhihu.com/p/409430401
最后来回顾一下从XP到Vista的开发历程：https://community.wvbtech.com/d/1387
2024-08-04 21:23:00
以下内容基于AI总结后修改而来，供中文读者参考。
在2024年的苹果全球开发者大会上，苹果公司介绍了“Apple Intelligence”，这是一个集成于iOS 18、iPadOS 18和macOS Sequoia的个人智能系统。这个系统由多个强大的生成模型组成，这些模型经过优化，能够快速、高效地完成用户的日常任务，并根据当前活动即时适应。Apple Foundation Models（苹果基础模型，简称AFM）经过专门调整，能够在写作和优化文本、优先和总结通知、创建有趣的图像以及简化应用间的交互等用户体验中发挥作用。
Apple Intelligence 的设计始终贯彻苹果的核心价值观，并建立在业界领先的隐私保护基础之上。为了开发这些AI工具和模型，我们遵循以下负责任AI的原则：
在本文中，我们将详细介绍两种模型的开发：适用于设备的约30亿参数的AFM-on-device模型和更大的基于服务器的AFM-server模型。这些模型是苹果为了支持用户和开发者开发的一系列生成模型的一部分。
AFM 基础模型是基于 Transformer 架构的密集解码器模型，具有以下设计选择：
AFM-on-device 的模型尺寸为：模型维度 3072、查询头数 24、键/值头数 8、层数 26，非嵌入参数数为 2.58B，嵌入参数数为 0.15B。
AFM 预训练数据集包括多种高质量的数据混合，这些数据包括：
所有数据均经过严格的去污和去除个人信息的处理，确保没有包含任何苹果用户的私人数据。
AFM 预训练分为三个阶段：
每个阶段均使用去耦权重衰减（decoupled weight decay）进行正则化，并采用 µParam（simple）来简化参数范数控制。
在模型基础上进行的后训练阶段，我们进行了大量研究，以确保模型的通用能力，包括指令跟随和对话能力。我们采用了监督微调（SFT）和来自人类反馈的强化学习（RLHF）两种方法。引入了两种新的后训练算法：拒绝抽样微调算法和镜像下降策略优化算法。这些方法显著提升了模型质量。
我们在后训练中采用了混合数据策略，包括人工注释和合成数据。人工注释包括演示数据和人类偏好反馈，而合成数据则由模型生成，用于增强数据质量和多样性。
演示数据包含系统级和任务级的指令及其对应的响应，强调数据质量的重要性。人类偏好反馈则通过比较和排序两个模型响应来收集偏好标签，用于进一步改进模型。
在某些领域，模型生成的响应质量能够与人工注释相媲美，甚至超越。因此，我们扩展了提示集合以增加多样性，并生成合成数据用于训练。
苹果基础模型被设计用于支持iPhone、iPad和Mac上的苹果智能系统。我们使用LoRA适配器，以使基础模型能够动态地适应用户的日常任务。LoRA适配器是小型神经网络模块，可以插入基础模型的不同层中，以进行特定任务的微调。适配器的参数值使用16位表示，能够动态加载和切换，以有效管理内存和确保操作系统的响应速度。
LoRA适配器被用于所有的自注意力层和前馈网络层的线性投影矩阵中，只需微调适配器，保持基础模型的原始参数不变。这种方法既保留了模型的通用知识，又能支持特定任务。
为了在边缘设备上高效地部署AFM模型并降低推理成本，我们应用了量化技术将权重的有效位数减少到4位以下，同时保持模型质量。为保持模型在特定领域的能力，我们开发了最先进的量化方法和框架，使得量化模型能够几乎无损地压缩，提供灵活的量化方案选择。
我们利用AFM-on-device模型来实现电子邮件、消息和通知的摘要功能。虽然AFM-on-device在一般摘要任务上表现良好，但在严格符合规格方面存在困难。因此，我们对量化后的AFM-on-device模型进行了微调，生成高质量的摘要。
在预训练阶段，我们使用多个综合基准对AFM模型进行评估。核心预训练、继续预训练和长上下文预训练阶段均显著提高了模型在各种任务上的表现。特别是数学和代码模型的能力得到显著提升，尽管大部分基准表现变化在噪声范围内。
在后训练阶段，我们对未量化、量化和准确性恢复的模型进行了评估。实验结果显示，AFM-on-device模型在数学和语言理解等任务中表现优异，甚至超过了多个强大的开源和商用模型。尤其在写作、工具使用等任务上，AFM模型表现出色，与GPT-4等模型相媲美。
我们对AFM-on-device和AFM-server模型在各种指令跟随任务中进行了评估，这些任务涉及生成响应的长度、格式和内容等要求。结果表明，AFM模型在执行指令和一般指令跟随能力方面表现优异，超过了多个竞争模型。
苹果智能的开发始终遵循负责任的AI原则，包括用户赋能、真实代表用户、谨慎设计和保护隐私。我们开发了一套安全分类体系，用于设计和评估我们的生成AI功能。这一分类体系覆盖了12个主要类别和51个子类别，包括仇恨言论、歧视、非法活动等。我们严格审查训练语料，确保不包含苹果用户的数据，并在推理过程中使用防护模型对输入和输出进行评估。
在预训练阶段，我们采取了多种措施确保模型的安全性，包括严格的数据政策、法律审查和安全过滤。我们避免过度过滤，以保持模型的通用能力，并为特定特征的政策迭代留有余地。
后训练阶段的目标是确保模型输出对用户有帮助，同时尽量减少潜在的危害。我们在训练数据中包括了对抗性数据，并通过监督微调和人类反馈的强化学习（RLHF）等方法提升模型的安全对齐能力。
本文介绍了支持苹果智能功能的基础语言模型，包括AFM-on-device和AFM-server。这些模型旨在快速、有效地在iPhone、iPad和Mac等设备上运行，提供高质量的用户体验，如电子邮件、消息和通知的摘要。我们致力于在开发过程中贯彻负责任AI的原则，确保模型的安全性和用户隐私保护。
2024-07-26 22:54:00
央视频app：CCTV-5/5+/16/4K版16/4K/8K等多个频道直播信号在奥运会期间限时免费。另外央视频推出了9.9元15天VIP会员，切换频道想要免广告的话可以买一个。每天在“赛事中心”查看赛程，选择热点赛事进行预约，相当于加到了我关注的赛事列表，可在“我的预约”中查看所有关注的赛事时间和赛果。
奥运官网/app/小程序：查询赛中实时数据，运动员得分、排名等（https://olympics.com/zh/paris-2024/schedule），数据更新比直播信号快
微信浮窗：腾讯体育赛程（https://m.sports.qq.com/sports-event/h5-olympics-schedule.htm?competitionId=180000）、奖牌榜（https://m.sports.qq.com/sports-event/h5-medal-rank.htm?competitionId=180000）、一篇每日看点（来自人民日报）、一篇每日金牌赛日程（来自上海发布）
咪咕视频app：支持多角度信号同屏播放。
腾讯体育app：查看赛程、奖牌榜。
aoyo.ai：使用AI获取最新信息，并解答关于比赛规则、赛果、数据统计等的问题。
微信和抖音的”奥运会“搜索结果：随时获取最新资讯。
2024-06-12 12:21:00
新的操作系统，记录一些印象深刻的功能点，以此来观察Apple今年的软件升级方向：
iOS 18 / iPadOS 18
-控制中心改版，可全屏滑动切换页面，比如切换到媒体控制页、Home页、通信功能控制页
-新的Passwords App，统一管理所有密码
-手写计算器，在iPad备忘录中手写数学算式，画个等号或者横线，可直接计算出结果
-基于Apple Intelligence的全新Siri，支持双击Home Indicator打字与Siri沟通
macOS 15 Sequoia
-iPhone镜像，连续互通功能家族又新增成员，看演示几乎无延迟，对齐安卓阵营的多屏协同
-窗口Snapping，拖动窗口贴边即可快捷分屏
-新的Passwords App，统一管理所有密码
-Game Porting Toolkit 2，使得大量PC端游能更快移植，育碧11月发售的《刺客信条影》将同步发售macOS版本
-基于Apple Intelligence的全新Siri
watchOS 11
-新的Vitals应用程序和Training Load功能
-仅支持Apple Watch S6及以后的设备，经典的S4和基于S4的SE系统升级将截止到watchOS 10.6了
visionOS 2
-支持无线方式接入MacBook，在前方展示一个4K大屏幕，后续将可以拓展成更巨大的带鱼屏
tvOS 18
-支持21:9投屏
Audio&Home
-AirPods支持了点头、摇头交互，当腾不开手的时候来电，可以点头接电话，摇头拒接
Apple Intelligence
-Siri全局新UI，能结合个人数据和当前屏幕内容进行回答
-本地大模型+私人云服务线上大模型，线上不存储个人数据
-Keynote用了最后40分钟来讲Apple智能，分别通过功能、技术架构、应用体验三个部分做了介绍
-很多跨app的操作，后续第三方应用开发者适配后，都能张张嘴快速完成，省去点点点的很多步
-现在仅支持英语，中文支持日期没有公布
