2024-12-31 15:34:00
幻觉，一种现实世界与幻想世界的边界模糊：
大模型的幻觉问题是不可避免的，是一种先天的局限性
幻觉的常见归因
幻觉问题的发现：
目标函数和奖励函数决定了 AI 的目标与行为动机
AI 会追求赢得比赛、取悦用户，而不仅仅是合理的准确
AI 欺骗行为的示例：
AI 欺骗行为的三种类型：
越狱提示，或对抗性攻击，目的控制 LLMs 输出特定（不安全）的内容
常见的越狱方法：
越狱方法的分类：
由于 AI 而导致的三种风险
（1）恶意使用 - 罪不在刀，而在于持刀的人
（2）社会结构改变 - 阻碍信仰和政治的稳定与自洽
（3）AI 失控 - 一种必须考虑到的长期后果
OpenAI 的使命是创建“在最具经济价值的工作中超越人类的高度自治系统”
AI 幻觉的缓解方案 - 改进模型与现实信息丰富：
AI 欺骗的解决方案：
AI 越狱的防护方案：
AI 的普及已经是不可阻挡的大趋势，人类可以做的只能是提高 AI 的可信度
大语言模型的信任路线图：
AI 不值得信任，我们只是接受 AI，受益于他/她的能力，警惕到他/她的风险
参考：
Survey of Hallucination in Natural Language Generation
AI deception: A survey of examples, risks, and potential solutions
Adversarial Attacks on LLMs
Extrinsic Hallucinations in LLMs
A Comprehensive Survey of Hallucination Mitigation Techniques in Large Language Models
关于大模型「越狱」的多种方式，有这些防御手段
腾讯研究院 - 是时候解决大模型的信任问题了
2024-12-26 14:24:00
变点检测（Change point detection, CPD）是指在时间序列中发现统计特性发生重大变化的点
变点检测示例（斯匹次卑尔根岛的年均气温趋势）：
变点检测的分类：
变点检测的有监督方法：
变点检测的无监督方法：
常见的变点检测方法
工具和软件包：Python 中的“ruptures”库和 R 中的“changepoint”包
应用领域：
变点检测的局限性：
参考：A Survey of Methods for Time Series Change Point Detection
2024-12-25 13:32:00
无限猴子定理（英语：Infinite monkey theorem）：让一只猴子在打字机上随机地按键，当按键时间达到无穷时，几乎必然能够打出任何给定的文字，比如莎士比亚的全套著作
定理的数学描述：当一个事件（例如，一只猴子输入一组字符）以有限的非零概率在给定的试验中发生时，随着独立试验的数量趋于无穷大，该事件从未发生的概率趋于零
不同目标文本对应的敲击次数、发生率等指标：
| 目标文本 | 期望的敲击次数 | 单只猴子敲出的概率 | 所有猴子敲出的概率 | 宇宙热寂前的发生概率 |
|---|---|---|---|---|
| 香蕉（bananas） | $\approx 2.2\times 10^{10}$ | $\approx 0.05$ | $\approx 1$ | $\approx 1$ |
| 我猩故我在（短句） | $\approx 9.4\times 10^{33}$ | $\approx 10^{-25}$ | $\approx 2\times 10^{-20}$ | $\approx 1$ |
| 《好奇的乔治》（约 1800 字） | $\approx 2.2\times 10^{10}$ | $\approx 10^{-15146}$ | $\approx 2\times 10^{-15141}$ | $\approx 6.4\times 10^{-15043}$ |
| 《猩球崛起》（约 83000 字） | $\approx 10^{15155}$ | $\approx 10^{-698817}$ | $\approx 2\times 10^{-698812}$ | $\approx 6.4\times 10^{-698714}$ |
| 《莎士比亚全集》（约884647 字） | $\approx 10^{698826}$ | $\approx 10^{-7448357}$ | $\approx 2\times 10^{-7448352}$ | $\approx 6.4\times 10^{-7448254}$ |
所有猴子穷尽其种族的一生，只为打出那一句“我猩故我在（I chimp, therefore I am）”~
2024-12-21 21:37:00
前半部分内容很扎实，对图神经网络的本质进行解读（信息的转换和聚合），同时提出了一套统一的 GNN 理论框架来涵盖常见的图模型（GCN、GraphSAGE、GAT）
中后部分则相对发散，从推理、子图计数、图推荐、图生成、大型图等领域，涉及图神经网络的方方面面，方便学生了解该领域的广度
最后几节课则贴近前沿，但内容质量不一，涵盖了 GNN 的不确定性量化、因果链接预测等较新的学术成果，也对 GNN 的架构设计思路进行了更深入的剖析
课程内容由浅入深，重视对图神经网络的本质理解
课程设计合理，由点及面，适合不同阶段的人群
整体来说，该课程内容质量上乘，个人非常推荐
CS224W 图机器学习14：图与 Transformers
CS224W 图机器学习16 PART2：量化 GNN 的不确定性
6_course/机器学习/斯坦福 CS224W 图机器学习/CS224W 图机器学习 19：课程总结
2024-12-21 20:52:00
经验总结：
理解 GNN 的任务，才能找到最佳的可跨任务迁移的 GNN 模型
给定新任务，可以根据其与现有任务的相似度，推荐最佳的架构设计
定义评价目标：BatchNorm 是否通常对 GNN 有用？
定义评价过程：
评价的最终结果（BatchNorm=True 时，排名更靠前）：
图模型的预训练能改善数据标签稀缺的问题，并提高应用的泛化性
一个幼稚的策略：对相关标签进行多任务的有监督预训练
一个合理的策略：自监督学习，对节点属性进行掩码预测
2024-12-17 19:51:00
课程目标 1：GNN 与传统图算法的关系
课程目标 2：理解 GNN 学习映射的过程
前置知识：WL 图同构检验、4 图同构网络 GIN
前置知识的概括总结：
思考：除了 1-WL，GNN 还可以轻松地模拟哪些其他任务？
任务 1：特征提取
MLP 很容易学习平滑函数（例如，线性、对数、指数） MLP 不擅长学习复杂函数（例如，平滑函数的总和、for 循环）
任务 2：汇总统计
任务 3：关系型 argmax
任务 4：最短路径问题
最短路径问题的常见思路，是通过递归的方式将问题分解为相同问题类型的较小实例，然后再依次进行解决
任务 4 实验分析：
总结：GNN 消息传递是一种动态规划算法，对于可以通过动态规划解决的任务，GNN 会是一个不错的架构选择
算法对齐（Algorithmic Alignment）：设计神经网络架构的一般原则
给定目标算法 $g$，将其分解一系列简单函数的组合： $g=g_m \odot...\odot g_1$，则其对应的神经网络架构为 $$f=f_m \odot...\odot f_1$$
关键：将整体算法拆分成单独的简单步骤，可以更容易神经网络的学习
应用 1：给定一组数字 $S$，判断是否存在和为 $k$ 的子集
应用 1 实验分析（NES 模型的效果最佳）：
线性算法对齐假设：可以证明外推法对于线性目标函数是完美的，这也意味着神经网络可以推断出看不见的数据，即可在不可预见的未来情况下稳定运行
