2025-03-02 11:23:00

TabPFN 的主要特点：

• 一种面向小规模表格数据（样本量<=10000）的预训练 Transformer 模型
• 不同与以往基于 X 预测 Y 的传统模型，TabPFN 更类似于 AutoML 或者元学习的思路，其先基于真实数据进行大量的合成和采样来生成数据，之后再通过对部分 label 的掩码操作进行预测训练，试图找到一种最优的算法模式来模拟数据的采样合成过程，从而实现对后验预测概率分布的直接近似
• 在预训练过程中，TabPFN 综合考虑了贝叶斯神经网络（Bayesian Neural Networks, BNNs）和结构因果模型（Structural Causal Models, SCMs）的先验，分别用于捕获表格数据中复杂的特征依赖和潜在的因果机制
• 与传统机器学习不同，TabPFN 的每个训练"样本"是一个数据集，而不是数据集中的某一行
• 最终 TabPFN 在小规模表格数据中展现出了出色的泛化能力，以及超越传统树模型的预测性能，同时模型在推理效率上也实现了较大提升

1 TabPFN 算法原理

前置知识：贝叶斯算法、贝叶斯神经网络 BNN

1.1 先验数据拟合网络 PFNs

首先，给出后验预测分布（Posterior Predictive Distribution，PPD）的定义： $$\begin{array}{c}{{p(y|x,D)=\displaystyle\int_{\Phi}p(y|x,\phi)p(\phi|D)d\phi}} \\ {{\propto\displaystyle\int_{\Phi}p(y|x,\phi)p(D|\phi)p(\phi)d\phi}}\end{array}$$

• PPD 是指在已知历史数据 $D$ 和算法模式 $\phi$ 时，对新数据 $x$ 的后验预测分布
• 算法模式 $\phi \in \Phi$ 表示一种采样合成策略，用于从一个数据集中采样合成来生成新数据
• $p(y|x,\phi)$ 表示似然估计函数，即给定输入 $x$ 和算法模式 $\phi$ 时，输出 $y$ 的概率
• $p(\phi|D)$ 表示模型根据历史数据 $D$ 推断出算法模式为 $\phi$ 的后验概率
• $p(D|\phi)$ 表示当算法模式/采样合成策略为 $\phi$ 时，生成历史数据 $D$ 的概率
• $p(\phi)$ 表示算法模式 $\phi$ 的先验分布，反映了采样合成策略的固有知识和规则

公式理解：先遍历所有可能的算法模式，然后根据历史数据 $D$ 分析不同算法模式的后验概率 $p(\phi|D)$，并以此为权重对不同算法模式下的预测分布 $p(y|x,\phi)$ 进行求和，得到最终的后验预测分布（PDD）

先验数据拟合网络 PFNs 的损失函数定义： $$\begin{align*} \ell_{\theta} &= \mathbb{E}_{D \cup x, y \sim p(\mathcal{D})}[-\log q_{\theta}(y | x, D)] \quad &(1) \\ &= -\int_{D, x, y} p(x, y, D) \log q_{\theta}(y | x, D) \quad &(2) \\ &= -\int_{D, x} p(x, D) \int_{y} p(y | x, D) \log q_{\theta}(y | x, D) \quad &(3) \\ &= \int_{D, x} p(x, D) \mathrm{H}\left(p(\cdot | x, D), q_{\theta}(\cdot | x, D)\right) \quad &(4) \\ &= \mathbb{E}_{x, D \sim p(\mathcal{D})}[\mathrm{H}\left(p(\cdot | x, D), q_{\theta}(\cdot | x, D)\right)] \quad &(5) \end{align*}$$

• （1）$l_{\theta}$ 表示模型 $q_{\theta}$ 在给定训练集 $D$ 和新输入 $x$ 的情况下对预测值 $y$ 的负对数似然的期望，其中 $D \cup x, y$ 表示 $|D|+1$ 个来自同一个算法模式的合成数据
• （2）将期望展开为积分形式，其中 $p(x, y, D)$ 是数据的联合分布
• （3）利用条件概率的性质，将联合分布分解为 $p(x,D)$ 和 $p(y|x,D)$
• （4）根据交叉熵的定义，将内层积分进一步转化为交叉熵的形式
• （5）将积分形式重新写为期望形式，其中 $p(\cdot | x, D)$ 恰好为 PDD 的定义

损失函数理解 1：用负对数似然的期望作为 $l_{\theta}$ ，其思路等价于最大似然估计

损失函数理解 2：$\ell_{\theta}$ 实际上是 PDD 与模型输出分布之间的交叉熵，因此 PFNs 模型的训练过程，其本质就是在实现对后验预测概率分布 PDD 的直接近似

损失函数理解 3：$\ell_{\theta}$ 实际上还是 PDD 与模型输出分布之间的 KL 散度（加上一个常数项），推导和证明过程略（具体细节可参阅原论文的附录 A）

先验数据拟合网络 PFNs 的其他细节补充：

1. 训练机制：给定一个先验分布为 $p$ 的数据集，大量采样并合成数据集并随机掩码其中的一个 $x$ 的 label，然后计算预测值 $y$ 的负对数似然的期望（$l_{\theta}$ ），并借此使用梯度随机下降法来更新 PFNs 模型的参数 $\theta$
2. 模型结构：输入为可变长度的序列特征，其中包含 label 被掩住的样本；所有输入经过一个简单的线性投影后，输入到由 12 层的双向 Transformer 构成的注意力模块；其中行内注意力用于捕捉样本内部不同特征之间的关联，列间注意力用于学习同一特征在不同样本之间的模式；剔除了位置编码，以保持数据集的排列不变性
3. 模型推理：将需要预测的无标签数据掺入带有标签的数据集，并输入到 PFNs 中，PFNs 会有专门的预测头给出无标签数据的预测结果，目的是追求数据集的整体预测分布与 PDD 的差异最小
4. 处理分类任务：对于二分类问题使用 sigmoid 作为预测头；对于多分类问题使用 softmax 作为预测头
5. 处理回归任务：利用黎曼分布（一种看起来像条形图的离散连续分布）来对输出进行离散化处理，再将每个条形替换为适当缩放的半正态分布（该过程可以简单理解为将回归任务转化为多个分类任务来处理）
6. 实验效果：对于不同超参设置的高斯过程或贝叶斯神经网络，PFNs 模型能根据其合成数据集实现 PDD 的快速近似；在小规模表格数据上，PFNs 模型表现出超过 XGBoost 等 baseline 的性能，以及极强的稳定性和少样本学习能力

PFNs 通过对 PDD 进行建模和近似，实现了以贝叶斯的方式解决有监督学习问题

PFNs 的优点是保持了 Transformer 强大的上下文学习（in-context learning）能力

1.2 从 PFNs 到 TabPFN

前置知识：结构因果模型

PFNs 模型选择基于贝叶斯神经网络（BNN）的先验，而 TabPFN 则在此基础上，扩展了基于结构因果模型（SCMs）的先验，而 PFNs 的一个关键优势，就是能通过贝叶斯的方式组合不同超参数或不同类型下的先验，既处理了超参数的不确定性，也可以融合了不同类型先验的优势

TabPFN 的构建过程保持奥卡姆剃刀的原则，即用尽量少的超参数与因果关系来进行建模

基于 SCM 和 BNN 创建 TabPFN 先验：

1. 首先需要定义一个随机采样的 SCM，包括 DAG 结构（因果图）和确定性函数 $f$；每个SCM 可以由一组结构方程 $Z:=({z_{1},..,z_{}})$ 组成，其中 $z_{i}$ 的公式定义如下： $$z_{i}=f_{i}(z_{{\mathrm{PA}}(i)},\epsilon_{i})$$
   • 其中 $PA(i)$ 表示因果图中节点 $i$ 的父节点集合，$\epsilon_{i}$ 是噪音变量
   • $z_{i}$ 是一个从原因指向结果的有向边表示，也分配到因果图中的一个节点
2. 给定一个 SCM 后，在因果图中采样一组节点 $Z_{X}$ ，其中的每个节点都会是合成数据集的一个特征；在因果图中采样一个节点 $Z_{y}$，作为合成数据集的一个预测目标；需要注意的是，目标 $Z_{y}$ 既可能是特征 $Z_{X}$ 的原因，也可能是结果；采样 $n$ 次后，得到完整的合成数据集
3. 通过选择不同的 DAG、确定性函数和噪声分布，产生了大量的采样合成数据集，这些数据集构成了基于 SCM 的 TabPFN 先验；基于 BNN 的先验同理可得，只是采样策略是选择不同的网络架构（层数、激活函数）、权重分布（高斯分布）和其他超参数（Dropout 等）
4. SCM 先验和 BNN 先验的混合方式很简单，就是在 TabPFN 训练期间，以相等概率的方式从其中一个先验中随机采样合成的数据集（ TabPFN 自行融会贯通，兼备两家之长）

TabPFN 的其他细节补充：

• 一个 12 层的 Transformer，训练过程包括由 512 个合成数据集组成的 18,000 个批次；一台配备 8 个 RTX 2080 Ti 的 GPU 机器上训练，总共需要 20 个小时
• TabPFN 的先验主要返回标量标签，需要进一步的离散化处理，才能适用于分类任务
• TabPFN 的运行时间和内存占用与输入数据集的尺寸正相关 $O(n^2)$，不适用于样本量大于 1w 的情况

2 TabPFN 的实验分析

TabPFN 的测试评估

• 在开源 OpenML-CC18 数据集在筛选出 30 份数据集（样本量≤2000，特征≤100，类别≤10）
• 其中 18 份数据仅包含数值特征且不含缺失值，TabPFN 在此数据集上的整体准确性和训练速度均超越其他模型（包括 KNN、逻辑回归、XGBoost、LightGBM、CatBoost）；而另外12 份数据包含类别型特征或缺失值，TabPFN 在此数据集上表现整体相对较差（与传统机器学习方法持平）
• TabPFN 在 OpenML-AutoML 外部小型数据集上的基准测试也表现出类似的结论

TabPFN 只是整体最优，在部分数据集和任务上依然可能不如传统机器学习的表现

不同算法在 scikit-learn 1_study/Python/Module-sklearn-机器学习/skleran 内置数据集#1 玩具数据集上的决策边界：

模型的特征鲁棒性分析：

• 左：对特征空间随机旋转时，LightGBM 性能下降最明显，MLP 不受影响，其次是 TabPFN
• 中：按照特征重要性依次弃置，TabPFN 的前期表现最佳，其次是 MLP，后期模型表现趋于一致
• 右：随机添加无意义的特征，TabPFN 和 MLP 会受到影响，而 LightGBM 的性能则相对稳定

不同先验的消融实验对比：

3 TabPFN 的后续发展

3.1 TabForest：TabPFN 融合决策树先验

前置知识：表格数据建模性能对比：树模型 VS 深度学习

TabForest 模型 - TabPFN 在森林数据集上的微调

1. 构建森林数据集生成器：通过改变决策树的参数生成简单的决策树，再利用随机生成的特征和目标来过度拟合决策树，最后用拟合后的决策树创建高度复杂的合成数据集
2. 数据预处理：保持与原始 TabPFN 类似的处理过程，使用分位数变换（QuantileTransformer）在转换数据以服从正态分布的同时，增强模型对偏斜和异常值的鲁棒性
3. 模型架构：模型输入特征固定为 100 维（少于 100 则进行零值填充），整体架构与原始 TabPFN 保持一致（ 12 层、4 个注意力头、512 的隐藏维度），输出维度固定为 10
4. 模型微调：用合成的森林数据集对 TabPFN 进行微调，划分验证集和测试集对微调模型进行严格监督，在验证损失增加立即停止微调（特别小的数据集很容易过拟合），避免损耗模型的零样本性能

TabForest 模型的表现（2024 年 5 月 22 日）：

• TabForest 的零样本性能与 TabPFN 相比明显不足
• TabForest 在特定真实数据集上的微调性能超过了 TabPFN
• 经过微调后的 TabForest 模型能够创建出复杂的决策边界

3.2 TabPFNv2 ：时隔两年的版本升级

主要升级点（2025 年 1 月 8 日发表在《nature》）：

• 改进了分类能力，扩展以支持回归任务（性能也很好）
• 原生支持缺失值和异常值，对数据集的处理更高效准确
• 借助 flash attention，优化训练和推理时的内存和计算需求
• 适用于处理不超过1w 样本和 500 特征的中小规模数据集

TabPFNv2 使用约 1.3 亿合成数据集，在 8 个 RTX2080TI GPU 上训练了 2 周

实验分析与评价 1：TabPFN 的性能表现

• （a）TabPFN 在分类和回归任务中，表现均显著优于传统的机器学习模型
• （b）在绝大部分的数据集中，TabPFN 均优于最强的基线模型 Catboost
• （c）随着超参调整导致的训练推理预测时间增长，TabPFN 依然性能表现最强

实验分析与评价 2：TabPFN 的可解释性与迁移性

• TabPFN 可以用于数据的密度估计（a）和新样本的合成（b）
• （c）TabPFN 所学到的嵌入表示具备更好的可区分度（在 PCA 可视化中）
• （d）使用不同类型的正弦数据集微调后，TabPFN 对正弦数据实现了更准确的预测

3.3 TabPFN-TS：TabPFN 时序预测变体

TabPFN-TS（2025 年 1 月 9 日） 是 TabPFN 的变体，可应用于时间序列预测

TabPFN-TS 模型中 GIFT-EVAL 时序模型基准测试 Top1（250227）

核心思想：将时间序列预测视为一种表格回归任务

• 每个时间序列被视为一个独立的表格，根据时间戳划分训练集和测试集
• 表格回归任务则使用历史信息/训练数据来生成多步预测，即未来的目标值
• TabPFN-TS 还需要适当的特征工程（周期/日历/步长等）来捕获时间关系

实验结果：TabPFN-TS 的模型表现远高于其他模型

4 补充资料与实践工具

TabPFN - 官方实现的 Python 包

TabPFN-TS - 时序预测版TabPFN相关代码

参考文献： TabPFN: 预训练表格基础模型
PFN: Transformers Can Do Bayesian Inference
TabPFN: A Transformer That Solves Small Tabular Classification Problems in a Second
TabForest: Fine-tuned In-Context Learning Transformers are Excellent Tabular Data Classifiers
TABPFNv2: Accurate predictions on small data with a tabular foundation model
TabPFN-TS: The Tabular Foundation Model TabPFN Outperforms Specialized Time Series Forecasting Models Based on Simple Features

2025-02-28 14:52:00

在分组比较中都占优势的一方，在总评中有时反而是失势的一方

一个辛普森悖论的典型示例：

• 女生在两个学院的录取率都更高，但整体的录取率却更低
• 分析思路：商学院的录取率普遍较高（男生80.1%，女生91.1%），而法学院的录取率较低（男生15.1%，女生33.6%）；而男生大部分都申请商学院（高录取率），女生大多数申请法学院（低录取率）
• 总结：由于申请人数的分布不同，导致了整体录取率的逆转

辛普森悖论的总结

• 辛普森悖论出现的两个前提：（1）分组差异较大（2）存在未知的混杂因素
• 辛普森悖论强调了在数据分析中进行分层分析的重要性，以避免误导性的结论

2025-02-28 10:56:00

术前评估

ASA 术前麻醉评分

ASA 分级标准，指的是美国麻醉医师协会（ASA）于麻醉前根据病人体质状况和对手术危险性进行分类，将病人分成的六级。

• 第一级：体格健康，发育营养良好，各器官功能正常（健康，不吸烟，不饮酒，不吸烟或仅偶尔饮酒）。围手术期死亡率 0.06%-0.08%；病人麻醉和手术耐受力良好，麻醉经过平稳。
• 第二级：除外科疾病外，有轻度并存病，功能代偿健全。围手术期死亡率 0.27%-0.40%；病人麻醉和手术耐受力良好，麻醉经过平稳。
• 第三级：并存病情严重，体力活动受限，但尚能应付日常活动。围手术期死亡率 1.82%-4.30%；病人麻醉有一定危险，麻醉前准备要充分，对麻醉期间可能发生的并发症要采取有效措施，积极预防。
• 第四级：并存病严重，丧失日常活动能力，经常面临生命威胁。围手术期死亡率 7.80%-23.0%；病人麻醉危险性极大，即使术前准备充分，围手术期死亡率仍很高。
• 第五级：无论手术与否，生命难以维持 24 小时的濒死病人。围手术期死亡率 9.40%-50.7%；为濒死病人，麻醉和手术都异常危险，不宜行择期手术。
• 第六级：确证为脑死亡，其器官拟用于器官移植手术。

E：需要急诊手术的病例（在相应的 ASA 级数之后加“E”字）

Mallampati 气道分级

具体内容/分级/评价：

• I 级：可见软腭、悬雍垂、咽腔
• II 级：可见软腭、悬雍垂
• III 级：仅可见软腭
• IV 级：软腭完全被遮挡，仅见硬腭

Mallampati III 级及 IV 级患者插管发生并发症率高于 I 级及 II 级

改良 Cormack and Lehane 喉镜暴露分级

具体内容/分级/评价：

• I 级：能看清声门全貌。
• II 级：能看到杓状软骨或后半部分声门
• III 级：仅能看见会厌
• IV 级：看不到会厌

NYHA 心功能分级

纽约心脏病学会（NYHA）心功能四级分类：

• I 级：患者有心脏病，以致体力活动受到限制，但一般体力活动不引起过度疲劳、心悸、呼吸困难或心绞痛
• II 级：心脏病患者体力活动稍有受到限制，休息时无症状，但一般体力活动引起疲劳、心悸、呼吸困难或心绞痛
• III 级：心脏病患者有明显体力活动受限，休息时无症状，但小于一般体力活动即引起症状
• IV 级：心脏病患者不能进行任何体力活动，休息状态下也出现心绞痛症状，体力活动加重症状。

CRI 心脏危险指数

Goldman 多因素心脏危险指数（CRI）：

总计 53 分。 1 级：0-5 分，死亡率 0.2%； 2 级：6-12 分，死亡率 2%； 3 级：13-25 分，死亡率 2%； 4 级：>26 分，死亡率 56%。

RCRI 改良心脏危险指数

Lee 改良的心脏危险指数（RCRI）考虑的危险因素如下：

• 高风险手术类型（如血管手术、胸腹部手术等）
• 缺血性心脏病史；
• 充血性心力衰竭史；
• 脑血管病史；
• 糖尿病需胰岛素治疗；
• 肌酐清除率≥2.0 mg/dl（177 μmol/L）。

合并 0、1、2 或≥3 项危险因素者严重心脏并发症发生率分别为 0.5%、1.3%、4%。

活动耐量评估

用途：术前心肺功能评估

具体内容/分级/评价：

• 活动代谢当量 1 METs 代表静息时的氧耗量，约 3.5 ml/（kg·m²）或 1 kcal/(kg·h)
• METs<4 表明患者心肺储备不足。临床中常用以正常速度爬 1 层楼为4 METs

BODE 评分系统

用途：慢阻肺生存风险和预后评估。

总分为 0-10 分，分为四级 1 级：0-2 分 2 级：3-4 分 3 级：5-6 分 4 级：7-10 分

级别越高，患者预后越差

改良 Child -Pugh 肝功能分级

根据上述五项指标的得分相加，总分将患者分为三级：

• A 级：5-6 分，手术危险小，通常可耐受手术，术后恢复较好；
• B 级：7-9 分，手术危险中等，需谨慎选择手术类型及时机；
• C 级：10-15 分，手术危险大，一般不建议手术，需考虑手术指征，权衡利弊后慎重选择

术中监测

Ramsay 镇静评分

• 得分1-3分，为清醒状态
• 得分4-6分，为睡眠状态

改良 OAA/S 麻醉深度评分

评估麻醉镇静深度

RASS 镇静程度评估表

• 评估方法：
  1. 观察患者：首先在不刺激患者的情况下观察其行为（如是否有躁动、焦虑或其它的动作）。
  2. 声音刺激：呼唤患者姓名，观察其反应（如睁眼、语言或动作）。
  3. 物理刺激：如声音刺激无反应，轻拍肩膀或摇晃患者。
  4. 疼痛刺激：如物理刺激无反应，按压眉骨或胸骨，观察其反应。
  5. 评分确定：根据患者的反应程度给出RASS评分。
  6. 分值范围：+4分到-5分，代表患者从“攻击性”到“昏迷”的程度逐渐加深。

术后恢复

Steward 苏醒评分

• 总分 > 4分：患者可以安全离开手术室或麻醉恢复室，转入普通病房
• 总分 < 4分：需进一步观察或处理，确保患者安全

改良 Aldrete 评分

评估术后患者苏醒程度及安全性

• PACU离室标准：当改良Aldrete评分达到9分或以上时，患者可离开PACU
• 目前不再推荐：对于日间手术患者，改良Aldrete评分>9分且无其他并发症时，可考虑离院

QoR-15 评分中文版

• QoR-15 量表包含 15 个项目，每个项目得分范围 0~10 分
• 0 分表示“完全不符合”或“状态极差”，10 分表示“完全符合”或“状态极好”
• 总分范围为0~150分，得分越高表示术后恢复质量越高

重症谵妄筛查表 ICDSC

• 总分0~8分
• ≥4分：提示存在谵妄，敏感性高达99%
• ≤3分：提示可能存在亚临床谵妄，需进一步观察

参考： 麻醉医生常用16个评估量表，建议收藏

2025-02-28 10:31:00

因果推断基础

辛普森悖论 提醒我们在分析数据时要仔细考虑分组和混杂因素的影响，而因果推断的作用就是使用适当的方法识别和控制这些因素，从而可以更好地解释数据中的关系，并做出可靠的结论。

相关性与因果性：

• 相关性描述了事物之间存在的关联，因果性则代表了事物之间的内在联系
• 不同于相关性，因果性一般是单向的，即 A 是 B 的因，B 就不应该是 A 的因
• 传统模型一般学习的只是相关性，这也是导致模型泛化能力不足的重要原因

因果关系的三个阶段（由易到难）：

1. 关联性 Associational：传统 ML 任务，根据输入 X 预测输出 Y
2. 干预性 Interventional：预测干预效果，根据动作 X 预测效果 Y
3. 反事实 Counterfactual：对“已经发生”的事件，进行干预效果的想象

因果推断的三类任务：

• 因果效应评估（Causal Effect Estimatation）：从数据中推断一个变量对另一个变量的影响程度
• 因果关系发现（Causal Discovery）：从数据中识别出变量之间的因果关系
• 因果纠偏：通过因果的手段对数据或者模型进行处理，去除偏差的影响

因果推断的框架

因果推断的两个主流框架

1. 潜在结果框架（Potential Outcome Framework）
2. 结构因果模型（Structural Causal Model，SCM）

潜在结果框架

潜在结果框架（Potential Outcome Framework）：

• 通过学习因果效应（causal effect）来确定某个具体的干预（Treatment）对应的结果（Outcome）的变化，估计不同干预下的潜在结果（包括反事实结果），以估计实际的干预效果
• 主要用于解决因果效应评估，研究“因”的改变能带来多少“果”的变化
• 淡化/忽略了因果关系，强调因果效应的评估，适用于变量较多的复杂场景

下文将以医学实验为例，对潜在结果框架进行说明

符号定义：

• $T$ 表示干预方案，$X$ 表示混淆变量， $Y(t)$ 表示干预效果
• 第 $i$ 个患者施加干预方案（$T=1$）后的结果为 $Y_{i}(1)$
• 第 $i$ 个患者不施加干预方案（$T=0$）后的结果为 $Y_{i}(0)$

潜在结果框架的前提假设：

1. 可交换性（Exchangeability，Ignorability）；可交换性意味着在没有干预的情况下，干预组和对照组的潜在结果是相同的，即如果将干预组和对照组的个体交换，他们的结果不会改变 $$(Y(1),Y(0))\perp \! \! \!\perp T$$
2. 条件可交换性（Conditional Exchangeability，Unconfoundedness）；由于可交换性假设在现实世界很难满足，因此对其弱化而提出的条件可交换性，即假设干预方案 T 和结果 Y 之间是互相独立的 $$(Y(1),Y(0))\perp \! \! \!\perp T|X$$
3. 正值假设（Positivity/Overlap and Extrapolation）；拥有不同的混淆变量 X 的分组，干预方案 T 所获得的结果是一定的；该假设是为了确保不同类型的人群的干预效果都可以被观察到，避免极端外推 $$0<P(T=1\mid X=x)<1,\forall x\in X$$
4. 无干扰假设（No Interference）：个体的治疗不会影响其他个体的结果 $$Y_{i}\left(t_{1},\ldots,t_{i-1},t_{i},t_{i+1},\ldots,t_{n}\right)=Y_{i}\left(t_{i}\right)$$
5. 一致性假设（Consistency）：治疗 T 和潜在结果 Y 是一致对应的 $$T=t\Longrightarrow Y=Y(t)$$

第 $i$ 个患者的因果效应 individual treatment effect (ITE) $$\tau_{i}\triangleq Y_{i}(1)-Y_{i}(0)$$

干预方案的平均因果效应 average treatment effect (ATE) $$\tau\triangleq\mathbb{E}[Y_{i}(1)-Y_{i}(0)]=\mathbb{E}[Y_{i}(1)]-\mathbb{E}[Y_{i}(0)]$$

ATE 有时也叫做 ACE（average causal effect）

需要注意， $E[Y_{}i(1)]−E[Yi(0)]$ 是一个因果量，而 $E[Y|T=1]−E[Y|T=0]$ 是一个关联量，他们二者是不等价的

ATE 的计算依赖于以上假设，将因果表达式转化成统计表达式： $$\begin{array}{r l}{A T E=\mathbb{E}_{X}[\mathbb{E}[Y\mid T=1,X]-\mathbb{E}[Y\mid T=0,X]]} \\ {={\displaystyle{\frac{1}{n}}}\sum_{i}\left[\mathbb{E}\left[Y\mid T=1,X=x_{i}\right]-\mathbb{E}\left[Y\mid T=0,X=x_{i}\right]\right]}\end{array}$$ 而 $\mathbb{E}\left[Y\mid T=t,X=x_{i}\right]$ 则一般依赖传统机器学习模型来实现预测

结构因果模型

结构因果模型（Structural Causal Model，SCM）：

• 通过构建关键要素的因果图，结合结构方程来描述变量之间的因果关系
• 主要用于解决因果关系发现问题，也可以定量地进行因果效应评估
• 因果关系直观，结果置信度高，但不适合变量较多、关系复杂的情况

概率图 VS 因果图

• 概率图模型 通过图结构的形式来研究随机变量之间的关系，是统计模型
• 因果图通过有向无环图的方式来建模变量之间的因果关系，是因果模型
• 因果模型的很多算法可以直接借鉴概率图，比如概率图的有向图模型/贝叶斯网络

因果图的假设：

• 局部马尔科夫假设（Local Markov Assumption）：给定节点 X ，假定其父母节点为 P，那么 X 和所有非 P 后代节点都是独立的
• 严格的因果边假设（Causal Edges Assumption）：在有向图中，由父节点指向子节点的所有边都代表了父节点是子节点的一个因（cause）；非严格的因果边假设将允许一些父节点可以不是其子女的因（cause）

有向无环图（Directed Acyclic Graph，简称 DAG）的因果性

• 对于链结构（Chain）和叉结构（Fork），$X_{1}$ 和 $X_{3}$ 之间存在因果关系
• 对于 immorality 结构，$X_{1}$ 和 $X_{3}$ 之间是独立的，二者不存在因果关系；但给定 $X_{2}$ 的取值后，$X_{1}$ 和 $X_{3}$ 之间就不是独立的，二者之间的因果路径（cause path）也就从阻塞（block）变为了非阻塞（unblock）

变量间的相关性只会在非阻塞的因果路径中传递

结构方程可用于表示因果关系或因果图（有向无环图 DAG），以吸烟 X 和肺癌 Y 的关系为例，同时考虑年龄 Z 作为混淆变量，则对应因果图为：

• $Z \to X \to Y$：年龄影响吸烟习惯，吸烟导致肺癌
• $Z\to Y$：年龄也之间影响到肺癌发生的风险

该因果图对应的结构方程可以表示为： $$\begin{array}{r}{X=f_{X}(Z,U_{X})} \\ {Y=f_{Y}(X,Z,U_{Y})}\end{array}$$

• 其中 $f$ 是某种确定性函数（可以是非线性的），表示因果机制
• 变量 $X,Y,Z$ 的集合统称为内生变量，函数 $f$ 负责他们之间的映射
• 变量 $U$ 用来表示未观测因素，也被称为噪声或外生变量

概念补充 1：d-分割（d-separation）

• 定义：对于两个节点 (的集合) X 和 Y，如果存在一个节点集合 Z，使得 X 和 Y 之间所有的路径都被 Z 所阻塞，那么 Z 就是 X 和 Y 的一个 d-分割
• d-分割可以表示两个 (两组) 变量之间的独立性关系

概念补充 2：do-算子（do-operator）

• 定义：$do(X=x)$ 表示对系统进行干预，强制将变量 $X$ 的值设置为 $x$
• 以吸烟和肺癌的因果模型为例，$P(Y|do(X=1))$ 表示强制让所有人吸烟后肺癌的概率，而 $P(Y|X=1)$ 则表示观察到吸烟的人中肺癌的概率
• do-算子能通过模拟干预，来实现干预分析和反事实推断

概念补充 3：后门路径（Backdoor Path）

• 定义：指从因果关系的起点（例如 X）到终点（例如 Y）的所有路径中，除了直接的因果路径外，还存在其他可能引入混淆的路径
• 以吸烟和肺癌的因果模型为例，$X\rightarrow Z\leftarrow Y$ 就是一条后门路径，该路径中 $Z$ 会同时影响 $X$ 和 $Y$，可能导致错误归因

概念补充 4：后门准则（Backdoor Criterion）

• 定义：通过识别并阻断后门路径的影响，从而正确的估计因果效应
• 以吸烟和肺癌的因果模型为例，为了阻断 $Z$ 对应的后门路径，需要不断调整 $Z$ 的取值来进行分层分析，具体计算如下： $$P(Y\mid d o(X=x))=\sum_{z}P(Y\mid X=x,Z=z)P(Z=z)$$

因果关系发现算法

常见的因果关系发现类算法：

1. 利用因果图中节点之间的条件独立性来推断因果关系

   • 条件独立性测试：通过统计检验来判断变量之间的条件独立性关系
   • PC 算法：这是一个经典的基于条件独立性的算法。它通过一系列的条件独立性测试来逐步构建因果图。首先构建一个完全连接的无向图，然后逐步删除边以反映条件独立性，最后确定边的方向
   • IC（Inductive Causation）算法：也利用条件独立性测试来推断因果关系

2. 通过定义评分函数来寻找因果图，即评分函数最大的有向无环图（DAG）

   • 贝叶斯信息准则（BIC）评分：结合似然函数和模型复杂度来评估因果图的质量
   • 最大似然估计（MLE）评分：直接使用似然函数作为评分标准，寻找似然函数最大的 DAG
   • 结构学习算法：如贪婪等价搜索（GES）算法，通过在因果图空间中搜索来优化评分函数

3. 通过引入更多的假设信息来推断因果关系

   • 加性噪音模型（ANM）：假设两个变量之间的关系可以表示为一个函数加上噪音项，即 $Y = f(X) + N$，其中 $N$ 是独立于 $X$ 的噪音。通过这种假设，可以推断出因果方向。
   • 非线性因果分析：利用非线性模型来捕捉变量之间的因果关系，适用于线性方法无法处理的复杂关系
   • 信息论方法：如利用互信息或条件互信息来推断因果关系。

因果效应评估算法

1. 计量经济学中的常用方法：自然实验法、双重差分法 DID、工具变量法 IV
2. 利用倾向得分来估计因果效应：1_study/algorithm/回归算法进阶/回归内生性问题 #5 倾向得分匹配法 PSM、熵平衡
3. 结构因果类的模型：基于因果关系构建模型，如因果图或结构化方程
4. 元学习：通过调整 treat 来观察结果，直接估计条件平均治疗效果（CATE）
5. 树形方法：通过构建树状结构来分裂样本，使得左右节点上的因果效应差异最大化
6. 因果表征：将人群进行表征学习，并消除混淆因素和保存 treat

因果推断的总结

现实挑战：

• 因果关系在很多场景中很弱，甚至和随机噪声处于同一量级，建模难度大
• 算法的前提假设很难满足，缺少充足的随机测试数据，存在未观测到的混杂因素
• 当面对多个处理方案时，如何合理分配资源也成为了一个复杂的问题
• 预测预测的影响因素很多，而这些影响因素还与处理方案相关联
• 某些场景下模型的评价测试周期长，很难在上线前实现对模型效果的充分评价

未来趋势：

• 借助大规模的学习来处理更复杂的非线性关系，比如元学习或多任务学习
• 因果表征通过从因果关系的角度理解数据生成过程，更符合真实世界的因果机制
• 强调表征学习中的解耦和模块化思想，实现模型更好的可迁移性和泛化能力
• 寻找通用性更强、适用多领域的算法模型，降低实际应用场景下的模型落地门槛

进阶阅读：

• 《因果推断：从概念到实践》
• CS224W 图机器学习17：链接预测和因果关系
• 基于因果框架的医疗领域数据分布偏移评估

其他参考： 因果推断两大算法框架解析
Causality05-StructuralCausalModel
因果推断综述及基础方法介绍（二）
因果推断（一）：因果推断两大框架及因果效应

2025-02-27 10:13:00

前置知识：贝叶斯算法、高斯过程回归

BNN 的定义

贝叶斯神经网络（Bayesian neural networks, BNNs）：

• 神经网络中的可训练参数，即权重（weight）和偏置（bias）都表示为一个分布
• 一种最简单的 BNN 就是将模型参数看作服从均值为 $\mu$，方差为 $\delta$ 的高斯分布；考虑到中心极限定理的存在，一般认为模型参数符合高斯分布是一种合理的假设
• 在预测时，BNN 会从每个高斯分布采样，得到一个确定的神经网络，然后用于预测；也可以对参数多次采样后分别进行预测，然后将多次预测结果进行汇总（类似于集成算法）；还可以直接计算出预测结果分布的均值和方差，并进行采样（局部重参数化，local reparameterization）
• 在训练时，为了确保方差 $\delta$ 大于 0，一般用 $\rho$ 进行替代：$\delta_{i}=\log(1+e^{\rho_{i}})$
• 一般认为，BNN 需要信息丰富的先验才能处理不确定性，即要求数据集的样本量至少与模型参数量保持相同的量级，BNN 模型才能有较好的效果

注意区分贝叶斯神经网络和贝叶斯网络，贝叶斯网络是一种概率图模型，又称信念网络（belief network）或是有向无环图模型

普通神经网络 VS 贝叶斯神经网络（图源）：

BNN 的变分学习

前置知识：

• 变分（variational）问题：给定一个泛函 $J[y]$，变分问题的目标是找到一个函数 $y(x)$，使得 $J[y]$ 最小化或最大化，即从可能的函数集合中寻找一个满足条件的最佳函数
• 变分推断（Variational Inference）：在贝叶斯推断中，由于计算后验分布往往是困难的，因此常需要通过一些近似概率分布的技术将后验分近似为一个更简单的分布

给定一个训练集 $D= {({x}_1, y_1), ({x}_2, y_2),..., ({x}_m, y_m)}$，用于训练一个贝叶斯神经网络，则贝叶斯公式可以写为如下形式： $$ p(w|{x}, y) = \frac{p(y|{x}, w)p(w)}{\int p(y|{x}, w)p(w) dw} $$

• 先验概率 $p(w)$ 是已知的，即模型参数预设所服从的分布
• 确定模型参数 $w$ 的取值后，似然估计值 $p(y|x,w)$ 也很容易计算
• 难点在于分母需要遍历参数 $w$ 的所有可能取值，并计算后验概率

BNN 模型的常见训练方法

1. MCMC（Markov Chains Monte Carlo） ：基于随机游走的蒙特卡洛采样方法，实现对公式分母中积分的近似，
2. 黑箱变分推断 BBVI：用一个参数化的简化分布 $q(\lambda)$ 去近似后验概率分布 $p$，模型的训练目标是最小化两个分布之间的差异（比如 KL 散度），其中的"黑箱"部分在于使用蒙特卡洛方法来估计 $\lambda$ 的梯度，而不依赖具体的模型形式
3. MC dropout 利用随机的 Dropout 对同一输入进行多次前向传播，之后基于这些采样结果实现对后验分布的近似；需要注意的是，MC Dropout 在推理阶段也需要进行

BBVI 训练时，会使用 ELBO（Evidence Lower Bound）作为目标函数指导超参数 $\lambda$ 的优化，最大化 ELBO 相当于最小化 KL 散度：$KL=logp-ELBO$

BNN 的分析总结

优点：

• 支持不确定性估计，能给出预测目标的预估概率分布/置信区间
• 不容易过拟合，权重取值的随机性起到了类似 Dropout 的作用
• 鲁棒性强，权重取值的轻微扰动不会造成模型输出的较大变化

缺点：

• 较高的计算成本和训练时长
• 训练和推理的内存需求更大，需要存储权重的分布（而不是单个值）
• 可解释性差，内部的网络结构和决策过程依然是黑盒模型

参考： 贝叶斯深度学习（bayesian deep learning）
贝叶斯神经网络 BNN (推导+代码实现)
Bayesian Neural Networks：贝叶斯神经网络

2025-02-21 18:27:00

谵妄的定义

谵妄的诊断 1：指南强调POD的定义应符合《精神障碍诊断与统计手册》第五版（DSM-5）标准，并推荐使用标准化筛查工具（如Confusion Assessment Method, CAM），至少在术后前3天每日评估一次，以实现早期识别

谵妄的诊断 2：CAM-ICU评分为阳性 or ICDSC 评分为 4 分或以上

谵妄的诊断 3：首先在电子病历中收集提示谵妄存在的症状，包括注意力障碍、定向障碍和行为改变；其次收集术后精神科医生会诊和术后抗精神病药物使用情况，最终由一名精神科专家确诊

儿童术后谵妄：

• 虽然生物标志物、影像学检查或脑电图（electroencephalography， EEG）等客观指标有助于麻醉科医师做出更准确的判断，但综合考虑，选择高效可靠的评估工具仍是当前筛查患儿POD的主要手段
• 患儿麻醉苏醒期谵妄量表（the pediatric anesthesia emergence delirium scale， PAED）是早期临床最为常用的患儿POD评估工具之一，适用于19个月至6岁间的术后苏醒期患儿。PAED包括5项内容：无眼神接触、无目的的运动、不能感知周围环境、不安和难以安慰
• 欧洲儿科和新生儿重症监护学会（european society of pediatric and neonatal intensive care， ESPNIC）推荐使用CAPD量表作为患儿POD的评估工具，中文版CAPD量表2019年在国内授权发布，经临床验证筛查患儿POD的敏感性为92.0%、特异性为86.5%，具备较好的信度和效度

谵妄的分型：高活动型、低活动型和混合型

• 高活动型表现为高度警觉状态、躁动不安、对刺激异常敏感、可有幻觉或妄想，一般容易发现并能得到及时诊治。低活动型表现为嗜睡、意识不清、活动或言语减少，对周围环境及父母冷漠，因症状不易察觉常被漏诊，预后较差。混合型兼具前两种类型的表现，同时或交替发作

谵妄在急性护理环境中尤其在重症监护室 (ICU) 中很常见，影响住院患者高达 35％，影响需要重症监护的患者高达 80％，每年在医疗保健支出方面的成本估计为 1640 亿美元。约 30%至 40%的谵妄病例可能可以采用降低谵妄的策略进行预防。

病理机制：研究表明，POD 的发生与手术引起的全身炎症反应、神经递质失衡、血流动力学波动及术中麻醉管理密切相关。炎症因子可引发血脑屏障通透性增加，导致神经元功能受损，从而诱发认知障碍

已整理的资料 - 谵妄的影响：

• 2.3 术后谵妄对术后神经认知障碍的影响：一项 Meta 分析

谵妄的治疗

核心措施：术前患者教育、优化术中麻醉深度控制、减少术后镇静药物使用及早期康复

谵妄的提前预防和非药物干预

• 与安慰剂相比，右美托咪定在非心脏手术患者中与较低的术后谵妄（POD）发生率相关，但在心脏手术患者中未观察到类似效果
• 209 人的单中心实验：丙泊酚麻醉组与七氟醚麻醉组相比，术后谵妄天数更多
• 672 人的单中心实验：与安慰剂组相比，随着氯胺酮剂量的增加，术后幻觉（P = 0.01）和噩梦（P = 0.03）的发生率增加
• 神经监测：加工脑电图和原始 EEG 监测在减少术后谵妄（POD）方面有潜力，但其效用和适用性仍需进一步验证，尤其在老年患者和有神经退行性疾病的患者中

POD 的首选治疗是非药物干预。药物治疗仅在非药物措施无效且症状严重时才考虑

术后谵妄的药物治疗

• 精神症状/幻觉：氟哌啶醇、利培酮、奥氮平、喹硫平。
• 疼痛：使用阿片类药物（监测 NRS/VAS 或 BPS-NI/PAINAD）
• 昼夜节律失调：褪黑激素
• 焦虑：短效苯二氮卓类药物
• 激动：ICU 中使用α-2 激动剂，如丙泊酚
• 植物性症状：ICU 中使用α-2 激动剂，必要时使用β-阻滞剂
• 酒精戒断综合症中的谵妄：使用长效苯二氮卓类药物（如地西泮、劳拉西泮）。

注意：在POD的药物治疗方面，抗精神病药物、α-2激动剂和苯二氮卓类药物显示一定潜力，但临床证据尚不够充足

谵妄的预测

常见风险因素：患者高龄、基础认知功能障碍、术前营养不良、术中低氧或低血压、全麻深度过深以及镇痛管理不当等。虽然部分因素不可改变，但合理优化围手术期管理可降低 POD 发生率

儿童术后谵妄风险因素：年龄小于 5 岁、疼痛（中重度疼痛的谵妄风险增加数十倍）、手术类型（心脏手术、耳鼻喉手术）、吸入麻醉药（七氟醚）、焦虑、其他（术后贫血，阿托品）

已整理的资料 - 预测模型：

• [[5_paper/生物医药/文章集锦_古麻今醉/古麻今醉23年1季度文章集锦#3.1 使用电子病历系统预测膝关节置换术后谵妄的机器学习模型(<3.1 使用电子病历系统预测膝关节置换术后谵妄的机器学习模型>)](<3.1 使用电子病历系统预测膝关节置换术后谵妄的机器学习模型>)
• 3.4 使用机器学习预测ICU患者的谵妄发生
• 3.3 非心脏手术患者谵妄预测模型的开发与验证

已整理的资料 - 生物标志物：

• 5.6 老年胸科及骨科手术患者术中长时间低血压与术后谵妄发生相关
• 2.1 临床上谵妄相关蛋白标志物的系统综述
• 3.1 术中额叶 EEG 中较低α频率与术后谵妄相关
• 4.1 心脏手术中围术期低血压与术后谵妄和房颤的关系
• 3.1.6 老年男性脊柱畸形患者择期脊柱融合术后术前血红蛋白水平与医疗保健使用增加相关

其他参考： 欧洲麻醉学会和重症监护医学会关于成人患者术后谵妄的循证和共识指南更新
综述｜患儿术后谵妄的临床研究进展