第3章 贝叶斯定理与概率思维

Bayesian Theorem and Probabilistic Thinking
学习路径:随机现象 → 条件概率 → 贝叶斯更新 → 参数估计 → 不确定性决策 → 材料小样本建模
本章目标:建立“证据驱动更新”的概率思维,理解先验、似然、后验与模型可靠性。
@Shiyan Pan
CONTENTS

目录

  • 3.1 条件概率、全概率公式与贝叶斯定理 △★
  • 3.2 先验、似然、后验与证据
  • 3.3 贝叶斯思想:从经验知识到数据更新 △
  • 3.4 最大似然估计与最大后验估计
  • 3.5 不确定性量化与概率决策 ★
  • 3.6 材料小样本问题中的贝叶斯方法

主线:不是“背公式”,而是理解新证据如何改变已有判断。

第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

为什么材料科学需要概率思维?

材料研究中常见的问题往往不是“完全确定”:

  • 同一成分、同一工艺下,性能仍有实验离散性。
  • 显微组织图像识别具有标注误差和算法不确定性。
  • 高通量计算存在模型误差、泛函误差和数值误差。
  • 新材料数据少,直接训练复杂模型容易过拟合。

概率思维提供的是:在不完全证据下作出可更新、可解释、可量化风险的判断。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

本章知识地图

从“事件概率”逐步过渡到“模型参数概率”:

事件→条件概率→贝叶斯定理→参数后验→预测分布\text{事件} \rightarrow \text{条件概率} \rightarrow \text{贝叶斯定理} \rightarrow \text{参数后验} \rightarrow \text{预测分布}

对应材料问题:

实验现象→测量数据→模型更新→不确定性评估→实验决策\text{实验现象} \rightarrow \text{测量数据} \rightarrow \text{模型更新} \rightarrow \text{不确定性评估} \rightarrow \text{实验决策}

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

先给出一个直观例子

问题:某种热处理工艺可能导致裂纹风险升高。

  • 经验判断:该工艺裂纹概率约为 10%10\%。
  • 新证据:在线声发射信号异常。
  • 已知:有裂纹时信号异常概率高,无裂纹时也可能误报。

贝叶斯问题:

P(裂纹∣信号异常)=?P(\text{裂纹}\mid \text{信号异常})=?

这不是简单看“信号准确率”,还必须考虑裂纹本身的基准概率。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

本章的基本符号

符号 含义 材料科学示例
AA 事件或假设 样品存在裂纹
BB 观测证据 声发射信号异常
P(A)P(A) 先验概率 观察前的裂纹概率
P(B∣A)P(B\mid A) 条件概率或似然 有裂纹时信号异常概率
P(A∣B)P(A\mid B) 后验概率 信号异常后的裂纹概率
DD 数据集 成分、工艺、组织、性能数据
θ\theta 模型参数 强度模型中的系数
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.1 条件概率、全概率公式与贝叶斯定理

本节从事件概率开始,逐步建立贝叶斯公式:

  1. 样本空间、事件与概率。
  2. 联合概率与条件概率。
  3. 乘法公式与全概率公式。
  4. 贝叶斯定理及其直观解释。
  5. 用材料检测案例理解“基准概率”的重要性。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

概率的三个基本性质

对任意事件 AA 和样本空间 Ω\Omega:

0≤P(A)≤10\leq P(A)\leq 1

P(Ω)=1P(\Omega)=1

若 A∩B=∅A\cap B=\varnothing,则:

P(A∪B)=P(A)+P(B)P(A\cup B)=P(A)+P(B)

材料解释:不同失效模式若互斥,其总体失效概率可以分解求和。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

事件关系:交、并、补

常见事件运算:

运算 记号 含义 材料示例
交集 A∩BA\cap B 同时发生 高强度且高韧性
并集 A∪BA\cup B 至少一个发生 裂纹或夹杂存在
补集 AcA^c 事件不发生 样品无裂纹
空集 ∅\varnothing 不可能事件 同时完全熔化且完全未熔化

概率建模的第一步是把实际问题转化为清晰事件。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.1.2 联合概率:两个事件同时发生

联合概率描述两个事件同时发生的概率:

P(A∩B)P(A\cap B)

例:

  • AA:样品抗拉强度 >1000 MPa>1000\ \mathrm{MPa}。
  • BB:延伸率 >10%>10\%。
  • P(A∩B)P(A\cap B):同时满足高强度和高塑性的概率。

材料设计中常常关心的不是单一性能,而是多目标性能组合。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.1.3 条件概率:已知一个事件后再判断

条件概率定义为:

P(A∣B)=P(A∩B)P(B),P(B)>0P(A\mid B)=\frac{P(A\cap B)}{P(B)},\quad P(B)>0

含义:在事件 BB 已经发生的样本中,事件 AA 发生的比例。

材料示例:

P(裂纹∣声发射异常)P(\text{裂纹}\mid \text{声发射异常})

表示在声发射异常的样品中,真正存在裂纹的概率。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

条件概率的教学重点

条件概率最容易产生两个误解:

  1. 把 P(A∣B)P(A\mid B) 与 P(B∣A)P(B\mid A) 混淆。
  2. 忽略 P(A)P(A) 的基准概率。

例如:

P(信号异常∣裂纹)P(\text{信号异常}\mid \text{裂纹})

和

P(裂纹∣信号异常)P(\text{裂纹}\mid \text{信号异常})

通常不是同一个数。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.1.4 乘法公式

由条件概率定义可得:

P(A∩B)=P(A∣B)P(B)P(A\cap B)=P(A\mid B)P(B)

也可写成:

P(A∩B)=P(B∣A)P(A)P(A\cap B)=P(B\mid A)P(A)

因此:

P(A∣B)P(B)=P(B∣A)P(A)P(A\mid B)P(B)=P(B\mid A)P(A)

贝叶斯定理正是从这个等式出发得到的。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

独立性:是否互相影响?

若 AA 与 BB 独立,则:

P(A∣B)=P(A)P(A\mid B)=P(A)

等价于:

P(A∩B)=P(A)P(B)P(A\cap B)=P(A)P(B)

材料示例:

  • 若夹杂概率与热处理温度无关,则二者可近似独立。
  • 若高温处理显著改变夹杂诱发裂纹概率,则不能假设独立。

建模中随意假设独立会导致严重偏差。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.1.5 全概率公式:把复杂事件分解

若 A1,A2,…,AKA_1,A_2,\ldots,A_K 构成样本空间的一组划分:

Ai∩Aj=∅(i≠j),⋃i=1KAi=ΩA_i\cap A_j=\varnothing\quad (i\neq j),\qquad \bigcup_{i=1}^{K}A_i=\Omega

则任意事件 BB 的概率为:

P(B)=∑i=1KP(B∣Ai)P(Ai)P(B)=\sum_{i=1}^{K}P(B\mid A_i)P(A_i)

这就是全概率公式。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

全概率公式的材料解释

设 BB 为“检测信号异常”,裂纹状态只有两种:

  • A1=有裂纹A_1=\text{有裂纹}
  • A2=无裂纹A_2=\text{无裂纹}

则:

P(B)=P(B∣A1)P(A1)+P(B∣A2)P(A2)P(B)=P(B\mid A_1)P(A_1)+P(B\mid A_2)P(A_2)

总异常率由两部分组成:

  1. 真有裂纹导致的异常。
  2. 无裂纹但误报导致的异常。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.1.6 贝叶斯定理:反向概率更新

由乘法公式和全概率公式可得:

P(Ai∣B)=P(B∣Ai)P(Ai)∑j=1KP(B∣Aj)P(Aj)P(A_i\mid B)=\frac{P(B\mid A_i)P(A_i)}{\sum_{j=1}^{K}P(B\mid A_j)P(A_j)}

对两个事件 AA 与 AcA^c:

P(A∣B)=P(B∣A)P(A)P(B∣A)P(A)+P(B∣Ac)P(Ac)P(A\mid B)=\frac{P(B\mid A)P(A)}{P(B\mid A)P(A)+P(B\mid A^c)P(A^c)}

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

贝叶斯定理的四个组成部分

名称 公式位置 含义 材料示例
先验 P(Ai)P(A_i) 证据前的判断 初始缺陷概率
似然 P(B∣Ai)P(B\mid A_i) 假设下观察到证据的概率 有缺陷时检测报警概率
证据 P(B)P(B) 证据总体概率 报警总体概率
后验 P(Ai∣B)P(A_i\mid B) 证据后的更新判断 报警后的真实缺陷概率

一句话:后验 == 先验 ×\times 似然,再归一化。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

例1:缺陷检测中的基准概率

设某批材料中真实裂纹概率为 1%1\%:

P(A)=0.01P(A)=0.01

检测方法性能:

P(B∣A)=0.95,P(B∣Ac)=0.05P(B\mid A)=0.95,\qquad P(B\mid A^c)=0.05

其中 BB 表示“检测结果为阳性”。求:

P(A∣B)P(A\mid B)

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

例1计算:阳性不等于一定有裂纹

根据贝叶斯定理:

P(A∣B)=0.95×0.010.95×0.01+0.05×0.99P(A\mid B)=\frac{0.95\times 0.01}{0.95\times 0.01+0.05\times 0.99}

计算得:

P(A∣B)≈0.161P(A\mid B)\approx 0.161

解释:即使检测灵敏度很高,由于裂纹本身很少见,阳性样品中仍可能包含大量误报。

这就是低基准概率问题。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

用自然频数解释贝叶斯定理

假设有 1000010000 个样品:

类别 数量 阳性概率 阳性数量
有裂纹 100100 0.950.95 9595
无裂纹 99009900 0.050.05 495495
合计 1000010000 — 590590

因此:

P(有裂纹∣阳性)=95590≈0.161P(\text{有裂纹}\mid \text{阳性})=\frac{95}{590}\approx 0.161

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

课堂讨论:为什么人们容易误判?

常见错误思路:

“检测准确率 95%95\%,所以阳性后有裂纹概率约 95%95\%。”

问题在于忽略了:

  • 裂纹的先验概率很低。
  • 无裂纹样品数量远多于有裂纹样品。
  • 小误报率乘以大基数,仍会产生大量误报。

材料检测、医学检测、质量控制都存在类似问题。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.1 小结

本节建立了贝叶斯定理的基本路径:

条件概率定义→乘法公式→全概率公式→贝叶斯定理\text{条件概率定义} \rightarrow \text{乘法公式} \rightarrow \text{全概率公式} \rightarrow \text{贝叶斯定理}

核心认识:

  • P(A∣B)P(A\mid B) 与 P(B∣A)P(B\mid A) 不能互换。
  • 后验判断必须同时考虑先验概率和新证据。
  • 贝叶斯公式本质上是证据条件下的概率重分配。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.2 先验、似然、后验与证据

本节从事件概率过渡到参数估计:

  1. 什么是参数与数据?
  2. 先验如何表达已有知识?
  3. 似然如何表达数据对参数的支持?
  4. 证据如何归一化后验?
  5. 后验分布如何用于预测与决策?
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.2.1 从事件假设到模型参数

在机器学习和材料建模中,假设常常不是离散事件,而是模型参数:

θ=(θ1,θ2,…,θp)\theta=(\theta_1,\theta_2,\ldots,\theta_p)

例如线性性能模型:

y=θ0+θ1x1+θ2x2+εy=\theta_0+\theta_1 x_1+\theta_2 x_2+\varepsilon

其中:

  • yy:材料性能,如硬度或强度。
  • x1,x2x_1,x_2:成分或工艺变量。
  • θ\theta:待估计参数。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.2.2 数据集记号

材料数据集通常写为:

D={(xi,yi)}i=1nD=\{(x_i,y_i)\}_{i=1}^{n}

其中:

  • xix_i:第 ii 个样品的输入特征。
  • yiy_i:第 ii 个样品的目标性能。
  • nn:样本数量。

若存在图像、谱图或组织特征,也可写成:

xi=(成分,工艺,组织描述符,谱图特征)x_i=(\text{成分},\text{工艺},\text{组织描述符},\text{谱图特征})

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.2.3 贝叶斯参数推断公式

对模型参数 θ\theta,贝叶斯公式写为:

p(θ∣D)=p(D∣θ)p(θ)p(D)p(\theta\mid D)=\frac{p(D\mid \theta)p(\theta)}{p(D)}

其中:

p(D)=∫p(D∣θ)p(θ) dθp(D)=\int p(D\mid \theta)p(\theta)\,d\theta

常写为比例形式:

p(θ∣D)∝p(D∣θ)p(θ)p(\theta\mid D)\propto p(D\mid \theta)p(\theta)

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

参数贝叶斯公式的解释

项 数学符号 作用 直观含义
先验 p(θ)p(\theta) 数据前的参数知识 专家经验、历史实验、物理约束
似然 p(D∣θ)p(D\mid\theta) 数据对参数的支持 参数给定后,观测数据出现的可能性
证据 p(D)p(D) 归一化常数 让后验积分为 11
后验 p(θ∣D)p(\theta\mid D) 更新后的参数分布 数据和经验共同决定的认识

贝叶斯推断不是给出一个参数点,而是给出参数分布。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.2.4 先验:把已有知识写成概率分布

先验可以来自:

  • 物理约束:扩散系数为正,界面能为正。
  • 历史数据:类似合金体系的实验结果。
  • 专家经验:某一工艺窗口更可能获得目标组织。
  • 文献知识:参数的大致数量级。

示例:若参数 θ\theta 可能接近 μ0\mu_0,可设置正态先验:

θ∼N(μ0,τ02)\theta\sim \mathcal{N}(\mu_0,\tau_0^2)

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

常见先验分布

参数类型 常见先验 适用对象
连续实数 正态分布 回归系数、模型偏置
正数 对数正态分布、Gamma分布 扩散系数、反应速率
概率 Beta分布 缺陷率、成功率
多类别概率 Dirichlet分布 相类别比例、缺陷类别比例
函数 高斯过程 未知响应面

先验并非“主观随意”,而是要透明、可解释、可检验。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.2.5 似然:数据如何支持参数

似然函数定义为:

L(θ;D)=p(D∣θ)L(\theta;D)=p(D\mid \theta)

若样本独立同分布:

L(θ;D)=∏i=1np(yi∣xi,θ)L(\theta;D)=\prod_{i=1}^{n}p(y_i\mid x_i,\theta)

常用对数似然:

ℓ(θ;D)=log⁡L(θ;D)=∑i=1nlog⁡p(yi∣xi,θ)\ell(\theta;D)=\log L(\theta;D)=\sum_{i=1}^{n}\log p(y_i\mid x_i,\theta)

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

例2:正态误差下的回归似然

设性能数据满足:

yi=f(xi;θ)+εi,εi∼N(0,σ2)y_i=f(x_i;\theta)+\varepsilon_i,\qquad \varepsilon_i\sim\mathcal{N}(0,\sigma^2)

则单个样本概率为:

p(yi∣xi,θ)=12πσ2exp⁡[−(yi−f(xi;θ))22σ2]p(y_i\mid x_i,\theta)=\frac{1}{\sqrt{2\pi\sigma^2}}\exp\left[-\frac{(y_i-f(x_i;\theta))^2}{2\sigma^2}\right]

总体似然为所有样本概率的乘积。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

对数似然与平方误差

正态误差下的对数似然为:

ℓ(θ;D)=−n2log⁡(2πσ2)−12σ2∑i=1n(yi−f(xi;θ))2\ell(\theta;D)=-\frac{n}{2}\log(2\pi\sigma^2)-\frac{1}{2\sigma^2}\sum_{i=1}^{n}(y_i-f(x_i;\theta))^2

若 σ\sigma 已知,最大化对数似然等价于最小化平方误差:

min⁡θ∑i=1n(yi−f(xi;θ))2\min_{\theta}\sum_{i=1}^{n}(y_i-f(x_i;\theta))^2

这说明普通最小二乘法可由概率模型推出。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.2.6 证据:为什么需要归一化?

后验必须满足:

∫p(θ∣D) dθ=1\int p(\theta\mid D)\,d\theta=1

证据项为:

p(D)=∫p(D∣θ)p(θ) dθp(D)=\int p(D\mid\theta)p(\theta)\,d\theta

它的作用是把 p(D∣θ)p(θ)p(D\mid\theta)p(\theta) 归一化为真正的概率分布。

在模型比较中,证据还能衡量模型整体解释数据的能力。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.2.7 后验:更新后的完整认识

后验分布包含两类信息:

  1. 参数最可能位于哪里。
  2. 参数仍有多大不确定性。

常用后验摘要包括:

E[θ∣D]\mathbb{E}[\theta\mid D]

Var(θ∣D)\mathrm{Var}(\theta\mid D)

θMAP=arg⁡max⁡θp(θ∣D)\theta_{\mathrm{MAP}}=\arg\max_{\theta}p(\theta\mid D)

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.2.8 后验预测分布

真正用于预测的不是单一参数,而是后验预测分布:

p(y∗∣x∗,D)=∫p(y∗∣x∗,θ)p(θ∣D) dθp(y_{\ast}\mid x_{\ast},D)=\int p(y_{\ast}\mid x_{\ast},\theta)p(\theta\mid D)\,d\theta

含义:

  • 每个可能参数 θ\theta 都给出一个预测。
  • 后验分布决定这些预测的权重。
  • 最终预测同时考虑参数不确定性和观测噪声。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

贝叶斯流程图

典型贝叶斯建模流程:

已有知识→p(θ)\text{已有知识} \rightarrow p(\theta)

数据生成假设→p(D∣θ)\text{数据生成假设} \rightarrow p(D\mid\theta)

贝叶斯更新→p(θ∣D)\text{贝叶斯更新} \rightarrow p(\theta\mid D)

预测与决策→p(y∗∣x∗,D)\text{预测与决策} \rightarrow p(y_{\ast}\mid x_{\ast},D)

该流程特别适合小样本、高成本实验和有明确物理先验的材料问题。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.2 小结

本节完成了从事件概率到参数概率的过渡:

  • 先验 p(θ)p(\theta) 表示数据前的知识。
  • 似然 p(D∣θ)p(D\mid\theta) 表示参数对数据的解释能力。
  • 证据 p(D)p(D) 负责归一化和模型比较。
  • 后验 p(θ∣D)p(\theta\mid D) 是更新后的参数分布。
  • 后验预测 p(y∗∣x∗,D)p(y_{\ast}\mid x_{\ast},D) 是面向应用的结果。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.3 贝叶斯思想:从经验知识到数据更新

本节重点不是公式推导,而是概率思维方式:

  1. 为什么“经验”可以进入模型?
  2. 数据如何逐步修正经验?
  3. 为什么贝叶斯方法适合小样本?
  4. 如何避免过强先验导致结论偏置?
  5. 如何在材料研究中进行可解释更新?
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.3.1 频率观点与贝叶斯观点

问题 频率观点 贝叶斯观点
参数 θ\theta 固定但未知 具有概率分布
概率含义 长期重复频率 不确定性的量化
数据作用 用于估计固定参数 用于更新参数分布
结果表达 点估计和置信区间 后验分布和可信区间
适合问题 大样本重复实验 小样本、先验知识丰富问题

二者不是简单对立,而是解决问题的不同框架。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.3.2 贝叶斯更新的核心思想

贝叶斯更新可概括为:

后验认知∝已有认知×新证据支持度\text{后验认知} \propto \text{已有认知}\times\text{新证据支持度}

数学形式:

p(θ∣D)∝p(θ)p(D∣θ)p(\theta\mid D)\propto p(\theta)p(D\mid\theta)

每增加一批新数据 DnewD_{\mathrm{new}}:

p(θ∣D,Dnew)∝p(Dnew∣θ)p(θ∣D)p(\theta\mid D,D_{\mathrm{new}})\propto p(D_{\mathrm{new}}\mid\theta)p(\theta\mid D)

旧后验可以成为新先验。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.3.3 顺序更新:逐批实验的自然框架

材料实验通常不是一次性完成,而是逐批进行:

  1. 根据文献确定初始工艺窗口。
  2. 进行第一批实验,更新性能模型。
  3. 根据后验不确定性选择下一批实验。
  4. 继续更新,直到满足设计目标。

贝叶斯顺序更新:

p(θ∣D1,D2)=p(D2∣θ)p(θ∣D1)p(D2∣D1)p(\theta\mid D_1,D_2)=\frac{p(D_2\mid\theta)p(\theta\mid D_1)}{p(D_2\mid D_1)}

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

例3:Beta-Binomial 缺陷率更新

设缺陷率为 qq,它是一个概率参数:

0≤q≤10\leq q\leq 1

用 Beta 分布作为先验:

q∼Beta(α,β)q\sim \mathrm{Beta}(\alpha,\beta)

若检测 nn 个样品,其中 kk 个有缺陷,则似然为二项分布:

p(k∣q)=(nk)qk(1−q)n−kp(k\mid q)=\binom{n}{k}q^k(1-q)^{n-k}

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

Beta-Binomial 的后验更新

Beta 先验与二项似然共轭,后验仍为 Beta 分布:

q∣k,n∼Beta(α+k,β+n−k)q\mid k,n\sim\mathrm{Beta}(\alpha+k,\beta+n-k)

后验均值为:

E[q∣k,n]=α+kα+β+n\mathbb{E}[q\mid k,n]=\frac{\alpha+k}{\alpha+\beta+n}

解释:

  • α\alpha 可理解为先验缺陷样本数。
  • β\beta 可理解为先验合格样本数。
  • 新实验把计数加到先验上。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

Python案例:缺陷率贝叶斯更新

import numpy as np
from scipy.stats import beta

# 先验:经验认为缺陷率约为 5%,等效样本量约 20
alpha0, beta0 = 1, 19

# 新数据:检测 50 个样品,发现 4 个缺陷
n, k = 50, 4
alpha_post = alpha0 + k
beta_post = beta0 + n - k

mean_prior = alpha0 / (alpha0 + beta0)
mean_post = alpha_post / (alpha_post + beta_post)
ci = beta.ppf([0.025, 0.975], alpha_post, beta_post)

print(mean_prior, mean_post, ci)
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

代码结果如何解释?

运行结果给出三个信息:

  • 先验均值:实验前的缺陷率判断。
  • 后验均值:加入新数据后的缺陷率判断。
  • 95%95\% 可信区间:缺陷率可能范围。

若后验可信区间仍较宽,说明当前样本量不足。

贝叶斯方法不会把小样本结果过度解释为确定结论。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.3.4 先验强度:经验影响有多大?

Beta 先验中,α+β\alpha+\beta 可理解为先验强度。

若 α+β\alpha+\beta 很小:

数据主导后验\text{数据主导后验}

若 α+β\alpha+\beta 很大:

先验强烈约束后验\text{先验强烈约束后验}

材料小样本建模中,先验强度必须与文献可靠性、实验一致性和物理约束相匹配。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.3.5 先验敏感性分析

为了避免先验任意性,应比较多组先验:

p1(θ),p2(θ),p3(θ)p_1(\theta),\quad p_2(\theta),\quad p_3(\theta)

观察后验结论是否稳定:

p(θ∣D,p1),p(θ∣D,p2),p(θ∣D,p3)p(\theta\mid D,p_1),\quad p(\theta\mid D,p_2),\quad p(\theta\mid D,p_3)

若结论高度依赖某一先验,需要谨慎解释。

材料论文中应报告先验来源和敏感性。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.3.6 贝叶斯不是“用经验压倒数据”

合理贝叶斯分析应满足:

  • 先验来源透明。
  • 先验强度与知识可信度匹配。
  • 数据足够时,后验应能够被数据显著修正。
  • 结论应包含不确定性,而不是只给最优值。

不合理做法:

  • 为了得到期望结论而调先验。
  • 不报告先验假设。
  • 忽略模型错设和数据偏差。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.3.7 材料研究中的经验知识类型

经验知识 可转化的先验形式 示例
参数正性 截断分布或对数正态分布 扩散系数 D>0D>0
数量级 对数正态先验 D∼10−12 m2/sD\sim 10^{-12}\ \mathrm{m^2/s}
平滑性 高斯过程核函数 成分-性能曲面连续变化
相图约束 先验可行域 温度和成分落在某相区
工艺窗口 区间先验 激光功率、扫描速度范围

关键是让知识以可计算形式进入模型。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.3.8 材料案例:合金强度经验先验

假设某合金强度模型为:

σy=θ0+θ1c+ε\sigma_y=\theta_0+\theta_1 c+\varepsilon

其中 cc 为强化元素含量。

根据历史经验:元素增加通常提高强度,因此可设:

θ1∼N+(μ1,τ12)\theta_1\sim\mathcal{N}^{+}(\mu_1,\tau_1^2)

其中 N+\mathcal{N}^{+} 表示截断在正区间的正态分布。

该先验表达的是“强化效应大概率为正”。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.3 小结

贝叶斯思想的核心不是复杂公式,而是科学认知过程:

经验知识+新实验数据→更新后的不确定性认识\text{经验知识} + \text{新实验数据} \rightarrow \text{更新后的不确定性认识}

对材料科学尤其重要:

  • 数据往往昂贵且小样本。
  • 物理知识和文献经验丰富。
  • 决策需要考虑风险和不确定性。
  • 模型应能随新数据持续更新。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.4 最大似然估计与最大后验估计

本节比较两种常用点估计方法:

  1. 最大似然估计 MLE。
  2. 最大后验估计 MAP。
  3. MLE 与最小二乘法的关系。
  4. MAP 与正则化的关系。
  5. 用简单回归案例理解二者差异。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.4.1 为什么需要点估计?

完整贝叶斯推断输出后验分布:

p(θ∣D)p(\theta\mid D)

但工程应用中常常还需要一个代表性参数:

  • 用于快速预测。
  • 用于模型部署。
  • 用于与传统方法比较。
  • 用于课堂手算与程序实现。

点估计是对分布信息的压缩,不应替代不确定性分析。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.4.2 最大似然估计 MLE

最大似然估计选择最能解释数据的参数:

θ^MLE=arg⁡max⁡θp(D∣θ)\hat{\theta}_{\mathrm{MLE}}=\arg\max_{\theta}p(D\mid\theta)

等价于最大化对数似然:

θ^MLE=arg⁡max⁡θℓ(θ;D)\hat{\theta}_{\mathrm{MLE}}=\arg\max_{\theta}\ell(\theta;D)

其中:

ℓ(θ;D)=log⁡p(D∣θ)\ell(\theta;D)=\log p(D\mid\theta)

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

例4:正态均值的 MLE

设:

yi∼N(μ,σ2)y_i\sim\mathcal{N}(\mu,\sigma^2)

其中 σ2\sigma^2 已知,待估计 μ\mu。

似然为:

p(D∣μ)=∏i=1n12πσ2exp⁡[−(yi−μ)22σ2]p(D\mid\mu)=\prod_{i=1}^{n}\frac{1}{\sqrt{2\pi\sigma^2}}\exp\left[-\frac{(y_i-\mu)^2}{2\sigma^2}\right]

最大化似然等价于最小化:

∑i=1n(yi−μ)2\sum_{i=1}^{n}(y_i-\mu)^2

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

正态均值 MLE 结果

对目标函数求导:

ddμ∑i=1n(yi−μ)2=−2∑i=1n(yi−μ)\frac{d}{d\mu}\sum_{i=1}^{n}(y_i-\mu)^2=-2\sum_{i=1}^{n}(y_i-\mu)

令导数为零:

∑i=1n(yi−μ)=0\sum_{i=1}^{n}(y_i-\mu)=0

得到:

μ^MLE=yˉ=1n∑i=1nyi\hat{\mu}_{\mathrm{MLE}}=\bar{y}=\frac{1}{n}\sum_{i=1}^{n}y_i

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.4.3 最大后验估计 MAP

最大后验估计选择后验概率最大的参数:

θ^MAP=arg⁡max⁡θp(θ∣D)\hat{\theta}_{\mathrm{MAP}}=\arg\max_{\theta}p(\theta\mid D)

由于:

p(θ∣D)∝p(D∣θ)p(θ)p(\theta\mid D)\propto p(D\mid\theta)p(\theta)

所以:

θ^MAP=arg⁡max⁡θ[log⁡p(D∣θ)+log⁡p(θ)]\hat{\theta}_{\mathrm{MAP}}=\arg\max_{\theta}\left[\log p(D\mid\theta)+\log p(\theta)\right]

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

MAP 的直观解释

MAP 同时考虑两个因素:

  1. 参数能否解释数据:p(D∣θ)p(D\mid\theta)。
  2. 参数是否符合先验知识:p(θ)p(\theta)。

因此:

MAP=数据拟合+先验约束\text{MAP}=\text{数据拟合}+\text{先验约束}

在小样本材料问题中,MAP 常比 MLE 更稳定。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

例5:正态先验下的 MAP

仍设:

yi∼N(μ,σ2)y_i\sim\mathcal{N}(\mu,\sigma^2)

加入先验:

μ∼N(μ0,τ02)\mu\sim\mathcal{N}(\mu_0,\tau_0^2)

后验满足:

p(μ∣D)∝p(D∣μ)p(μ)p(\mu\mid D)\propto p(D\mid\mu)p(\mu)

MAP 是后验分布的峰值位置。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

正态均值 MAP 结果

正态-正态共轭下,后验均值为:

μn=nσ2yˉ+1τ02μ0nσ2+1τ02\mu_n=\frac{\frac{n}{\sigma^2}\bar{y}+\frac{1}{\tau_0^2}\mu_0}{\frac{n}{\sigma^2}+\frac{1}{\tau_0^2}}

后验方差为:

τn2=(nσ2+1τ02)−1\tau_n^2=\left(\frac{n}{\sigma^2}+\frac{1}{\tau_0^2}\right)^{-1}

此时 MAP 与后验均值相同:

μ^MAP=μn\hat{\mu}_{\mathrm{MAP}}=\mu_n

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

MAP 是加权平均

后验均值可理解为先验均值与样本均值的加权平均:

μn=wyˉ+(1−w)μ0\mu_n=w\bar{y}+(1-w)\mu_0

其中:

w=nσ2nσ2+1τ02w=\frac{\frac{n}{\sigma^2}}{\frac{n}{\sigma^2}+\frac{1}{\tau_0^2}}

解释:

  • 样本量 nn 越大,yˉ\bar{y} 权重越大。
  • 先验方差 τ02\tau_0^2 越小,先验均值权重越大。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.4.4 MLE 与 MAP 的比较

比较项 MLE MAP
优化对象 p(D∣θ)p(D\mid\theta) p(θ∣D)p(\theta\mid D)
是否使用先验 否 是
小样本稳定性 较弱 通常更强
与正则化关系 无直接先验项 先验可产生正则化项
输出 参数点估计 参数点估计
局限 忽略已有知识 依赖先验设定

注意:二者都是点估计,不等同于完整贝叶斯推断。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.4.5 MAP 与正则化

若线性回归误差为正态分布,并设参数先验:

θ∼N(0,τ2I)\theta\sim\mathcal{N}(0,\tau^2 I)

则 MAP 等价于最小化:

∑i=1n(yi−xiTθ)2+λ∥θ∥22\sum_{i=1}^{n}(y_i-x_i^T\theta)^2+\lambda\lVert\theta\rVert_2^2

这就是岭回归形式。

其中 λ\lambda 与噪声方差和先验方差有关。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

正则化的概率解释

正则化不是任意惩罚项,而可解释为先验假设:

正则化 对应先验 效果
L2L_2 正则化 正态先验 参数连续收缩
L1L_1 正则化 Laplace先验 促使部分参数为零
非负约束 截断先验 满足物理正性
平滑约束 高斯过程先验 响应面平滑

因此 MAP 提供了“正则化为什么合理”的概率解释。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

Python案例:MLE 与 MAP 对比

import numpy as np

# 小样本强度数据,单位 MPa
y = np.array([912, 935, 928, 970, 940])
sigma = 30.0

# MLE: 正态均值估计
mu_mle = y.mean()

# MAP: 正态先验
mu0 = 900.0      # 文献或经验均值
tau0 = 50.0      # 先验不确定性
n = len(y)
mu_map = ((n / sigma**2) * y.mean() + (1 / tau0**2) * mu0) / ((n / sigma**2) + (1 / tau0**2))

print(mu_mle, mu_map)
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

如何解释 MLE 与 MAP 的差别?

  • MLE 完全由当前五个样本决定。
  • MAP 在样本均值与先验均值之间折中。
  • 若样本量增加,MAP 会逐渐接近 MLE。
  • 若先验很强,MAP 会更靠近先验均值。

材料小样本场景中,MAP 可以避免个别样本导致估计剧烈波动。

但前提是先验来源合理且被明确报告。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.4.6 不要把 MAP 等同完整贝叶斯

MAP 只取后验分布的最大点:

θ^MAP=arg⁡max⁡θp(θ∣D)\hat{\theta}_{\mathrm{MAP}}=\arg\max_{\theta}p(\theta\mid D)

但完整贝叶斯还关心:

Var(θ∣D)\mathrm{Var}(\theta\mid D)

以及:

p(y∗∣x∗,D)p(y_{\ast}\mid x_{\ast},D)

若只给 MAP 而不给不确定性,贝叶斯方法的优势会被削弱。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.4 小结

本节核心关系:

MLE:θ^=arg⁡max⁡θp(D∣θ)\text{MLE}:\quad \hat{\theta}=\arg\max_{\theta}p(D\mid\theta)

MAP:θ^=arg⁡max⁡θp(D∣θ)p(θ)\text{MAP}:\quad \hat{\theta}=\arg\max_{\theta}p(D\mid\theta)p(\theta)

理解要点:

  • MLE 只看数据。
  • MAP 同时看数据和先验。
  • 正则化可以从先验角度解释。
  • 点估计不能替代不确定性分析。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.5 不确定性量化与概率决策

本节从“估计参数”进入“基于不确定性的决策”:

  1. 不确定性的来源与分类。
  2. 置信区间、可信区间、预测区间。
  3. 后验预测与风险评价。
  4. 期望损失最小化。
  5. 材料实验中的探索—利用平衡。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.5.1 为什么必须量化不确定性?

仅给出一个预测值通常不足以支撑工程决策:

y^=1020 MPa\hat{y}=1020\ \mathrm{MPa}

关键问题是:

  • 预测误差可能有多大?
  • 是否可靠地超过设计阈值?
  • 新成分是否处于训练数据外推区?
  • 是否值得开展下一轮实验?

可靠 AI 模型必须同时输出预测值与不确定性。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.5.2 两类不确定性

类型 英文 来源 是否可通过增加数据降低
偶然不确定性 Aleatoric uncertainty 实验噪声、材料本征波动 通常不能完全消除
认知不确定性 Epistemic uncertainty 数据不足、模型未知、参数不确定 可通过增加数据降低

材料小样本问题中,认知不确定性往往占主导。

贝叶斯方法天然适合描述参数和模型认知不确定性。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.5.3 参数不确定性

参数后验分布描述参数不确定性:

p(θ∣D)p(\theta\mid D)

如果后验很窄,表示参数较确定;如果后验很宽,表示参数仍不确定。

后验方差:

Var(θ∣D)=E[(θ−E[θ∣D])2∣D]\mathrm{Var}(\theta\mid D)=\mathbb{E}\left[(\theta-\mathbb{E}[\theta\mid D])^2\mid D\right]

材料模型参数的不确定性会传递到性能预测中。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.5.4 预测不确定性

预测分布:

p(y∗∣x∗,D)=∫p(y∗∣x∗,θ)p(θ∣D) dθp(y_{\ast}\mid x_{\ast},D)=\int p(y_{\ast}\mid x_{\ast},\theta)p(\theta\mid D)\,d\theta

预测方差通常包括:

预测不确定性=参数不确定性+噪声不确定性\text{预测不确定性}=\text{参数不确定性}+\text{噪声不确定性}

若模型在某一区域缺乏训练数据,参数不确定性应显著增大。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.5.5 置信区间与可信区间

概念 频率统计 贝叶斯统计
区间名称 置信区间 可信区间
参数看法 固定未知 随机变量
解释方式 重复抽样中覆盖真值的比例 给定数据后参数落入区间的概率
常见记号 CI\mathrm{CI} CrI\mathrm{CrI}

贝叶斯可信区间更接近工程人员对“参数可能范围”的直觉理解。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

可信区间定义

若区间 [a,b][a,b] 满足:

P(a≤θ≤b∣D)=0.95P(a\leq \theta \leq b\mid D)=0.95

则称其为 95%95\% 可信区间。

常用分位数定义:

a=Q0.025(θ∣D),b=Q0.975(θ∣D)a=Q_{0.025}(\theta\mid D),\qquad b=Q_{0.975}(\theta\mid D)

其中 QpQ_p 表示后验分布的第 pp 分位数。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.5.6 预测区间

预测区间描述未来观测值的可能范围:

P(a≤y∗≤b∣x∗,D)=0.95P(a\leq y_{\ast}\leq b\mid x_{\ast},D)=0.95

它通常比参数可信区间更宽,因为它包含:

  • 参数不确定性。
  • 测量噪声。
  • 样品制备和组织波动。

工程验收更关心预测区间而非仅参数区间。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.5.7 概率决策:从预测到行动

设设计阈值为 yreqy_{\mathrm{req}},材料满足要求的概率为:

P(y∗>yreq∣x∗,D)P(y_{\ast}>y_{\mathrm{req}}\mid x_{\ast},D)

若要求可靠性至少为 0.950.95,则选择条件为:

P(y∗>yreq∣x∗,D)>0.95P(y_{\ast}>y_{\mathrm{req}}\mid x_{\ast},D)>0.95

这比简单判断 y^>yreq\hat{y}>y_{\mathrm{req}} 更稳健。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.5.8 损失函数与最优决策

设行动为 aa,真实结果为 yy,损失函数为 L(a,y)\mathcal{L}(a,y)。

贝叶斯决策选择期望损失最小的行动:

a∗=arg⁡min⁡aE[L(a,y)∣D]a^{\ast}=\arg\min_{a}\mathbb{E}[\mathcal{L}(a,y)\mid D]

离散情形:

a∗=arg⁡min⁡a∑yL(a,y)p(y∣D)a^{\ast}=\arg\min_{a}\sum_y \mathcal{L}(a,y)p(y\mid D)

不同工程任务应使用不同损失函数。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

材料决策中的非对称损失

材料工程中误判代价通常不对称:

决策错误 可能后果 损失特点
将不合格材料判为合格 安全风险、装备失效 高损失
将合格材料判为不合格 成本增加、材料浪费 中等损失
过度保守选择工艺 研发周期延长 中等损失
过度激进选择成分 实验失败或安全风险 高损失

因此不能只用平均预测误差评价模型。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.5.9 校准:概率是否可信?

若模型声称某类样本成功概率为 80%80\%,则在大量这类样本中应约有 80%80\% 成功。

这称为概率校准。

校准误差可理解为:

Calibration Error=∣预测概率−经验频率∣\text{Calibration Error}=\left|\text{预测概率}-\text{经验频率}\right|

高准确率但概率不校准的模型,不适合风险决策。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.5.10 外推风险

模型在训练数据覆盖区域内较可靠:

x∗∈Xtrainx_{\ast}\in \mathcal{X}_{\mathrm{train}}

但在外推区域风险升高:

x∗∉Xtrainx_{\ast}\notin \mathcal{X}_{\mathrm{train}}

材料应用中外推常见于:

  • 新合金体系。
  • 新工艺窗口。
  • 新表征设备。
  • 新温度或服役环境。

可靠模型应能对外推区域给出更高不确定性。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.5.11 探索与利用

材料实验设计存在两种目标:

  • 利用:选择当前预测性能最好的方案。
  • 探索:选择不确定性高、可能带来知识增益的方案。

典型采集函数形式:

a(x)=μ(x)+κσ(x)a(x)=\mu(x)+\kappa\sigma(x)

其中:

  • μ(x)\mu(x):预测均值。
  • σ(x)\sigma(x):预测不确定性。
  • κ\kappa:探索权重。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.5.12 材料实验中的概率目标

不同任务对应不同概率目标:

任务 概率目标
筛选高强合金 P(σy>σreq∣D)P(\sigma_y>\sigma_{\mathrm{req}}\mid D)
控制缺陷率 P(q<qmax∣D)P(q<q_{\mathrm{max}}\mid D)
选择热处理工艺 P(目标组织∣x,D)P(\text{目标组织}\mid x,D)
控制疲劳寿命 P(Nf>Nreq∣D)P(N_f>N_{\mathrm{req}}\mid D)
显微组织识别 P(类别∣图像)P(\text{类别}\mid \text{图像})

概率目标比单一预测值更适合工程约束。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

Python案例:计算超过阈值的概率

import numpy as np
from scipy.stats import norm

# 假设后验预测强度近似正态分布
mu_pred = 1040.0      # MPa
std_pred = 35.0      # MPa
threshold = 1000.0   # MPa

prob_ok = 1.0 - norm.cdf(threshold, loc=mu_pred, scale=std_pred)
print(prob_ok)

if prob_ok > 0.95:
    print("推荐进入下一轮验证")
else:
    print("风险偏高,需要补充实验或调整工艺")
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.5 小结

本节核心是把模型输出转化为风险决策:

预测均值→预测分布→满足要求的概率→期望损失最小决策\text{预测均值} \rightarrow \text{预测分布} \rightarrow \text{满足要求的概率} \rightarrow \text{期望损失最小决策}

关键认识:

  • 不确定性不是附属信息,而是决策依据。
  • 小样本模型必须报告不确定性。
  • 工程决策应考虑非对称损失和可靠性要求。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.6 材料小样本问题中的贝叶斯方法

本节面向材料科学应用:

  1. 材料数据为什么常是小样本?
  2. 小样本建模为什么容易失效?
  3. 贝叶斯方法如何利用物理和文献知识?
  4. 高斯过程与贝叶斯优化的基本思想。
  5. 面向材料研发的实践流程。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.6.1 材料小样本的来源

材料数据难以像互联网数据那样大规模获取:

  • 合成和制备成本高。
  • 表征周期长,如 TEM、EBSD、同步辐射等。
  • 性能测试破坏样品。
  • 多因素耦合导致实验设计复杂。
  • 文献数据分散且标准不统一。

因此材料机器学习常面对:

n≪p或n 很小但实验成本很高n\ll p \quad \text{或} \quad n\ \text{很小但实验成本很高}

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.6.2 小样本建模的主要风险

风险 表现 后果
过拟合 训练误差低,测试误差高 模型不可泛化
偶然相关 把噪声当规律 得到虚假材料规律
外推失控 新区域预测过度自信 实验失败或安全风险
数据偏差 样本集中在成功体系 高估模型能力
单位混乱 wt.% 与 at.% 混用 特征错误

贝叶斯方法不能自动消除这些问题,但能显式表达不确定性。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.6.3 小样本中的先验价值

小样本时,数据提供的信息有限:

p(θ∣D)∝p(D∣θ)p(θ)p(\theta\mid D)\propto p(D\mid\theta)p(\theta)

当 nn 很小时,p(θ)p(\theta) 对后验影响较大。

合理先验可来自:

  • 热力学约束。
  • 动力学方程。
  • 相图和相稳定性。
  • 文献数据统计。
  • 专家经验和工程边界。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.6.4 物理约束作为先验

材料物理中有大量硬约束和软约束:

约束 先验表达
扩散系数为正 D>0D>0,对数正态先验
相分数在 [0,1][0,1] Beta 或 Dirichlet 先验
总相分数为 11 ∑ifi=1\sum_i f_i=1
响应面连续 高斯过程平滑核
反应速率非负 Gamma 或截断正态先验

这些约束能显著缩小小样本下的可行解空间。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.6.5 贝叶斯线性回归用于材料性能预测

设性能与特征近似线性:

y=Xθ+ε,ε∼N(0,σ2I)y=X\theta+\varepsilon,\qquad \varepsilon\sim\mathcal{N}(0,\sigma^2 I)

设参数先验:

θ∼N(θ0,Σ0)\theta\sim\mathcal{N}(\theta_0,\Sigma_0)

则后验仍为正态分布:

θ∣D∼N(θn,Σn)\theta\mid D\sim\mathcal{N}(\theta_n,\Sigma_n)

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

贝叶斯线性回归后验公式

后验协方差:

Σn=(Σ0−1+1σ2XTX)−1\Sigma_n=\left(\Sigma_0^{-1}+\frac{1}{\sigma^2}X^TX\right)^{-1}

后验均值:

θn=Σn(Σ0−1θ0+1σ2XTy)\theta_n=\Sigma_n\left(\Sigma_0^{-1}\theta_0+\frac{1}{\sigma^2}X^Ty\right)

预测均值:

μ∗=x∗Tθn\mu_{\ast}=x_{\ast}^T\theta_n

预测方差包含参数不确定性和噪声项。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.6.6 高斯过程:直接对函数建模

高斯过程不是给参数先验,而是给函数先验:

f(x)∼GP(m(x),k(x,x′))f(x)\sim\mathcal{GP}(m(x),k(x,x'))

其中:

  • m(x)m(x):均值函数。
  • k(x,x′)k(x,x'):核函数,描述两个输入点响应的相关性。

高斯过程适合小样本响应面建模,因为它能自然输出:

μ(x),σ(x)\mu(x),\qquad \sigma(x)

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

高斯过程在材料设计中的意义

高斯过程适合以下材料问题:

  • 成分—性能响应面样本少。
  • 实验成本高,需要主动选择下一点。
  • 需要同时给出预测均值和不确定性。
  • 响应面具有一定平滑性。

典型任务:

合金成分→强度、硬度、腐蚀速率、相稳定性\text{合金成分} \rightarrow \text{强度、硬度、腐蚀速率、相稳定性}

高斯过程也是贝叶斯优化中常用的代理模型。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.6.7 贝叶斯优化的基本思想

目标:用尽可能少的实验找到最优材料或工艺:

x∗=arg⁡max⁡xf(x)x^{\ast}=\arg\max_x f(x)

每轮包含:

  1. 用已有数据训练代理模型。
  2. 根据采集函数选择下一实验点。
  3. 做实验或计算,获得新数据。
  4. 更新模型并重复。

这是一种“模型—实验—反馈”的闭环策略。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

采集函数:平衡探索与利用

上置信界采集函数:

aUCB(x)=μ(x)+κσ(x)a_{\mathrm{UCB}}(x)=\mu(x)+\kappa\sigma(x)

含义:

  • μ(x)\mu(x) 高:当前预测性能好,偏向利用。
  • σ(x)\sigma(x) 高:模型不确定,偏向探索。
  • κ\kappa 大:更重视探索。

材料研发中,探索能避免过早陷入局部工艺窗口。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.6.8 小样本分类:组织类别预测

显微组织类别预测可写为:

P(c∣x,D)P(c\mid x,D)

其中 cc 是组织类别,例如:

  • 等轴晶。
  • 柱状晶。
  • 混合晶。
  • 马氏体、奥氏体、铁素体。

分类决策不应只看最大概率类别,还应关注:

max⁡cP(c∣x,D)\max_c P(c\mid x,D)

若最大概率不高,说明分类不确定。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.6.9 文献数据中的贝叶斯思路

文献数据常存在来源差异:

  • 不同实验室。
  • 不同测试标准。
  • 不同热处理制度。
  • 不同成分标注精度。

可使用层级模型:

yij∼N(μj,σj2)y_{ij}\sim\mathcal{N}(\mu_j,\sigma_j^2)

μj∼N(μ0,τ2)\mu_j\sim\mathcal{N}(\mu_0,\tau^2)

其中 jj 表示不同文献或实验来源。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.6.10 多保真材料数据融合

材料数据常有不同保真度:

数据来源 特点 保真度
第一性原理 物理基础强,计算成本高 中高
分子动力学 原子尺度,时间尺度短 中
相场/有限元 介观或宏观过程 中
高通量实验 接近真实工况,成本高 高
文献数据 数量多但噪声复杂 不均一

贝叶斯框架可把不同来源的数据作为带噪声的证据进行融合。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

多保真融合的简化模型

设真实材料性能函数为 f(x)f(x),低保真观测为:

yL(x)=fL(x)+εLy_L(x)=f_L(x)+\varepsilon_L

高保真观测为:

yH(x)=ρfL(x)+δ(x)+εHy_H(x)=\rho f_L(x)+\delta(x)+\varepsilon_H

其中:

  • ρ\rho:低保真与高保真之间的比例关系。
  • δ(x)\delta(x):系统偏差修正。
  • εL,εH\varepsilon_L,\varepsilon_H:不同噪声水平。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.6.12 适合初学者的工具路线

任务 推荐工具 说明
基础概率计算 NumPy、SciPy 分布、分位数、随机采样
数据处理 Pandas 表格整理和分组统计
简单贝叶斯更新 SciPy.stats Beta、Normal 等分布
贝叶斯回归 PyMC、NumPyro 概率编程
高斯过程 scikit-learn、GPyTorch 响应面与不确定性
贝叶斯优化 scikit-optimize、BoTorch 主动实验设计

本章作业以 NumPy/SciPy 为主,降低工具门槛。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

Python案例:小样本强度的贝叶斯更新

import numpy as np
from scipy.stats import norm

# 小样本屈服强度,单位 MPa
y = np.array([930, 955, 948, 970, 940])
n = len(y)

# 假设测量噪声标准差已知
sigma = 25.0

# 文献经验先验:均值 920 MPa,标准差 60 MPa
mu0, tau0 = 920.0, 60.0

var_post = 1.0 / (n / sigma**2 + 1.0 / tau0**2)
mu_post = var_post * (n * y.mean() / sigma**2 + mu0 / tau0**2)
std_post = np.sqrt(var_post)

print(mu_post, std_post)
print(norm.ppf([0.025, 0.975], loc=mu_post, scale=std_post))
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

案例解释:小样本下如何报告结论

不建议只报告:

μ^=某一个数值\hat{\mu}=\text{某一个数值}

更合理的报告方式:

  • 后验均值:当前对平均强度的最佳估计。
  • 后验标准差:参数仍有多大不确定性。
  • 95%95\% 可信区间:平均强度可能范围。
  • 超过设计阈值的概率:是否满足工程要求。

这更符合材料研发中的风险表达需求。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.6 小结

材料小样本贝叶斯方法的价值在于:

小数据+物理知识+不确定性量化+主动实验\text{小数据}+\text{物理知识}+\text{不确定性量化}+\text{主动实验}

它适合处理:

  • 高成本实验。
  • 成分—工艺—组织—性能复杂映射。
  • 多保真数据融合。
  • 可靠性要求高的工程决策。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

本章总结:一条主线

本章主线可以概括为:

条件概率→贝叶斯定理→参数后验→不确定性决策→材料小样本建模\text{条件概率} \rightarrow \text{贝叶斯定理} \rightarrow \text{参数后验} \rightarrow \text{不确定性决策} \rightarrow \text{材料小样本建模}

核心公式:

p(θ∣D)=p(D∣θ)p(θ)p(D)p(\theta\mid D)=\frac{p(D\mid\theta)p(\theta)}{p(D)}

核心思想:科学结论不是一次性给出,而是在证据积累中持续更新。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

本章重点与难点

层次 重点 难点
基础概率 条件概率、全概率公式 区分 P(A∣B)P(A\mid B) 与 P(B∣A)P(B\mid A)
贝叶斯公式 先验、似然、后验 理解证据项和归一化
参数估计 MLE、MAP MAP 与正则化关系
不确定性 可信区间、预测区间 概率校准和外推风险
材料应用 小样本、先验知识 先验合理性与模型诊断
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

课堂练习1:检测阳性后的真实缺陷概率

某无损检测方法满足:

P(阳性∣缺陷)=0.90P(\text{阳性}\mid\text{缺陷})=0.90

P(阳性∣无缺陷)=0.08P(\text{阳性}\mid\text{无缺陷})=0.08

若某批样品真实缺陷率为 2%2\%,求:

P(缺陷∣阳性)P(\text{缺陷}\mid\text{阳性})

思考:若缺陷率升高到 20%20\%,结果如何变化?

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

课堂练习2:Beta 先验更新

设某工艺缺陷率 qq 的先验为:

q∼Beta(2,18)q\sim\mathrm{Beta}(2,18)

新实验检测 4040 个样品,其中 55 个存在缺陷。

问题:

  1. 写出后验分布。
  2. 计算后验均值。
  3. 与样本缺陷率 5/405/40 比较,解释差异。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

课堂练习3:MLE 与 MAP

设强度数据为:

D={910,930,945,960} MPaD=\{910,930,945,960\}\ \mathrm{MPa}

假设:

yi∼N(μ,302)y_i\sim\mathcal{N}(\mu,30^2)

先验:

μ∼N(900,502)\mu\sim\mathcal{N}(900,50^2)

问题:

  1. 求 μ\mu 的 MLE。
  2. 写出 MAP 计算公式。
  3. 判断 MAP 与 MLE 谁更接近 900 MPa900\ \mathrm{MPa}。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

Python编程作业:材料小样本贝叶斯更新

作业目标

用 Python 完成一个“小样本强度数据的贝叶斯更新”程序。

数据

给定屈服强度数据:

y = [930, 955, 948, 970, 940, 965]

假设测量噪声标准差为:

sigma = 25.0

文献先验为:

mu0 = 920.0
tau0 = 60.0
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

作业提示:可使用的公式

后验方差:

τn2=(nσ2+1τ02)−1\tau_n^2=\left(\frac{n}{\sigma^2}+\frac{1}{\tau_0^2}\right)^{-1}

后验均值:

μn=τn2(nyˉσ2+μ0τ02)\mu_n=\tau_n^2\left(\frac{n\bar{y}}{\sigma^2}+\frac{\mu_0}{\tau_0^2}\right)

超过阈值 TT 的概率:

P(μ>T∣D)=1−Φ(T−μnτn)P(\mu>T\mid D)=1-\Phi\left(\frac{T-\mu_n}{\tau_n}\right)

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

作业参考代码框架

import numpy as np
from scipy.stats import norm

y = np.array([930, 955, 948, 970, 940, 965], dtype=float)
sigma = 25.0
mu0 = 920.0
tau0 = 60.0

n = len(y)
ybar = y.mean()

# 1. MLE
mu_mle = ybar

# 2. 后验均值与方差
var_post = 1.0 / (n / sigma**2 + 1.0 / tau0**2)
std_post = np.sqrt(var_post)
mu_post = var_post * (n * ybar / sigma**2 + mu0 / tau0**2)

# 3. 可信区间与超过阈值概率
credible_interval = norm.ppf([0.025, 0.975], loc=mu_post, scale=std_post)
prob_over_950 = 1.0 - norm.cdf(950.0, loc=mu_post, scale=std_post)

print(mu_mle, mu_post, std_post, credible_interval, prob_over_950)
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

延伸阅读与下一章衔接

本章为后续内容奠定概率基础:

  • 第4章机器学习:损失函数、泛化误差与模型评估。
  • 第5章深度学习:深度模型的不确定性与校准。
  • 第8章主动学习与贝叶斯优化:用不确定性指导实验设计。
  • 第9章材料数据库:数据来源差异与多保真融合。

下一章将进入机器学习建模流程:

数据→特征→模型→评估→应用\text{数据} \rightarrow \text{特征} \rightarrow \text{模型} \rightarrow \text{评估} \rightarrow \text{应用}

《人工智能与大数据》 | 第3章

谢谢

本章关键词

贝叶斯定理、先验、似然、后验、证据、MLE、MAP、不确定性、可信区间、预测区间、小样本材料建模

下一章

机器学习与材料性能预测