第3章 贝叶斯定理与概率思维

Bayesian Theorem and Probabilistic Thinking
学习路径:随机现象 → 条件概率 → 贝叶斯更新 → 参数估计 → 不确定性决策 → 材料小样本建模
本章目标:建立“证据驱动更新”的概率思维,理解先验、似然、后验与模型可靠性。
@Shiyan Pan
CONTENTS

目录

  • 3.1 条件概率、全概率公式与贝叶斯定理 △★
  • 3.2 先验、似然、后验与证据
  • 3.3 贝叶斯思想:从经验知识到数据更新 △
  • 3.4 最大似然估计与最大后验估计
  • 3.5 不确定性量化与概率决策 ★
  • 3.6 材料小样本问题中的贝叶斯方法

主线:不是“背公式”,而是理解新证据如何改变已有判断。

第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

为什么材料科学需要概率思维?

材料研究中常见的问题往往不是“完全确定”:

  • 同一成分、同一工艺下,性能仍有实验离散性。
  • 显微组织图像识别具有标注误差和算法不确定性。
  • 高通量计算存在模型误差、泛函误差和数值误差。
  • 新材料数据少,直接训练复杂模型容易过拟合。

概率思维提供的是:在不完全证据下作出可更新、可解释、可量化风险的判断。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

本章知识地图

从“事件概率”逐步过渡到“模型参数概率”:

事件条件概率贝叶斯定理参数后验预测分布\text{事件} \rightarrow \text{条件概率} \rightarrow \text{贝叶斯定理} \rightarrow \text{参数后验} \rightarrow \text{预测分布}

对应材料问题:

实验现象测量数据模型更新不确定性评估实验决策\text{实验现象} \rightarrow \text{测量数据} \rightarrow \text{模型更新} \rightarrow \text{不确定性评估} \rightarrow \text{实验决策}

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

先给出一个直观例子

问题:某种热处理工艺可能导致裂纹风险升高。

  • 经验判断:该工艺裂纹概率约为 10%10\%
  • 新证据:在线声发射信号异常。
  • 已知:有裂纹时信号异常概率高,无裂纹时也可能误报。

贝叶斯问题:

P(裂纹信号异常)=?P(\text{裂纹}\mid \text{信号异常})=?

这不是简单看“信号准确率”,还必须考虑裂纹本身的基准概率。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

本章的基本符号

符号 含义 材料科学示例
AA 事件或假设 样品存在裂纹
BB 观测证据 声发射信号异常
P(A)P(A) 先验概率 观察前的裂纹概率
P(BA)P(B\mid A) 条件概率或似然 有裂纹时信号异常概率
P(AB)P(A\mid B) 后验概率 信号异常后的裂纹概率
DD 数据集 成分、工艺、组织、性能数据
θ\theta 模型参数 强度模型中的系数
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.1 条件概率、全概率公式与贝叶斯定理

本节从事件概率开始,逐步建立贝叶斯公式:

  1. 样本空间、事件与概率。
  2. 联合概率与条件概率。
  3. 乘法公式与全概率公式。
  4. 贝叶斯定理及其直观解释。
  5. 用材料检测案例理解“基准概率”的重要性。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

概率的三个基本性质

对任意事件 AA 和样本空间 Ω\Omega

0P(A)10\leq P(A)\leq 1

P(Ω)=1P(\Omega)=1

AB=A\cap B=\varnothing,则:

P(AB)=P(A)+P(B)P(A\cup B)=P(A)+P(B)

材料解释:不同失效模式若互斥,其总体失效概率可以分解求和。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

事件关系:交、并、补

常见事件运算:

运算 记号 含义 材料示例
交集 ABA\cap B 同时发生 高强度且高韧性
并集 ABA\cup B 至少一个发生 裂纹或夹杂存在
补集 AcA^c 事件不发生 样品无裂纹
空集 \varnothing 不可能事件 同时完全熔化且完全未熔化

概率建模的第一步是把实际问题转化为清晰事件。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.1.2 联合概率:两个事件同时发生

联合概率描述两个事件同时发生的概率:

P(AB)P(A\cap B)

例:

  • AA:样品抗拉强度 >1000 MPa>1000\ \mathrm{MPa}
  • BB:延伸率 >10%>10\%
  • P(AB)P(A\cap B):同时满足高强度和高塑性的概率。

材料设计中常常关心的不是单一性能,而是多目标性能组合。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.1.3 条件概率:已知一个事件后再判断

条件概率定义为:

P(AB)=P(AB)P(B),P(B)>0P(A\mid B)=\frac{P(A\cap B)}{P(B)},\quad P(B)>0

含义:在事件 BB 已经发生的样本中,事件 AA 发生的比例。

材料示例:

P(裂纹声发射异常)P(\text{裂纹}\mid \text{声发射异常})

表示在声发射异常的样品中,真正存在裂纹的概率。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

条件概率的教学重点

条件概率最容易产生两个误解:

  1. P(AB)P(A\mid B)P(BA)P(B\mid A) 混淆。
  2. 忽略 P(A)P(A) 的基准概率。

例如:

P(信号异常裂纹)P(\text{信号异常}\mid \text{裂纹})

P(裂纹信号异常)P(\text{裂纹}\mid \text{信号异常})

通常不是同一个数。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.1.4 乘法公式

由条件概率定义可得:

P(AB)=P(AB)P(B)P(A\cap B)=P(A\mid B)P(B)

也可写成:

P(AB)=P(BA)P(A)P(A\cap B)=P(B\mid A)P(A)

因此:

P(AB)P(B)=P(BA)P(A)P(A\mid B)P(B)=P(B\mid A)P(A)

贝叶斯定理正是从这个等式出发得到的。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

独立性:是否互相影响?

AABB 独立,则:

P(AB)=P(A)P(A\mid B)=P(A)

等价于:

P(AB)=P(A)P(B)P(A\cap B)=P(A)P(B)

材料示例:

  • 若夹杂概率与热处理温度无关,则二者可近似独立。
  • 若高温处理显著改变夹杂诱发裂纹概率,则不能假设独立。

建模中随意假设独立会导致严重偏差。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.1.5 全概率公式:把复杂事件分解

A1,A2,,AKA_1,A_2,\ldots,A_K 构成样本空间的一组划分:

AiAj=(ij),i=1KAi=ΩA_i\cap A_j=\varnothing\quad (i\neq j),\qquad \bigcup_{i=1}^{K}A_i=\Omega

则任意事件 BB 的概率为:

P(B)=i=1KP(BAi)P(Ai)P(B)=\sum_{i=1}^{K}P(B\mid A_i)P(A_i)

这就是全概率公式。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

全概率公式的材料解释

BB 为“检测信号异常”,裂纹状态只有两种:

  • A1=有裂纹A_1=\text{有裂纹}
  • A2=无裂纹A_2=\text{无裂纹}

则:

P(B)=P(BA1)P(A1)+P(BA2)P(A2)P(B)=P(B\mid A_1)P(A_1)+P(B\mid A_2)P(A_2)

总异常率由两部分组成:

  1. 真有裂纹导致的异常。
  2. 无裂纹但误报导致的异常。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.1.6 贝叶斯定理:反向概率更新

由乘法公式和全概率公式可得:

P(AiB)=P(BAi)P(Ai)j=1KP(BAj)P(Aj)P(A_i\mid B)=\frac{P(B\mid A_i)P(A_i)}{\sum_{j=1}^{K}P(B\mid A_j)P(A_j)}

对两个事件 AAAcA^c

P(AB)=P(BA)P(A)P(BA)P(A)+P(BAc)P(Ac)P(A\mid B)=\frac{P(B\mid A)P(A)}{P(B\mid A)P(A)+P(B\mid A^c)P(A^c)}

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

贝叶斯定理的四个组成部分

名称 公式位置 含义 材料示例
先验 P(Ai)P(A_i) 证据前的判断 初始缺陷概率
似然 P(BAi)P(B\mid A_i) 假设下观察到证据的概率 有缺陷时检测报警概率
证据 P(B)P(B) 证据总体概率 报警总体概率
后验 P(AiB)P(A_i\mid B) 证据后的更新判断 报警后的真实缺陷概率

一句话:后验 == 先验 ×\times 似然,再归一化。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

例1:缺陷检测中的基准概率

设某批材料中真实裂纹概率为 1%1\%

P(A)=0.01P(A)=0.01

检测方法性能:

P(BA)=0.95,P(BAc)=0.05P(B\mid A)=0.95,\qquad P(B\mid A^c)=0.05

其中 BB 表示“检测结果为阳性”。求:

P(AB)P(A\mid B)

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

例1计算:阳性不等于一定有裂纹

根据贝叶斯定理:

P(AB)=0.95×0.010.95×0.01+0.05×0.99P(A\mid B)=\frac{0.95\times 0.01}{0.95\times 0.01+0.05\times 0.99}

计算得:

P(AB)0.161P(A\mid B)\approx 0.161

解释:即使检测灵敏度很高,由于裂纹本身很少见,阳性样品中仍可能包含大量误报。

这就是低基准概率问题。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

用自然频数解释贝叶斯定理

假设有 1000010000 个样品:

类别 数量 阳性概率 阳性数量
有裂纹 100100 0.950.95 9595
无裂纹 99009900 0.050.05 495495
合计 1000010000 590590

因此:

P(有裂纹阳性)=955900.161P(\text{有裂纹}\mid \text{阳性})=\frac{95}{590}\approx 0.161

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

课堂讨论:为什么人们容易误判?

常见错误思路:

“检测准确率 95%95\%,所以阳性后有裂纹概率约 95%95\%。”

问题在于忽略了:

  • 裂纹的先验概率很低。
  • 无裂纹样品数量远多于有裂纹样品。
  • 小误报率乘以大基数,仍会产生大量误报。

材料检测、医学检测、质量控制都存在类似问题。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.1 小结

本节建立了贝叶斯定理的基本路径:

条件概率定义乘法公式全概率公式贝叶斯定理\text{条件概率定义} \rightarrow \text{乘法公式} \rightarrow \text{全概率公式} \rightarrow \text{贝叶斯定理}

核心认识:

  • P(AB)P(A\mid B)P(BA)P(B\mid A) 不能互换。
  • 后验判断必须同时考虑先验概率和新证据。
  • 贝叶斯公式本质上是证据条件下的概率重分配。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.2 先验、似然、后验与证据

本节从事件概率过渡到参数估计:

  1. 什么是参数与数据?
  2. 先验如何表达已有知识?
  3. 似然如何表达数据对参数的支持?
  4. 证据如何归一化后验?
  5. 后验分布如何用于预测与决策?
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.2.1 从事件假设到模型参数

在机器学习和材料建模中,假设常常不是离散事件,而是模型参数:

θ=(θ1,θ2,,θp)\theta=(\theta_1,\theta_2,\ldots,\theta_p)

例如线性性能模型:

y=θ0+θ1x1+θ2x2+εy=\theta_0+\theta_1 x_1+\theta_2 x_2+\varepsilon

其中:

  • yy:材料性能,如硬度或强度。
  • x1,x2x_1,x_2:成分或工艺变量。
  • θ\theta:待估计参数。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.2.2 数据集记号

材料数据集通常写为:

D={(xi,yi)}i=1nD=\{(x_i,y_i)\}_{i=1}^{n}

其中:

  • xix_i:第 ii 个样品的输入特征。
  • yiy_i:第 ii 个样品的目标性能。
  • nn:样本数量。

若存在图像、谱图或组织特征,也可写成:

xi=(成分,工艺,组织描述符,谱图特征)x_i=(\text{成分},\text{工艺},\text{组织描述符},\text{谱图特征})

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.2.3 贝叶斯参数推断公式

对模型参数 θ\theta,贝叶斯公式写为:

p(θD)=p(Dθ)p(θ)p(D)p(\theta\mid D)=\frac{p(D\mid \theta)p(\theta)}{p(D)}

其中:

p(D)=p(Dθ)p(θ)dθp(D)=\int p(D\mid \theta)p(\theta)\,d\theta

常写为比例形式:

p(θD)p(Dθ)p(θ)p(\theta\mid D)\propto p(D\mid \theta)p(\theta)

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

参数贝叶斯公式的解释

数学符号 作用 直观含义
先验 p(θ)p(\theta) 数据前的参数知识 专家经验、历史实验、物理约束
似然 p(Dθ)p(D\mid\theta) 数据对参数的支持 参数给定后,观测数据出现的可能性
证据 p(D)p(D) 归一化常数 让后验积分为 11
后验 p(θD)p(\theta\mid D) 更新后的参数分布 数据和经验共同决定的认识

贝叶斯推断不是给出一个参数点,而是给出参数分布。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.2.4 先验:把已有知识写成概率分布

先验可以来自:

  • 物理约束:扩散系数为正,界面能为正。
  • 历史数据:类似合金体系的实验结果。
  • 专家经验:某一工艺窗口更可能获得目标组织。
  • 文献知识:参数的大致数量级。

示例:若参数 θ\theta 可能接近 μ0\mu_0,可设置正态先验:

θN(μ0,τ02)\theta\sim \mathcal{N}(\mu_0,\tau_0^2)

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

常见先验分布

参数类型 常见先验 适用对象
连续实数 正态分布 回归系数、模型偏置
正数 对数正态分布、Gamma分布 扩散系数、反应速率
概率 Beta分布 缺陷率、成功率
多类别概率 Dirichlet分布 相类别比例、缺陷类别比例
函数 高斯过程 未知响应面

先验并非“主观随意”,而是要透明、可解释、可检验。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.2.5 似然:数据如何支持参数

似然函数定义为:

L(θ;D)=p(Dθ)L(\theta;D)=p(D\mid \theta)

若样本独立同分布:

L(θ;D)=i=1np(yixi,θ)L(\theta;D)=\prod_{i=1}^{n}p(y_i\mid x_i,\theta)

常用对数似然:

(θ;D)=logL(θ;D)=i=1nlogp(yixi,θ)\ell(\theta;D)=\log L(\theta;D)=\sum_{i=1}^{n}\log p(y_i\mid x_i,\theta)

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

例2:正态误差下的回归似然

设性能数据满足:

yi=f(xi;θ)+εi,εiN(0,σ2)y_i=f(x_i;\theta)+\varepsilon_i,\qquad \varepsilon_i\sim\mathcal{N}(0,\sigma^2)

则单个样本概率为:

p(yixi,θ)=12πσ2exp[(yif(xi;θ))22σ2]p(y_i\mid x_i,\theta)=\frac{1}{\sqrt{2\pi\sigma^2}}\exp\left[-\frac{(y_i-f(x_i;\theta))^2}{2\sigma^2}\right]

总体似然为所有样本概率的乘积。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

对数似然与平方误差

正态误差下的对数似然为:

(θ;D)=n2log(2πσ2)12σ2i=1n(yif(xi;θ))2\ell(\theta;D)=-\frac{n}{2}\log(2\pi\sigma^2)-\frac{1}{2\sigma^2}\sum_{i=1}^{n}(y_i-f(x_i;\theta))^2

σ\sigma 已知,最大化对数似然等价于最小化平方误差:

minθi=1n(yif(xi;θ))2\min_{\theta}\sum_{i=1}^{n}(y_i-f(x_i;\theta))^2

这说明普通最小二乘法可由概率模型推出。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.2.6 证据:为什么需要归一化?

后验必须满足:

p(θD)dθ=1\int p(\theta\mid D)\,d\theta=1

证据项为:

p(D)=p(Dθ)p(θ)dθp(D)=\int p(D\mid\theta)p(\theta)\,d\theta

它的作用是把 p(Dθ)p(θ)p(D\mid\theta)p(\theta) 归一化为真正的概率分布。

在模型比较中,证据还能衡量模型整体解释数据的能力。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.2.7 后验:更新后的完整认识

后验分布包含两类信息:

  1. 参数最可能位于哪里。
  2. 参数仍有多大不确定性。

常用后验摘要包括:

E[θD]\mathbb{E}[\theta\mid D]

Var(θD)\mathrm{Var}(\theta\mid D)

θMAP=argmaxθp(θD)\theta_{\mathrm{MAP}}=\arg\max_{\theta}p(\theta\mid D)

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.2.8 后验预测分布

真正用于预测的不是单一参数,而是后验预测分布:

p(yx,D)=p(yx,θ)p(θD)dθp(y_{\ast}\mid x_{\ast},D)=\int p(y_{\ast}\mid x_{\ast},\theta)p(\theta\mid D)\,d\theta

含义:

  • 每个可能参数 θ\theta 都给出一个预测。
  • 后验分布决定这些预测的权重。
  • 最终预测同时考虑参数不确定性和观测噪声。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

贝叶斯流程图

典型贝叶斯建模流程:

已有知识p(θ)\text{已有知识} \rightarrow p(\theta)

数据生成假设p(Dθ)\text{数据生成假设} \rightarrow p(D\mid\theta)

贝叶斯更新p(θD)\text{贝叶斯更新} \rightarrow p(\theta\mid D)

预测与决策p(yx,D)\text{预测与决策} \rightarrow p(y_{\ast}\mid x_{\ast},D)

该流程特别适合小样本、高成本实验和有明确物理先验的材料问题。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.2 小结

本节完成了从事件概率到参数概率的过渡:

  • 先验 p(θ)p(\theta) 表示数据前的知识。
  • 似然 p(Dθ)p(D\mid\theta) 表示参数对数据的解释能力。
  • 证据 p(D)p(D) 负责归一化和模型比较。
  • 后验 p(θD)p(\theta\mid D) 是更新后的参数分布。
  • 后验预测 p(yx,D)p(y_{\ast}\mid x_{\ast},D) 是面向应用的结果。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.3 贝叶斯思想:从经验知识到数据更新

本节重点不是公式推导,而是概率思维方式:

  1. 为什么“经验”可以进入模型?
  2. 数据如何逐步修正经验?
  3. 为什么贝叶斯方法适合小样本?
  4. 如何避免过强先验导致结论偏置?
  5. 如何在材料研究中进行可解释更新?
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.3.1 频率观点与贝叶斯观点

问题 频率观点 贝叶斯观点
参数 θ\theta 固定但未知 具有概率分布
概率含义 长期重复频率 不确定性的量化
数据作用 用于估计固定参数 用于更新参数分布
结果表达 点估计和置信区间 后验分布和可信区间
适合问题 大样本重复实验 小样本、先验知识丰富问题

二者不是简单对立,而是解决问题的不同框架。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.3.2 贝叶斯更新的核心思想

贝叶斯更新可概括为:

后验认知已有认知×新证据支持度\text{后验认知} \propto \text{已有认知}\times\text{新证据支持度}

数学形式:

p(θD)p(θ)p(Dθ)p(\theta\mid D)\propto p(\theta)p(D\mid\theta)

每增加一批新数据 DnewD_{\mathrm{new}}

p(θD,Dnew)p(Dnewθ)p(θD)p(\theta\mid D,D_{\mathrm{new}})\propto p(D_{\mathrm{new}}\mid\theta)p(\theta\mid D)

旧后验可以成为新先验。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.3.3 顺序更新:逐批实验的自然框架

材料实验通常不是一次性完成,而是逐批进行:

  1. 根据文献确定初始工艺窗口。
  2. 进行第一批实验,更新性能模型。
  3. 根据后验不确定性选择下一批实验。
  4. 继续更新,直到满足设计目标。

贝叶斯顺序更新:

p(θD1,D2)=p(D2θ)p(θD1)p(D2D1)p(\theta\mid D_1,D_2)=\frac{p(D_2\mid\theta)p(\theta\mid D_1)}{p(D_2\mid D_1)}

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

例3:Beta-Binomial 缺陷率更新

设缺陷率为 qq,它是一个概率参数:

0q10\leq q\leq 1

用 Beta 分布作为先验:

qBeta(α,β)q\sim \mathrm{Beta}(\alpha,\beta)

若检测 nn 个样品,其中 kk 个有缺陷,则似然为二项分布:

p(kq)=(nk)qk(1q)nkp(k\mid q)=\binom{n}{k}q^k(1-q)^{n-k}

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

Beta-Binomial 的后验更新

Beta 先验与二项似然共轭,后验仍为 Beta 分布:

qk,nBeta(α+k,β+nk)q\mid k,n\sim\mathrm{Beta}(\alpha+k,\beta+n-k)

后验均值为:

E[qk,n]=α+kα+β+n\mathbb{E}[q\mid k,n]=\frac{\alpha+k}{\alpha+\beta+n}

解释:

  • α\alpha 可理解为先验缺陷样本数。
  • β\beta 可理解为先验合格样本数。
  • 新实验把计数加到先验上。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

Python案例:缺陷率贝叶斯更新

import numpy as np
from scipy.stats import beta

# 先验:经验认为缺陷率约为 5%,等效样本量约 20
alpha0, beta0 = 1, 19

# 新数据:检测 50 个样品,发现 4 个缺陷
n, k = 50, 4
alpha_post = alpha0 + k
beta_post = beta0 + n - k

mean_prior = alpha0 / (alpha0 + beta0)
mean_post = alpha_post / (alpha_post + beta_post)
ci = beta.ppf([0.025, 0.975], alpha_post, beta_post)

print(mean_prior, mean_post, ci)
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

代码结果如何解释?

运行结果给出三个信息:

  • 先验均值:实验前的缺陷率判断。
  • 后验均值:加入新数据后的缺陷率判断。
  • 95%95\% 可信区间:缺陷率可能范围。

若后验可信区间仍较宽,说明当前样本量不足。

贝叶斯方法不会把小样本结果过度解释为确定结论。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.3.4 先验强度:经验影响有多大?

Beta 先验中,α+β\alpha+\beta 可理解为先验强度。

α+β\alpha+\beta 很小:

数据主导后验\text{数据主导后验}

α+β\alpha+\beta 很大:

先验强烈约束后验\text{先验强烈约束后验}

材料小样本建模中,先验强度必须与文献可靠性、实验一致性和物理约束相匹配。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.3.5 先验敏感性分析

为了避免先验任意性,应比较多组先验:

p1(θ),p2(θ),p3(θ)p_1(\theta),\quad p_2(\theta),\quad p_3(\theta)

观察后验结论是否稳定:

p(θD,p1),p(θD,p2),p(θD,p3)p(\theta\mid D,p_1),\quad p(\theta\mid D,p_2),\quad p(\theta\mid D,p_3)

若结论高度依赖某一先验,需要谨慎解释。

材料论文中应报告先验来源和敏感性。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.3.6 贝叶斯不是“用经验压倒数据”

合理贝叶斯分析应满足:

  • 先验来源透明。
  • 先验强度与知识可信度匹配。
  • 数据足够时,后验应能够被数据显著修正。
  • 结论应包含不确定性,而不是只给最优值。

不合理做法:

  • 为了得到期望结论而调先验。
  • 不报告先验假设。
  • 忽略模型错设和数据偏差。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.3.7 材料研究中的经验知识类型

经验知识 可转化的先验形式 示例
参数正性 截断分布或对数正态分布 扩散系数 D>0D>0
数量级 对数正态先验 D1012 m2/sD\sim 10^{-12}\ \mathrm{m^2/s}
平滑性 高斯过程核函数 成分-性能曲面连续变化
相图约束 先验可行域 温度和成分落在某相区
工艺窗口 区间先验 激光功率、扫描速度范围

关键是让知识以可计算形式进入模型。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.3.8 材料案例:合金强度经验先验

假设某合金强度模型为:

σy=θ0+θ1c+ε\sigma_y=\theta_0+\theta_1 c+\varepsilon

其中 cc 为强化元素含量。

根据历史经验:元素增加通常提高强度,因此可设:

θ1N+(μ1,τ12)\theta_1\sim\mathcal{N}^{+}(\mu_1,\tau_1^2)

其中 N+\mathcal{N}^{+} 表示截断在正区间的正态分布。

该先验表达的是“强化效应大概率为正”。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.3 小结

贝叶斯思想的核心不是复杂公式,而是科学认知过程:

经验知识+新实验数据更新后的不确定性认识\text{经验知识} + \text{新实验数据} \rightarrow \text{更新后的不确定性认识}

对材料科学尤其重要:

  • 数据往往昂贵且小样本。
  • 物理知识和文献经验丰富。
  • 决策需要考虑风险和不确定性。
  • 模型应能随新数据持续更新。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.4 最大似然估计与最大后验估计

本节比较两种常用点估计方法:

  1. 最大似然估计 MLE。
  2. 最大后验估计 MAP。
  3. MLE 与最小二乘法的关系。
  4. MAP 与正则化的关系。
  5. 用简单回归案例理解二者差异。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.4.1 为什么需要点估计?

完整贝叶斯推断输出后验分布:

p(θD)p(\theta\mid D)

但工程应用中常常还需要一个代表性参数:

  • 用于快速预测。
  • 用于模型部署。
  • 用于与传统方法比较。
  • 用于课堂手算与程序实现。

点估计是对分布信息的压缩,不应替代不确定性分析。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.4.2 最大似然估计 MLE

最大似然估计选择最能解释数据的参数:

θ^MLE=argmaxθp(Dθ)\hat{\theta}_{\mathrm{MLE}}=\arg\max_{\theta}p(D\mid\theta)

等价于最大化对数似然:

θ^MLE=argmaxθ(θ;D)\hat{\theta}_{\mathrm{MLE}}=\arg\max_{\theta}\ell(\theta;D)

其中:

(θ;D)=logp(Dθ)\ell(\theta;D)=\log p(D\mid\theta)

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

例4:正态均值的 MLE

设:

yiN(μ,σ2)y_i\sim\mathcal{N}(\mu,\sigma^2)

其中 σ2\sigma^2 已知,待估计 μ\mu

似然为:

p(Dμ)=i=1n12πσ2exp[(yiμ)22σ2]p(D\mid\mu)=\prod_{i=1}^{n}\frac{1}{\sqrt{2\pi\sigma^2}}\exp\left[-\frac{(y_i-\mu)^2}{2\sigma^2}\right]

最大化似然等价于最小化:

i=1n(yiμ)2\sum_{i=1}^{n}(y_i-\mu)^2

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

正态均值 MLE 结果

对目标函数求导:

ddμi=1n(yiμ)2=2i=1n(yiμ)\frac{d}{d\mu}\sum_{i=1}^{n}(y_i-\mu)^2=-2\sum_{i=1}^{n}(y_i-\mu)

令导数为零:

i=1n(yiμ)=0\sum_{i=1}^{n}(y_i-\mu)=0

得到:

μ^MLE=yˉ=1ni=1nyi\hat{\mu}_{\mathrm{MLE}}=\bar{y}=\frac{1}{n}\sum_{i=1}^{n}y_i

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.4.3 最大后验估计 MAP

最大后验估计选择后验概率最大的参数:

θ^MAP=argmaxθp(θD)\hat{\theta}_{\mathrm{MAP}}=\arg\max_{\theta}p(\theta\mid D)

由于:

p(θD)p(Dθ)p(θ)p(\theta\mid D)\propto p(D\mid\theta)p(\theta)

所以:

θ^MAP=argmaxθ[logp(Dθ)+logp(θ)]\hat{\theta}_{\mathrm{MAP}}=\arg\max_{\theta}\left[\log p(D\mid\theta)+\log p(\theta)\right]

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

MAP 的直观解释

MAP 同时考虑两个因素:

  1. 参数能否解释数据:p(Dθ)p(D\mid\theta)
  2. 参数是否符合先验知识:p(θ)p(\theta)

因此:

MAP=数据拟合+先验约束\text{MAP}=\text{数据拟合}+\text{先验约束}

在小样本材料问题中,MAP 常比 MLE 更稳定。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

例5:正态先验下的 MAP

仍设:

yiN(μ,σ2)y_i\sim\mathcal{N}(\mu,\sigma^2)

加入先验:

μN(μ0,τ02)\mu\sim\mathcal{N}(\mu_0,\tau_0^2)

后验满足:

p(μD)p(Dμ)p(μ)p(\mu\mid D)\propto p(D\mid\mu)p(\mu)

MAP 是后验分布的峰值位置。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

正态均值 MAP 结果

正态-正态共轭下,后验均值为:

μn=nσ2yˉ+1τ02μ0nσ2+1τ02\mu_n=\frac{\frac{n}{\sigma^2}\bar{y}+\frac{1}{\tau_0^2}\mu_0}{\frac{n}{\sigma^2}+\frac{1}{\tau_0^2}}

后验方差为:

τn2=(nσ2+1τ02)1\tau_n^2=\left(\frac{n}{\sigma^2}+\frac{1}{\tau_0^2}\right)^{-1}

此时 MAP 与后验均值相同:

μ^MAP=μn\hat{\mu}_{\mathrm{MAP}}=\mu_n

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

MAP 是加权平均

后验均值可理解为先验均值与样本均值的加权平均:

μn=wyˉ+(1w)μ0\mu_n=w\bar{y}+(1-w)\mu_0

其中:

w=nσ2nσ2+1τ02w=\frac{\frac{n}{\sigma^2}}{\frac{n}{\sigma^2}+\frac{1}{\tau_0^2}}

解释:

  • 样本量 nn 越大,yˉ\bar{y} 权重越大。
  • 先验方差 τ02\tau_0^2 越小,先验均值权重越大。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.4.4 MLE 与 MAP 的比较

比较项 MLE MAP
优化对象 p(Dθ)p(D\mid\theta) p(θD)p(\theta\mid D)
是否使用先验
小样本稳定性 较弱 通常更强
与正则化关系 无直接先验项 先验可产生正则化项
输出 参数点估计 参数点估计
局限 忽略已有知识 依赖先验设定

注意:二者都是点估计,不等同于完整贝叶斯推断。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.4.5 MAP 与正则化

若线性回归误差为正态分布,并设参数先验:

θN(0,τ2I)\theta\sim\mathcal{N}(0,\tau^2 I)

则 MAP 等价于最小化:

i=1n(yixiTθ)2+λθ22\sum_{i=1}^{n}(y_i-x_i^T\theta)^2+\lambda\lVert\theta\rVert_2^2

这就是岭回归形式。

其中 λ\lambda 与噪声方差和先验方差有关。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

正则化的概率解释

正则化不是任意惩罚项,而可解释为先验假设:

正则化 对应先验 效果
L2L_2 正则化 正态先验 参数连续收缩
L1L_1 正则化 Laplace先验 促使部分参数为零
非负约束 截断先验 满足物理正性
平滑约束 高斯过程先验 响应面平滑

因此 MAP 提供了“正则化为什么合理”的概率解释。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

Python案例:MLE 与 MAP 对比

import numpy as np

# 小样本强度数据,单位 MPa
y = np.array([912, 935, 928, 970, 940])
sigma = 30.0

# MLE: 正态均值估计
mu_mle = y.mean()

# MAP: 正态先验
mu0 = 900.0      # 文献或经验均值
tau0 = 50.0      # 先验不确定性
n = len(y)
mu_map = ((n / sigma**2) * y.mean() + (1 / tau0**2) * mu0) / ((n / sigma**2) + (1 / tau0**2))

print(mu_mle, mu_map)
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

如何解释 MLE 与 MAP 的差别?

  • MLE 完全由当前五个样本决定。
  • MAP 在样本均值与先验均值之间折中。
  • 若样本量增加,MAP 会逐渐接近 MLE。
  • 若先验很强,MAP 会更靠近先验均值。

材料小样本场景中,MAP 可以避免个别样本导致估计剧烈波动。

但前提是先验来源合理且被明确报告。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.4.6 不要把 MAP 等同完整贝叶斯

MAP 只取后验分布的最大点:

θ^MAP=argmaxθp(θD)\hat{\theta}_{\mathrm{MAP}}=\arg\max_{\theta}p(\theta\mid D)

但完整贝叶斯还关心:

Var(θD)\mathrm{Var}(\theta\mid D)

以及:

p(yx,D)p(y_{\ast}\mid x_{\ast},D)

若只给 MAP 而不给不确定性,贝叶斯方法的优势会被削弱。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.4 小结

本节核心关系:

MLE:θ^=argmaxθp(Dθ)\text{MLE}:\quad \hat{\theta}=\arg\max_{\theta}p(D\mid\theta)

MAP:θ^=argmaxθp(Dθ)p(θ)\text{MAP}:\quad \hat{\theta}=\arg\max_{\theta}p(D\mid\theta)p(\theta)

理解要点:

  • MLE 只看数据。
  • MAP 同时看数据和先验。
  • 正则化可以从先验角度解释。
  • 点估计不能替代不确定性分析。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.5 不确定性量化与概率决策

本节从“估计参数”进入“基于不确定性的决策”:

  1. 不确定性的来源与分类。
  2. 置信区间、可信区间、预测区间。
  3. 后验预测与风险评价。
  4. 期望损失最小化。
  5. 材料实验中的探索—利用平衡。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.5.1 为什么必须量化不确定性?

仅给出一个预测值通常不足以支撑工程决策:

y^=1020 MPa\hat{y}=1020\ \mathrm{MPa}

关键问题是:

  • 预测误差可能有多大?
  • 是否可靠地超过设计阈值?
  • 新成分是否处于训练数据外推区?
  • 是否值得开展下一轮实验?

可靠 AI 模型必须同时输出预测值与不确定性。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.5.2 两类不确定性

类型 英文 来源 是否可通过增加数据降低
偶然不确定性 Aleatoric uncertainty 实验噪声、材料本征波动 通常不能完全消除
认知不确定性 Epistemic uncertainty 数据不足、模型未知、参数不确定 可通过增加数据降低

材料小样本问题中,认知不确定性往往占主导。

贝叶斯方法天然适合描述参数和模型认知不确定性。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.5.3 参数不确定性

参数后验分布描述参数不确定性:

p(θD)p(\theta\mid D)

如果后验很窄,表示参数较确定;如果后验很宽,表示参数仍不确定。

后验方差:

Var(θD)=E[(θE[θD])2D]\mathrm{Var}(\theta\mid D)=\mathbb{E}\left[(\theta-\mathbb{E}[\theta\mid D])^2\mid D\right]

材料模型参数的不确定性会传递到性能预测中。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.5.4 预测不确定性

预测分布:

p(yx,D)=p(yx,θ)p(θD)dθp(y_{\ast}\mid x_{\ast},D)=\int p(y_{\ast}\mid x_{\ast},\theta)p(\theta\mid D)\,d\theta

预测方差通常包括:

预测不确定性=参数不确定性+噪声不确定性\text{预测不确定性}=\text{参数不确定性}+\text{噪声不确定性}

若模型在某一区域缺乏训练数据,参数不确定性应显著增大。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.5.5 置信区间与可信区间

概念 频率统计 贝叶斯统计
区间名称 置信区间 可信区间
参数看法 固定未知 随机变量
解释方式 重复抽样中覆盖真值的比例 给定数据后参数落入区间的概率
常见记号 CI\mathrm{CI} CrI\mathrm{CrI}

贝叶斯可信区间更接近工程人员对“参数可能范围”的直觉理解。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

可信区间定义

若区间 [a,b][a,b] 满足:

P(aθbD)=0.95P(a\leq \theta \leq b\mid D)=0.95

则称其为 95%95\% 可信区间。

常用分位数定义:

a=Q0.025(θD),b=Q0.975(θD)a=Q_{0.025}(\theta\mid D),\qquad b=Q_{0.975}(\theta\mid D)

其中 QpQ_p 表示后验分布的第 pp 分位数。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.5.6 预测区间

预测区间描述未来观测值的可能范围:

P(aybx,D)=0.95P(a\leq y_{\ast}\leq b\mid x_{\ast},D)=0.95

它通常比参数可信区间更宽,因为它包含:

  • 参数不确定性。
  • 测量噪声。
  • 样品制备和组织波动。

工程验收更关心预测区间而非仅参数区间。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.5.7 概率决策:从预测到行动

设设计阈值为 yreqy_{\mathrm{req}},材料满足要求的概率为:

P(y>yreqx,D)P(y_{\ast}>y_{\mathrm{req}}\mid x_{\ast},D)

若要求可靠性至少为 0.950.95,则选择条件为:

P(y>yreqx,D)>0.95P(y_{\ast}>y_{\mathrm{req}}\mid x_{\ast},D)>0.95

这比简单判断 y^>yreq\hat{y}>y_{\mathrm{req}} 更稳健。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.5.8 损失函数与最优决策

设行动为 aa,真实结果为 yy,损失函数为 L(a,y)\mathcal{L}(a,y)

贝叶斯决策选择期望损失最小的行动:

a=argminaE[L(a,y)D]a^{\ast}=\arg\min_{a}\mathbb{E}[\mathcal{L}(a,y)\mid D]

离散情形:

a=argminayL(a,y)p(yD)a^{\ast}=\arg\min_{a}\sum_y \mathcal{L}(a,y)p(y\mid D)

不同工程任务应使用不同损失函数。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

材料决策中的非对称损失

材料工程中误判代价通常不对称:

决策错误 可能后果 损失特点
将不合格材料判为合格 安全风险、装备失效 高损失
将合格材料判为不合格 成本增加、材料浪费 中等损失
过度保守选择工艺 研发周期延长 中等损失
过度激进选择成分 实验失败或安全风险 高损失

因此不能只用平均预测误差评价模型。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.5.9 校准:概率是否可信?

若模型声称某类样本成功概率为 80%80\%,则在大量这类样本中应约有 80%80\% 成功。

这称为概率校准。

校准误差可理解为:

Calibration Error=预测概率经验频率\text{Calibration Error}=\left|\text{预测概率}-\text{经验频率}\right|

高准确率但概率不校准的模型,不适合风险决策。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.5.10 外推风险

模型在训练数据覆盖区域内较可靠:

xXtrainx_{\ast}\in \mathcal{X}_{\mathrm{train}}

但在外推区域风险升高:

xXtrainx_{\ast}\notin \mathcal{X}_{\mathrm{train}}

材料应用中外推常见于:

  • 新合金体系。
  • 新工艺窗口。
  • 新表征设备。
  • 新温度或服役环境。

可靠模型应能对外推区域给出更高不确定性。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.5.11 探索与利用

材料实验设计存在两种目标:

  • 利用:选择当前预测性能最好的方案。
  • 探索:选择不确定性高、可能带来知识增益的方案。

典型采集函数形式:

a(x)=μ(x)+κσ(x)a(x)=\mu(x)+\kappa\sigma(x)

其中:

  • μ(x)\mu(x):预测均值。
  • σ(x)\sigma(x):预测不确定性。
  • κ\kappa:探索权重。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.5.12 材料实验中的概率目标

不同任务对应不同概率目标:

任务 概率目标
筛选高强合金 P(σy>σreqD)P(\sigma_y>\sigma_{\mathrm{req}}\mid D)
控制缺陷率 P(q<qmaxD)P(q<q_{\mathrm{max}}\mid D)
选择热处理工艺 P(目标组织x,D)P(\text{目标组织}\mid x,D)
控制疲劳寿命 P(Nf>NreqD)P(N_f>N_{\mathrm{req}}\mid D)
显微组织识别 P(类别图像)P(\text{类别}\mid \text{图像})

概率目标比单一预测值更适合工程约束。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

Python案例:计算超过阈值的概率

import numpy as np
from scipy.stats import norm

# 假设后验预测强度近似正态分布
mu_pred = 1040.0      # MPa
std_pred = 35.0      # MPa
threshold = 1000.0   # MPa

prob_ok = 1.0 - norm.cdf(threshold, loc=mu_pred, scale=std_pred)
print(prob_ok)

if prob_ok > 0.95:
    print("推荐进入下一轮验证")
else:
    print("风险偏高,需要补充实验或调整工艺")
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.5 小结

本节核心是把模型输出转化为风险决策:

预测均值预测分布满足要求的概率期望损失最小决策\text{预测均值} \rightarrow \text{预测分布} \rightarrow \text{满足要求的概率} \rightarrow \text{期望损失最小决策}

关键认识:

  • 不确定性不是附属信息,而是决策依据。
  • 小样本模型必须报告不确定性。
  • 工程决策应考虑非对称损失和可靠性要求。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.6 材料小样本问题中的贝叶斯方法

本节面向材料科学应用:

  1. 材料数据为什么常是小样本?
  2. 小样本建模为什么容易失效?
  3. 贝叶斯方法如何利用物理和文献知识?
  4. 高斯过程与贝叶斯优化的基本思想。
  5. 面向材料研发的实践流程。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.6.1 材料小样本的来源

材料数据难以像互联网数据那样大规模获取:

  • 合成和制备成本高。
  • 表征周期长,如 TEM、EBSD、同步辐射等。
  • 性能测试破坏样品。
  • 多因素耦合导致实验设计复杂。
  • 文献数据分散且标准不统一。

因此材料机器学习常面对:

npn 很小但实验成本很高n\ll p \quad \text{或} \quad n\ \text{很小但实验成本很高}

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.6.2 小样本建模的主要风险

风险 表现 后果
过拟合 训练误差低,测试误差高 模型不可泛化
偶然相关 把噪声当规律 得到虚假材料规律
外推失控 新区域预测过度自信 实验失败或安全风险
数据偏差 样本集中在成功体系 高估模型能力
单位混乱 wt.% 与 at.% 混用 特征错误

贝叶斯方法不能自动消除这些问题,但能显式表达不确定性。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.6.3 小样本中的先验价值

小样本时,数据提供的信息有限:

p(θD)p(Dθ)p(θ)p(\theta\mid D)\propto p(D\mid\theta)p(\theta)

nn 很小时,p(θ)p(\theta) 对后验影响较大。

合理先验可来自:

  • 热力学约束。
  • 动力学方程。
  • 相图和相稳定性。
  • 文献数据统计。
  • 专家经验和工程边界。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.6.4 物理约束作为先验

材料物理中有大量硬约束和软约束:

约束 先验表达
扩散系数为正 D>0D>0,对数正态先验
相分数在 [0,1][0,1] Beta 或 Dirichlet 先验
总相分数为 11 ifi=1\sum_i f_i=1
响应面连续 高斯过程平滑核
反应速率非负 Gamma 或截断正态先验

这些约束能显著缩小小样本下的可行解空间。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.6.5 贝叶斯线性回归用于材料性能预测

设性能与特征近似线性:

y=Xθ+ε,εN(0,σ2I)y=X\theta+\varepsilon,\qquad \varepsilon\sim\mathcal{N}(0,\sigma^2 I)

设参数先验:

θN(θ0,Σ0)\theta\sim\mathcal{N}(\theta_0,\Sigma_0)

则后验仍为正态分布:

θDN(θn,Σn)\theta\mid D\sim\mathcal{N}(\theta_n,\Sigma_n)

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

贝叶斯线性回归后验公式

后验协方差:

Σn=(Σ01+1σ2XTX)1\Sigma_n=\left(\Sigma_0^{-1}+\frac{1}{\sigma^2}X^TX\right)^{-1}

后验均值:

θn=Σn(Σ01θ0+1σ2XTy)\theta_n=\Sigma_n\left(\Sigma_0^{-1}\theta_0+\frac{1}{\sigma^2}X^Ty\right)

预测均值:

μ=xTθn\mu_{\ast}=x_{\ast}^T\theta_n

预测方差包含参数不确定性和噪声项。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.6.6 高斯过程:直接对函数建模

高斯过程不是给参数先验,而是给函数先验:

f(x)GP(m(x),k(x,x))f(x)\sim\mathcal{GP}(m(x),k(x,x'))

其中:

  • m(x)m(x):均值函数。
  • k(x,x)k(x,x'):核函数,描述两个输入点响应的相关性。

高斯过程适合小样本响应面建模,因为它能自然输出:

μ(x),σ(x)\mu(x),\qquad \sigma(x)

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

高斯过程在材料设计中的意义

高斯过程适合以下材料问题:

  • 成分—性能响应面样本少。
  • 实验成本高,需要主动选择下一点。
  • 需要同时给出预测均值和不确定性。
  • 响应面具有一定平滑性。

典型任务:

合金成分强度、硬度、腐蚀速率、相稳定性\text{合金成分} \rightarrow \text{强度、硬度、腐蚀速率、相稳定性}

高斯过程也是贝叶斯优化中常用的代理模型。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.6.7 贝叶斯优化的基本思想

目标:用尽可能少的实验找到最优材料或工艺:

x=argmaxxf(x)x^{\ast}=\arg\max_x f(x)

每轮包含:

  1. 用已有数据训练代理模型。
  2. 根据采集函数选择下一实验点。
  3. 做实验或计算,获得新数据。
  4. 更新模型并重复。

这是一种“模型—实验—反馈”的闭环策略。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

采集函数:平衡探索与利用

上置信界采集函数:

aUCB(x)=μ(x)+κσ(x)a_{\mathrm{UCB}}(x)=\mu(x)+\kappa\sigma(x)

含义:

  • μ(x)\mu(x) 高:当前预测性能好,偏向利用。
  • σ(x)\sigma(x) 高:模型不确定,偏向探索。
  • κ\kappa 大:更重视探索。

材料研发中,探索能避免过早陷入局部工艺窗口。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.6.8 小样本分类:组织类别预测

显微组织类别预测可写为:

P(cx,D)P(c\mid x,D)

其中 cc 是组织类别,例如:

  • 等轴晶。
  • 柱状晶。
  • 混合晶。
  • 马氏体、奥氏体、铁素体。

分类决策不应只看最大概率类别,还应关注:

maxcP(cx,D)\max_c P(c\mid x,D)

若最大概率不高,说明分类不确定。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.6.9 文献数据中的贝叶斯思路

文献数据常存在来源差异:

  • 不同实验室。
  • 不同测试标准。
  • 不同热处理制度。
  • 不同成分标注精度。

可使用层级模型:

yijN(μj,σj2)y_{ij}\sim\mathcal{N}(\mu_j,\sigma_j^2)

μjN(μ0,τ2)\mu_j\sim\mathcal{N}(\mu_0,\tau^2)

其中 jj 表示不同文献或实验来源。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.6.10 多保真材料数据融合

材料数据常有不同保真度:

数据来源 特点 保真度
第一性原理 物理基础强,计算成本高 中高
分子动力学 原子尺度,时间尺度短
相场/有限元 介观或宏观过程
高通量实验 接近真实工况,成本高
文献数据 数量多但噪声复杂 不均一

贝叶斯框架可把不同来源的数据作为带噪声的证据进行融合。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

多保真融合的简化模型

设真实材料性能函数为 f(x)f(x),低保真观测为:

yL(x)=fL(x)+εLy_L(x)=f_L(x)+\varepsilon_L

高保真观测为:

yH(x)=ρfL(x)+δ(x)+εHy_H(x)=\rho f_L(x)+\delta(x)+\varepsilon_H

其中:

  • ρ\rho:低保真与高保真之间的比例关系。
  • δ(x)\delta(x):系统偏差修正。
  • εL,εH\varepsilon_L,\varepsilon_H:不同噪声水平。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.6.12 适合初学者的工具路线

任务 推荐工具 说明
基础概率计算 NumPy、SciPy 分布、分位数、随机采样
数据处理 Pandas 表格整理和分组统计
简单贝叶斯更新 SciPy.stats Beta、Normal 等分布
贝叶斯回归 PyMC、NumPyro 概率编程
高斯过程 scikit-learn、GPyTorch 响应面与不确定性
贝叶斯优化 scikit-optimize、BoTorch 主动实验设计

本章作业以 NumPy/SciPy 为主,降低工具门槛。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

Python案例:小样本强度的贝叶斯更新

import numpy as np
from scipy.stats import norm

# 小样本屈服强度,单位 MPa
y = np.array([930, 955, 948, 970, 940])
n = len(y)

# 假设测量噪声标准差已知
sigma = 25.0

# 文献经验先验:均值 920 MPa,标准差 60 MPa
mu0, tau0 = 920.0, 60.0

var_post = 1.0 / (n / sigma**2 + 1.0 / tau0**2)
mu_post = var_post * (n * y.mean() / sigma**2 + mu0 / tau0**2)
std_post = np.sqrt(var_post)

print(mu_post, std_post)
print(norm.ppf([0.025, 0.975], loc=mu_post, scale=std_post))
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

案例解释:小样本下如何报告结论

不建议只报告:

μ^=某一个数值\hat{\mu}=\text{某一个数值}

更合理的报告方式:

  • 后验均值:当前对平均强度的最佳估计。
  • 后验标准差:参数仍有多大不确定性。
  • 95%95\% 可信区间:平均强度可能范围。
  • 超过设计阈值的概率:是否满足工程要求。

这更符合材料研发中的风险表达需求。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

3.6 小结

材料小样本贝叶斯方法的价值在于:

小数据+物理知识+不确定性量化+主动实验\text{小数据}+\text{物理知识}+\text{不确定性量化}+\text{主动实验}

它适合处理:

  • 高成本实验。
  • 成分—工艺—组织—性能复杂映射。
  • 多保真数据融合。
  • 可靠性要求高的工程决策。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

本章总结:一条主线

本章主线可以概括为:

条件概率贝叶斯定理参数后验不确定性决策材料小样本建模\text{条件概率} \rightarrow \text{贝叶斯定理} \rightarrow \text{参数后验} \rightarrow \text{不确定性决策} \rightarrow \text{材料小样本建模}

核心公式:

p(θD)=p(Dθ)p(θ)p(D)p(\theta\mid D)=\frac{p(D\mid\theta)p(\theta)}{p(D)}

核心思想:科学结论不是一次性给出,而是在证据积累中持续更新。

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

本章重点与难点

层次 重点 难点
基础概率 条件概率、全概率公式 区分 P(AB)P(A\mid B)P(BA)P(B\mid A)
贝叶斯公式 先验、似然、后验 理解证据项和归一化
参数估计 MLE、MAP MAP 与正则化关系
不确定性 可信区间、预测区间 概率校准和外推风险
材料应用 小样本、先验知识 先验合理性与模型诊断
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

课堂练习1:检测阳性后的真实缺陷概率

某无损检测方法满足:

P(阳性缺陷)=0.90P(\text{阳性}\mid\text{缺陷})=0.90

P(阳性无缺陷)=0.08P(\text{阳性}\mid\text{无缺陷})=0.08

若某批样品真实缺陷率为 2%2\%,求:

P(缺陷阳性)P(\text{缺陷}\mid\text{阳性})

思考:若缺陷率升高到 20%20\%,结果如何变化?

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

课堂练习2:Beta 先验更新

设某工艺缺陷率 qq 的先验为:

qBeta(2,18)q\sim\mathrm{Beta}(2,18)

新实验检测 4040 个样品,其中 55 个存在缺陷。

问题:

  1. 写出后验分布。
  2. 计算后验均值。
  3. 与样本缺陷率 5/405/40 比较,解释差异。
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

课堂练习3:MLE 与 MAP

设强度数据为:

D={910,930,945,960} MPaD=\{910,930,945,960\}\ \mathrm{MPa}

假设:

yiN(μ,302)y_i\sim\mathcal{N}(\mu,30^2)

先验:

μN(900,502)\mu\sim\mathcal{N}(900,50^2)

问题:

  1. μ\mu 的 MLE。
  2. 写出 MAP 计算公式。
  3. 判断 MAP 与 MLE 谁更接近 900 MPa900\ \mathrm{MPa}
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

Python编程作业:材料小样本贝叶斯更新

作业目标

用 Python 完成一个“小样本强度数据的贝叶斯更新”程序。

数据

给定屈服强度数据:

y = [930, 955, 948, 970, 940, 965]

假设测量噪声标准差为:

sigma = 25.0

文献先验为:

mu0 = 920.0
tau0 = 60.0
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

作业提示:可使用的公式

后验方差:

τn2=(nσ2+1τ02)1\tau_n^2=\left(\frac{n}{\sigma^2}+\frac{1}{\tau_0^2}\right)^{-1}

后验均值:

μn=τn2(nyˉσ2+μ0τ02)\mu_n=\tau_n^2\left(\frac{n\bar{y}}{\sigma^2}+\frac{\mu_0}{\tau_0^2}\right)

超过阈值 TT 的概率:

P(μ>TD)=1Φ(Tμnτn)P(\mu>T\mid D)=1-\Phi\left(\frac{T-\mu_n}{\tau_n}\right)

《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

作业参考代码框架

import numpy as np
from scipy.stats import norm

y = np.array([930, 955, 948, 970, 940, 965], dtype=float)
sigma = 25.0
mu0 = 920.0
tau0 = 60.0

n = len(y)
ybar = y.mean()

# 1. MLE
mu_mle = ybar

# 2. 后验均值与方差
var_post = 1.0 / (n / sigma**2 + 1.0 / tau0**2)
std_post = np.sqrt(var_post)
mu_post = var_post * (n * ybar / sigma**2 + mu0 / tau0**2)

# 3. 可信区间与超过阈值概率
credible_interval = norm.ppf([0.025, 0.975], loc=mu_post, scale=std_post)
prob_over_950 = 1.0 - norm.cdf(950.0, loc=mu_post, scale=std_post)

print(mu_mle, mu_post, std_post, credible_interval, prob_over_950)
《人工智能与大数据》 | 第3章
第3章 条件概率 贝叶斯 先验后验 MLE/MAP 不确定性 小样本

延伸阅读与下一章衔接

本章为后续内容奠定概率基础:

  • 第4章机器学习:损失函数、泛化误差与模型评估。
  • 第5章深度学习:深度模型的不确定性与校准。
  • 第8章主动学习与贝叶斯优化:用不确定性指导实验设计。
  • 第9章材料数据库:数据来源差异与多保真融合。

下一章将进入机器学习建模流程:

数据特征模型评估应用\text{数据} \rightarrow \text{特征} \rightarrow \text{模型} \rightarrow \text{评估} \rightarrow \text{应用}

《人工智能与大数据》 | 第3章

谢谢

本章关键词

贝叶斯定理、先验、似然、后验、证据、MLE、MAP、不确定性、可信区间、预测区间、小样本材料建模

下一章

机器学习与材料性能预测