8.1.3 代理的基本数学抽象

可把代理看作在状态空间中选择动作的系统：

$$\pi(a_t \mid s_t) = \text{AgentPolicy}(s_t, g, m_t)$$

其中：

• $s_t$：第 $t$ 步的当前状态。
• $g$：任务目标。
• $m_t$：第 $t$ 步可用记忆。
• $a_t$：代理选择的动作。
• $\pi$：动作选择策略。

执行动作后环境返回：

$$s_{t+1} = \text{Env}(s_t, a_t)$$

8.2.4 代码工具：从问题到可运行程序

代码工具适合处理：

• 数据清洗：单位换算、缺失值处理、异常值检测。
• 模型训练：随机森林、GPR、神经网络。
• 数值优化：网格搜索、贝叶斯优化。
• 结果可视化：散点图、等值线图、误差图。

材料案例：

给定成分 $x_{\text{Cr}}$、$x_{\text{Ni}}$、$x_{\text{Mo}}$ 和热处理温度 $T$，建立硬度预测模型并推荐下一组测试样本。

8.2.9 工具调用中的单位一致性

材料数据中单位错误极常见。

代理调用工具前应显式检查单位。

8.2.10 工具调用结果的验证

工具返回结果后要做三类检查：

1. 格式检查：字段是否完整，单位是否明确。
2. 数值检查：结果是否落在物理合理范围。
3. 逻辑检查：是否支持当前结论，是否存在反例。

材料例子：

• 不锈钢硬度若预测为 $5000\ \text{HV}$，应触发异常警告。
• 相分数若超过 $1$ 或小于 $0$，说明模型或后处理错误。
• 温度若低于室温却显示完全熔化，说明物理逻辑冲突。

8.3.3 主动学习的数学形式

设已标注数据集为 $\mathcal{D}_L$，未标注候选池为 $\mathcal{D}_U$。

模型在 $\mathcal{D}_L$ 上训练：

$$\hat{f} = \text{Train}(\mathcal{D}_L)$$

查询策略从候选池中选择下一个样本：

$$x^{\ast} = \arg\max_{x \in \mathcal{D}_U} q(x; \hat{f}, \mathcal{D}_L)$$

其中 $q(x)$ 是样本价值函数，可表示不确定性、代表性或预期信息增益。

8.3.4 不确定性采样

分类问题中，若模型对某样本最不确定，则该样本可能最有标注价值。

对于类别概率 $p(y=c \mid x)$，分类不确定性可写为：

$$U(x) = 1 - \max_c p(y=c \mid x)$$

选择：

$$x^{\ast} = \arg\max_{x \in \mathcal{D}_U} U(x)$$

材料例子：

• 显微组织图像分类中，模型无法确定“马氏体/贝氏体/铁素体”的图像优先人工标注。

8.3.5 边际采样

若最高概率类别与第二高概率类别接近，则模型难以区分。

令 $p_1(x)$ 和 $p_2(x)$ 为前两大类别概率，边际不确定性：

$$M(x) = p_1(x) - p_2(x)$$

选择边际最小的样本：

$$x^{\ast} = \arg\min_{x \in \mathcal{D}_U} M(x)$$

解释：

• $M(x)$ 越小，模型越难区分前两类。
• 适合材料相组成、缺陷类型、组织类别识别。

8.3.6 熵采样

信息熵衡量概率分布的不确定性：

$$H(x) = -\sum_{c=1}^{C} p(y=c \mid x) \log p(y=c \mid x)$$

选择熵最大的样本：

$$x^{\ast} = \arg\max_{x \in \mathcal{D}_U} H(x)$$

若类别概率接近均匀分布，则熵较大，说明模型缺乏判断依据。

8.3.7 回归问题中的不确定性

材料性能预测多为回归问题，如强度、硬度、热导率。

若模型给出预测均值 $\mu(x)$ 与标准差 $\sigma(x)$：

$$y(x) \sim \mathcal{N}\left(\mu(x), \sigma^2(x)\right)$$

可选择预测标准差最大的样本：

$$x^{\ast} = \arg\max_{x \in \mathcal{D}_U} \sigma(x)$$

含义：优先测试模型最不确定的材料组合。

8.3.8 多样性采样：避免扎堆

只按不确定性选点，可能导致样本集中在很小区域。

多样性采样希望候选点之间保持距离：

$$D(x, \mathcal{S}) = \min_{x_i \in \mathcal{S}} d(x, x_i)$$

其中 $\mathcal{S}$ 是已选择样本集合。

常见策略：

• K-means 聚类后选每个簇的代表点。
• 最大最小距离采样。
• 不确定性与多样性加权。

8.3.9 信息增益思想

更严格的主动学习希望最大化新样本带来的信息增益。

可用熵变化表达：

$$\text{IG}(x) = H(\theta \mid \mathcal{D}_L) - \mathbb{E}_{y \mid x}\left[H(\theta \mid \mathcal{D}_L \cup \{(x,y)\})\right]$$

其中 $\theta$ 表示模型参数或待估物理量。

直观含义：

选择一个样本，使观察它之后模型整体不确定性下降最多。

8.3.12 主动学习的材料案例

目标：预测激光增材制造合金的硬度。

特征：

• 成分：$x_{\text{Ni}}, x_{\text{Cr}}, x_{\text{Mo}}, x_{\text{Nb}}$。
• 工艺：激光功率 $P$、扫描速度 $v$、层厚 $h$。
• 组合变量：能量密度 $E = P/(v h)$。

初始数据：20 组实验。

主动学习策略：

• 用模型集成估计硬度预测不确定性。
• 每轮选择 3 组高不确定且分散的候选参数。
• 实验后更新模型。

8.4.1 为什么需要贝叶斯优化

许多材料问题可以写成黑箱优化：

$$x^{\ast} = \arg\max_{x \in \mathcal{X}} f(x)$$

其中：

• $x$：成分、工艺或结构参数。
• $f(x)$：实验或仿真返回的性能指标。
• $\mathcal{X}$：满足约束的设计空间。

困难：

• $f(x)$ 不能解析表达。
• 每次评估成本高。
• 数据少且噪声存在。
• 变量之间可能强非线性耦合。

8.4.4 高斯过程回归：基本定义

高斯过程可写为：

$$f(x) \sim \mathcal{GP}\left(m(x), k(x,x')\right)$$

其中：

• $m(x)$：均值函数。
• $k(x,x')$：核函数，描述样本之间的相似性。

常用核函数之一为径向基核：

$$k(x,x') = \sigma_f^2 \exp\left(-\frac{\lVert x - x' \rVert^2}{2l^2}\right)$$

$l$ 为长度尺度，控制函数变化的平滑程度。

8.4.5 高斯过程预测分布

给定训练数据 $\mathcal{D}=\{X,y\}$，在新点 $x_*$ 处预测：

$$p(f_* \mid x_*, X, y) = \mathcal{N}\left(\mu_*, \sigma_*^2\right)$$

其中预测均值和方差为：

$$\mu_* = k_*^T (K + \sigma_n^2 I)^{-1} y$$

$$\sigma_*^2 = k_{**} - k_*^T (K + \sigma_n^2 I)^{-1} k_*$$

均值用于利用，不确定性用于探索。

8.4.7 采集函数：概率改进 PI

设当前最佳观测值为 $f_{\text{best}}$。

概率改进定义为：

$$\text{PI}(x) = P\left(f(x) \ge f_{\text{best}} + \xi\right)$$

若 $f(x)$ 的预测服从正态分布，则：

$$\text{PI}(x) = \Phi\left(\frac{\mu(x)-f_{\text{best}}-\xi}{\sigma(x)}\right)$$

其中 $\xi$ 控制改进阈值，$\Phi$ 是标准正态分布函数。

8.4.8 采集函数：期望改进 EI

期望改进不仅考虑改进概率，也考虑改进幅度。

改进量：

$$I(x) = \max\left(0, f(x)-f_{\text{best}}-\xi\right)$$

期望改进：

$$\text{EI}(x) = \mathbb{E}\left[I(x)\right]$$

若预测为正态分布：

$$\text{EI}(x) = (\mu - f_{\text{best}} - \xi)\Phi(Z) + \sigma \phi(Z)$$

$$Z = \frac{\mu - f_{\text{best}} - \xi}{\sigma}$$

8.4.9 采集函数：置信上界 UCB

置信上界采集函数：

$$\text{UCB}(x) = \mu(x) + \kappa \sigma(x)$$

其中：

• $\mu(x)$：预测均值，代表利用。
• $\sigma(x)$：预测不确定性，代表探索。
• $\kappa$：探索权重。

当 $\kappa$ 较大时，算法更倾向探索高不确定区域。

当 $\kappa$ 较小时，算法更倾向选择高预测性能区域。

8.4.10 最小化问题的处理

许多材料问题是最小化：

• 最小化腐蚀速率。
• 最小化裂纹敏感性。
• 最小化残余应力。
• 最小化孔隙率。

可转换为最大化问题：

$$g(x) = -f(x)$$

或者使用下置信界：

$$\text{LCB}(x) = \mu(x) - \kappa \sigma(x)$$

最小化时选择 $\text{LCB}(x)$ 最小的点。

8.4.11 约束贝叶斯优化

材料设计通常有约束。

例如：

$$\max_x f(x)$$

$$\text{s.t.}\quad g_j(x) \le 0,\quad j=1,2,\dots,m$$

约束可能包括：

• 成分总和为 $100\%$。
• 元素含量处于标准范围。
• 工艺参数不超过设备能力。
• 相分数或裂纹倾向满足安全要求。

可用可行概率修正采集函数：

$$a_c(x) = a(x) P\left(\text{feasible} \mid x\right)$$

8.4.12 多目标贝叶斯优化

材料问题常有多个目标：

$$\max_x \left[f_1(x), f_2(x), \dots, f_m(x)\right]$$

示例：

• 最大化强度。
• 最大化延伸率。
• 最小化成本。
• 最小化热裂倾向。

不能简单得到唯一最优解，而是得到 Pareto 前沿。

Pareto 最优：不存在另一个解在所有目标上都不差，并至少一个目标更好。

8.5.1 案例问题：增材制造合金性能优化

目标：在有限实验预算下优化增材制造合金的强度和缺陷率。

设计变量：

• 成分：$x_{\text{Cr}}, x_{\text{Ni}}, x_{\text{Mo}}, x_{\text{N}}$。
• 工艺：激光功率 $P$、扫描速度 $v$、层厚 $h$、预热温度 $T_p$。

性能指标：

• 屈服强度 $\sigma_y$。
• 延伸率 $\delta$。
• 孔隙率 $\phi_p$。
• 奥氏体体积分数 $f_\gamma$。

8.5.3 派生特征：体能量密度

增材制造中常用体能量密度：

$$E = \frac{P}{v h t}$$

其中：

• $P$：功率。
• $v$：扫描速度。
• $h$：道间距。
• $t$：层厚。

注意：$E$ 是简化描述，并不能完全替代热传导、熔池流动和蒸发行为。

8.5.4 目标函数构造

若只考虑强度最大化：

$$f(x) = \sigma_y(x)$$

若同时考虑孔隙率惩罚：

$$f(x) = \sigma_y(x) - \lambda \phi_p(x)$$

若考虑强塑积：

$$f(x) = \sigma_y(x) \cdot \delta(x)$$

如果指标量纲差异大，应先标准化：

$$\tilde{y} = \frac{y - \mu_y}{s_y}$$

8.5.5 初始实验设计

贝叶斯优化需要初始样本。

常见方式：

• 随机采样：简单，但可能分布不均。
• 拉丁超立方采样：更均匀覆盖各变量范围。
• 正交设计：适合少量离散水平。
• 历史数据：可利用已有实验，但需检查偏差。

建议：

初始样本数量可取变量维数的 $2$ 到 $5$ 倍作为教学演示起点。

8.5.6 代理模型训练

输入矩阵：

$$X = \begin{bmatrix} x_{11} & x_{12} & \cdots & x_{1d} \\ x_{21} & x_{22} & \cdots & x_{2d} \\ \vdots & \vdots & \ddots & \vdots \\ x_{n1} & x_{n2} & \cdots & x_{nd} \end{bmatrix}$$

目标向量：

$$y = \begin{bmatrix} y_1 & y_2 & \cdots & y_n \end{bmatrix}^T$$

训练代理模型：

$$\hat{f} = \text{Train}(X,y)$$

8.5.9 可行性过滤

优化推荐点不一定可制备。

可行性过滤包括：

• 成分约束：元素总量、杂质上限。
• 相稳定性：避免明显不可接受相区。
• 工艺约束：设备功率、扫描速度范围。
• 成形质量：避免过低或过高能量输入。
• 安全约束：气体、粉末、热源风险。

可写为：

$$\mathcal{X}_{\text{valid}} = \{x \in \mathcal{X} \mid g_j(x) \le 0, j=1,\dots,m\}$$

8.5.10 多目标优化：强度与塑性

若同时优化强度和延伸率：

$$\max_x \left[\sigma_y(x), \delta(x)\right]$$

可采用：

• 加权和：$f(x)=w_1\tilde{\sigma}_y(x)+w_2\tilde{\delta}(x)$。
• 约束形式：最大化强度，同时要求延伸率 $\delta \ge 15\%$。
• Pareto 前沿：给出一组互不支配方案。

课堂教学可先使用加权和，再引入 Pareto 思想。

8.6.7 闭环停止准则

闭环何时停止？

常见准则：

• 实验预算耗尽。
• 连续若干轮没有显著改进。
• 最优值达到预设阈值。
• 模型不确定性降至可接受范围。
• 推荐点开始重复集中。
• 专家判定已进入工程验证阶段。

可写为：

$$\Delta f_t = f_{\text{best},t} - f_{\text{best},t-1}$$

若连续 $r$ 轮满足 $\Delta f_t < \epsilon$，可停止优化。

Python编程作业：主动学习 + 贝叶斯优化演示

任务：构造一个简化的“材料性能函数”，模拟有限实验预算下的序贯优化。

要求：

1. 令设计变量为 $x_1$ 和 $x_2$，分别代表成分参数与工艺参数。
2. 构造未知目标函数：

$$f(x_1,x_2)=\sin(3x_1)+\cos(4x_2)-0.2(x_1-1)^2-0.1(x_2+1)^2$$

3. 随机选择 5 个初始样本训练高斯过程模型。
4. 用 UCB 或 EI 每轮推荐 1 个新样本。
5. 迭代 15 轮，绘制历史最佳值随轮数变化曲线。
6. 比较随机采样与贝叶斯优化的差异。

补充案例1：焊接工艺参数优化

目标：降低孔隙率并提高熔深稳定性。

变量：电流 $I$、电压 $U$、焊接速度 $v$、保护气流量 $Q$。

可构造目标：

$$f(x)= -\phi_p(x) - \lambda \left|d(x)-d_0\right|$$

其中 $\phi_p$ 为孔隙率，$d$ 为熔深，$d_0$ 为目标熔深。

推荐流程：先用有限元或 Fluent 结果构建代理模型，再少量实验校正。

补充案例2：热处理制度优化

目标：获得高硬度且保留足够韧性。

变量：固溶温度、固溶时间、时效温度、时效时间。

可设多目标：

$$\max_x \left[H(x), K_{IC}(x)\right]$$

或者约束优化：

$$\max_x H(x),\quad \text{s.t.}\quad K_{IC}(x) \ge K_0$$

适合用贝叶斯优化减少热处理实验次数。