第10章 可信AI、数据安全与综合应用

Trustworthy AI, Data Security and Integrated Applications
学习路径：AI伦理与偏差 → 数据安全与隐私保护 → 科研版权与学术规范 → 可解释AI与可信度评价 → 综合项目 → AI for Materials发展趋势
@Shiyan Pan
第10章 可信AI 数据安全 综合应用

目录

  1. 10.1 AI伦理、算法偏差与模型公平性
  2. 10.2 数据安全、隐私保护与网络安全 △
  3. 10.3 AI科研应用中的版权、署名与学术规范
  4. 10.4 可解释AI与模型可信度评价 △★
  5. 10.5 综合案例：材料性能预测、材料知识库或贝叶斯优化项目
  6. 10.6 课程总结：AI for Materials的发展趋势

主线：从“模型能不能用”进一步追问“模型是否可信、可审计、可复现、可负责”。
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

本章知识地图

第10章是课程收束章：将算法、数据、知识库和优化方法统一到可信应用框架中。 
材料数据与AI模型
      ↓
伦理、公平、安全、隐私、学术规范
      ↓
可解释性、稳健性、校准、证据追踪
      ↓
材料性能预测 / 材料知识库 / 贝叶斯优化项目
      ↓
可信、可复现、可审计的AI for Materials工作流
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

从性能指标到可信指标

传统模型评价

  • 准确率
  • 均方误差
  • 交叉验证得分
  • 测试集性能
  • 运行速度

可信AI评价

  • 数据来源是否清楚
  • 外推范围是否合理
  • 结果是否可解释
  • 不确定性是否报告
  • 是否存在偏差和安全风险
  • 是否可复现、可追溯、可审计
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

本章案例贯穿对象

以一个材料性能预测任务贯穿本章：

输入：合金成分、热处理工艺、组织特征
输出：强度、硬度、相组成或耐蚀性
模型：随机森林、梯度提升树、神经网络或高斯过程
应用：候选材料筛选、实验方案推荐、知识库问答

讨论重点：

  • 数据是否具有代表性？
  • 模型是否可解释？
  • 不确定性是否足够低？
  • 预测结果是否可被文献、实验或物理规律支持？
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

10.1 AI伦理、算法偏差与模型公平性

10.1 AI伦理、算法偏差与模型公平性

从“能预测”到“负责任地预测”。
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

材料科学中的AI伦理并非遥远问题

材料领域虽然较少涉及个人画像，但仍存在明确伦理和责任问题。

  • 高通量筛选可能遗漏低数据量但具有重要战略价值的材料体系。
  • 企业工艺数据和实验配方具有商业敏感性。
  • AI生成的实验方案可能忽略安全规范和设备约束。
  • 模型预测可能被过度解释为“科学规律”。
  • 训练数据来自论文和数据库时，需要尊重版权、许可和引用规范。
材料AI的伦理重点常体现为：数据权属、模型外推、实验安全、科研诚信和工程责任。
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

可信AI的典型属性

可信 AI 通常包括以下属性：

属性 在材料AI中的含义
有效性 预测结果在合理测试集上成立
可靠性 换数据划分或重复实验后结果稳定
安全性 不泄露敏感数据，不输出危险实验建议
透明性 能说明数据、模型、参数和使用边界
可解释性 能解释哪些特征影响预测
公平性 不系统性忽视某类材料、工艺或数据来源
责任性 明确人类审核、版本记录和责任主体
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

偏差来源：从数据到应用

真实材料空间
    ↓ 采样偏差
可获得样品与文献数据
    ↓ 测量偏差、标注偏差
训练数据集
    ↓ 模型假设与特征选择偏差
预测模型
    ↓ 部署环境变化与外推偏差
工程决策
偏差不是模型训练结束后才出现的问题，而是贯穿数据采集、建模和应用的全过程。
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

测量偏差与实验条件偏差

材料性能测量常受实验条件影响。

  • 硬度：载荷、保持时间、压痕位置。
  • 强度：试样尺寸、拉伸速率、热处理历史。
  • 腐蚀性能：电解液、温度、暴露时间、表面状态。
  • 显微组织：腐蚀剂、倍率、光照、图像分辨率。

如果这些条件没有进入特征，模型会把测量差异误认为材料差异。

《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

公平性在材料AI中的重新表述

社会科学中的公平性常关注人群；材料科学中可扩展为“子域一致性”。

子域 公平性问题
材料类别 钢、铝合金、钛合金、高熵合金误差是否差异过大
工艺路线 铸造、锻造、焊接、增材制造是否被同等建模
数据来源 实验、模拟、文献数据是否被合理加权
性能区间 高强度区、低塑性区是否被系统性低估
服役环境 常温数据是否被错误外推到高温、腐蚀或辐照环境
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

分类任务的基本评价矩阵

以二分类为例，混淆矩阵包括：

真实/预测 预测为正 预测为负
真实为正 TP FN
真实为负 FP TN

材料示例：

  • 正类：合格组织、目标相、无缺陷样品。
  • 负类：不合格组织、非目标相、有缺陷样品。
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

分类指标公式

常用指标：

Accuracy=TP+TNTP+TN+FP+FN\text{Accuracy}=\frac{TP+TN}{TP+TN+FP+FN}

Precision=TPTP+FP,Recall=TPTP+FN\text{Precision}=\frac{TP}{TP+FP},\qquad \text{Recall}=\frac{TP}{TP+FN}

F1=2×Precision×RecallPrecision+RecallF_1=\frac{2\times \text{Precision}\times \text{Recall}}{\text{Precision}+\text{Recall}}

若缺陷样品很少，准确率可能虚高，应重点关注召回率和假阴性率。
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

材料子群误差差异

对于回归任务，可按材料类别或工艺类别分组计算误差。

MAEg=1ng∑i∈g∣yi−y^i∣\text{MAE}_g=\frac{1}{n_g}\sum_{i\in g}\left|y_i-\hat{y}_i\right|

其中 gg 表示某个材料子群，如钢、铝合金或增材制造样品。

可定义子群误差差异：

ΔMAE=max⁡gMAEg−min⁡gMAEg\Delta_{\text{MAE}}=\max_g \text{MAE}_g-\min_g \text{MAE}_g

如果 ΔMAE\Delta_{\text{MAE}} 很大，说明模型在不同材料子域上的可靠性不一致。

《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

公平性诊断的基本流程

  1. 明确分组变量：材料体系、工艺路线、数据来源、性能区间。
  2. 分别计算模型性能：MAE、RMSE、准确率、召回率等。
  3. 比较不同子群之间的性能差异。
  4. 检查训练数据数量、特征分布和标签噪声。
  5. 使用分层抽样、再加权、数据补充或分域建模进行修正。
  6. 在报告中明确模型适用范围和不适用范围。
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

Python示例：按材料类别计算误差

import pandas as pd
import numpy as np

# df包含：material_class, y_true, y_pred
df["abs_error"] = np.abs(df["y_true"] - df["y_pred"])

summary = (
    df.groupby("material_class")
      .agg(n=("abs_error", "size"), mae=("abs_error", "mean"))
      .sort_values("mae", ascending=False)
)

print(summary)
print("子群MAE差异:", summary["mae"].max() - summary["mae"].min())
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

偏差缓解策略

数据层面

  • 扩充稀疏子域数据
  • 分层采样
  • 标注一致性检查
  • 记录元数据

模型层面

  • 样本加权
  • 领域自适应
  • 不确定性建模
  • 物理约束模型

应用层面

  • 使用边界声明
  • 人类审核
  • 版本记录
  • 失败案例复盘
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

人类监督：不是形式要求

人类监督在材料AI中至少包括：

  • 审核数据来源和特征物理意义。
  • 判断模型预测是否违反材料常识。
  • 对高风险实验方案进行安全审核。
  • 对异常推荐结果进行复核实验或计算验证。
  • 对AI生成文本、代码、图像和引用进行核验。
在高温、高压、有毒、易燃、辐照等实验场景中，AI输出只能作为辅助建议，不能替代安全规程。
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

课堂讨论：一个偏差案例

某模型用公开文献数据预测合金强度，测试集 R2=0.91R^2=0.91。部署后发现：

  • 对传统钢铁材料预测较好。
  • 对增材制造高熵合金误差很大。
  • 对高强度样本普遍低估。

讨论：

  1. 可能的偏差来源是什么？
  2. 需要检查哪些元数据？
  3. 应该重新划分测试集还是重新采集数据？
  4. 模型报告中应如何说明使用边界？
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

10.2 数据安全、隐私保护与网络安全 △

10.2 数据安全、隐私保护与网络安全 △

从“数据可用”到“数据受控、合规、可追溯”。

第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

10.2.1 三类安全概念

概念 关注重点 材料科研示例
数据安全 数据不被非法获取、篡改、破坏或滥用 未公开合金配方、工艺参数、企业合作数据
隐私保护 个人信息和敏感个人信息不被滥用 学生信息、实验人员记录、用户日志
网络安全 网络系统、软件、账号和接口免受攻击 实验室服务器、数据库、RAG系统、API密钥

三者相互重叠，但不能互相替代。

《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

材料实验室的数据资产

实验室常见数据资产：

  • 原始实验数据：仪器输出文件、照片、视频、谱图。
  • 加工工艺数据：功率、扫描速度、送粉量、焊接电流、电压。
  • 材料配方数据：合金成分、粉末批次、热处理制度。
  • 计算数据：输入文件、势函数、计算参数、输出结构。
  • 知识库数据：文献PDF、笔记、问答记录、向量索引。
  • 代码和模型：脚本、权重文件、超参数、训练日志。
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

CIA三元组

信息安全常用 CIA 三元组：

Confidentiality

保密性：未经授权者不能访问数据。

Integrity

完整性：数据不能被未授权修改。

Availability

可用性：授权用户需要时能访问数据。

材料场景：配方不能泄露，实验记录不能被篡改，数据库不能在项目验收前丢失。

《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

数据生命周期安全

采集 → 传输 → 存储 → 清洗 → 建模 → 共享 → 归档 → 删除

每个阶段都有不同风险：

  • 采集：设备账户、样品编号、原始记录。
  • 传输：邮件、网盘、移动硬盘、API接口。
  • 存储：权限、备份、版本、加密。
  • 建模：训练数据泄露、数据残留、日志记录。
  • 共享：脱敏、许可、访问范围。
  • 删除：过期数据和临时文件清理。
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

数据分级分类

建议把实验室数据分为四级：

等级 示例 管理要求
公开数据 已发表论文数据、开源数据库 标明来源和许可
内部数据 课程实验、普通科研数据 实验室内部访问
敏感数据 未发表结果、合作企业数据、配方工艺 限权访问、加密备份
高敏数据 涉密项目、重大装备材料数据 专门制度、专人管理、禁止外传
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

隐私保护：材料课程中的常见场景

即使材料数据本身不是个人信息，课程和实验室平台仍可能包含隐私数据：

  • 学生姓名、学号、成绩、作业提交记录。
  • 在线平台登录日志和操作记录。
  • 实验预约、门禁、摄像头记录。
  • 合作者邮箱、单位、联系方式。
将学生作业、实验记录或论文草稿上传到外部AI工具前，应判断是否包含个人信息、未公开成果或敏感数据。
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

匿名化与假名化

方法 含义 风险
匿名化 删除或处理后无法识别个人或对象 难度高，可能被重识别
假名化 用编号替代真实身份 仍需保护映射表
脱敏 遮蔽部分字段或降低精度 可能损失数据效用
汇总统计 只发布群体统计结果 无法支持个体级建模

材料例子：把样品编号 ProjectA-Heat-003 改为 S003，并单独保存映射表。

《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

k-匿名的直观思想

若每条记录在准标识符上至少与 k−1k-1 条记录无法区分，则称满足 kk-匿名。

∣{xj:q(xj)=q(xi)}∣≥k\left|\{x_j: q(x_j)=q(x_i)\}\right|\geq k

其中 q(x)q(x) 表示准标识符组合。

材料课程例子：成绩分析数据中不直接给出姓名和学号，而按班级、分数段、作业类型做汇总。

《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

差分隐私的基本思想

差分隐私要求：单个样本是否加入数据集，不应显著改变算法输出分布。

P[M(D)∈S]≤eεP[M(D′)∈S]P\left[M(D)\in S\right]\leq e^{\varepsilon}P\left[M(D')\in S\right]

其中：

  • DD 与 D′D' 只相差一个样本。
  • MM 是随机化算法。
  • ε\varepsilon 越小，隐私保护越强，但数据效用可能降低。
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

加密、哈希与签名

技术 作用 示例
加密 保护数据内容 加密保存企业配方文件
哈希 校验文件完整性 检查模型文件是否被修改
数字签名 证明来源和完整性 重要数据集发布时附签名
访问令牌 控制API访问 数据库查询接口限权

注意：哈希不是加密。哈希通常不可逆，主要用于完整性校验和密码存储。

《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

Python示例：计算文件SHA256

from pathlib import Path
import hashlib

def sha256_file(path):
    h = hashlib.sha256()
    with open(path, "rb") as f:
        for block in iter(lambda: f.read(8192), b""):
            h.update(block)
    return h.hexdigest()

file_path = Path("experiment_raw_data.csv")
print(sha256_file(file_path))

用途：记录原始数据文件指纹，便于后续检查是否被修改。

《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

RAG与知识库的特殊安全风险

知识库和RAG系统可能出现：

  • 文档越权访问：普通用户检索到敏感项目文档。
  • 向量库泄露：嵌入向量可能暴露文本语义信息。
  • 提示注入：文档中包含恶意指令，诱导模型泄露系统提示或数据。
  • 错误引用：模型引用了不相关片段。
  • 历史对话泄露：记忆模块保存敏感内容。
知识库不是“把所有文件扔进去”即可使用，必须设计权限、分级、审计和清理机制。
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

LLM应用的攻击面

用户输入
  ↓
系统提示 / 工具权限 / RAG检索
  ↓
模型推理
  ↓
数据库 / 文件 / 代码执行 / 网络请求
  ↓
输出给用户

风险点：

  • 用户诱导模型忽略规则。
  • 检索文档中隐藏恶意指令。
  • 工具权限过大导致误删文件或泄露数据。
  • 输出未经核验直接进入论文或实验方案。
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

AI工具调用的最小权限原则

最小权限原则：工具只拥有完成任务所需的最小权限。

工具 不建议 建议
Python执行 任意读写全盘 限定工作目录
文献检索 访问所有私人文档 按项目授权
数据库查询 可删除、可修改 默认只读
邮件工具 自动发送 先生成草稿并人工确认
实验设备 直接执行实验 只生成方案，人工审批
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

实验室数据安全检查清单

  • 是否明确数据分级和访问人员？
  • 是否保存原始数据、处理脚本和处理后数据？
  • 是否记录数据来源、仪器参数、实验条件和版本号？
  • 是否备份到至少两个物理位置或安全平台？
  • 是否避免把敏感文件上传到公共AI服务？
  • 是否对API密钥、数据库密码和私有仓库进行权限管理？
  • 是否有数据删除、归档和离组交接规则？
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

10.3 AI科研应用中的版权、署名与学术规范

10.3 AI科研应用中的版权、署名与学术规范

从“AI帮我写”到“我对结果负责”。

第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

10.3.1 AI辅助科研的常见用途

在材料科学研究中，AI常用于：

  • 文献阅读：总结论文、提取表格、梳理研究路线。
  • 代码生成：数据清洗、模型训练、绘图脚本。
  • 公式解释：推导步骤、变量定义、单位检查。
  • 实验方案：列出变量、对照组、安全注意事项。
  • 论文写作：语言润色、结构建议、摘要改写。
  • 图像处理：示意图、流程图、显微组织辅助标注。

关键问题：哪些可以用，如何披露，如何核验？

《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

应披露的AI使用场景

通常需要披露的场景：

  • AI生成了论文正文、摘要、图表说明或讨论段落。
  • AI参与了数据分析、代码生成或统计处理。
  • AI生成了图像、示意图、流程图或图形摘要。
  • AI用于自动提取文献数据或构建知识库。
  • AI对实验方案或研究设计产生实质影响。

可能不需要详细披露的场景：

  • 拼写检查、语法检查、排版辅助。
  • 与传统文字处理软件类似的语言润色。
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

引用核验：大模型最容易出错的环节

LLM可能生成：

  • 不存在的论文题名。
  • 正确作者但错误年份。
  • 正确期刊但错误卷页码。
  • 与结论不匹配的引用。
  • 真实论文中并不存在的观点。
凡是进入论文、基金申请书或课程报告的引用，必须回到原文核验。
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

引用核验的最小流程

  1. 检索论文题名、DOI或数据库记录。
  2. 下载或打开原文，而不是只看AI摘要。
  3. 确认该文献确实支持所写结论。
  4. 检查作者、年份、期刊、卷、页码、DOI。
  5. 对关键论断保留原文页码或截图记录。
  6. 在文献管理软件中统一格式。
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

版权：输入材料也需要注意

向AI工具输入材料时，应考虑：

  • 是否包含未发表论文、专利草案或项目申请书？
  • 是否包含企业合作数据或保密协议内容？
  • 是否包含受版权保护的教材、图书或数据库内容？
  • 工具服务条款是否允许将输入用于训练或改进模型？
  • 是否经过导师、合作者或项目负责人同意？
不要把保密项目文件、未发表论文全文或企业数据随意上传到公共AI平台。
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

AI生成图像和科研图件

AI生成图像在科研中应谨慎使用。

可以考虑使用：

  • 课程教学示意图。
  • 非数据型流程图草稿。
  • 科普插图草稿。

不应直接替代：

  • 实验显微组织图。
  • 表征结果图谱。
  • 数据驱动得到的定量图。
  • 需要准确反映真实实验结果的图件。
任何可能被读者理解为实验数据的图像，都不能由生成式AI伪造。
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

AI生成代码的学术风险

AI生成代码常见风险：

  • 算法看似正确但边界条件错误。
  • 单位换算、数组维度或索引错误。
  • 使用过时API或不兼容库版本。
  • 复制了有许可证限制的代码片段。
  • 训练/测试集划分错误导致数据泄漏。

建议：

  • 对关键代码逐行阅读。
  • 写最小测试样例。
  • 保留代码来源和修改记录。
  • 在论文中说明自编程序和开源包版本。
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

学术不端边界

以下行为应避免：

  • 让AI生成不存在的实验数据。
  • 让AI编造参考文献。
  • 未阅读原文却引用AI摘要。
  • 将AI生成内容作为自己独立完成的分析。
  • 用AI规避查重或掩盖抄袭。
  • 未经授权上传他人未发表论文、学生作业或企业数据。
AI辅助不降低学术诚信要求，反而增加了核验和披露责任。
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

推荐的AI使用记录表

项目 记录内容
工具名称 使用的AI工具或模型版本
使用时间 年月日与主要阶段
输入内容 是否包含敏感数据或原文
输出用途 文献总结、代码、图表、文本润色等
人工核验 核验人、核验方式、修改记录
是否披露 论文、报告或作业中如何说明

该表可作为课程作业和科研项目的AI使用附录。

《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

科研写作中的合规表达

可以在方法或致谢部分说明：

本文在撰写过程中使用大语言模型辅助进行语言润色和代码草稿生成。
所有AI生成内容均由作者检查、修改和核验；文献引用、数据分析和结论由作者负责。

更严格的项目中应说明：

  • 使用了什么工具。
  • 用于哪些环节。
  • 是否处理原始数据。
  • 如何进行人工核验。
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

课程作业中的AI使用规范

建议课程作业采用“三允许、三禁止”：

允许：

  • 允许用AI解释概念、检查代码、润色表达。
  • 允许用AI生成初步流程图或代码草稿。
  • 允许用AI帮助设计实验分析步骤。

禁止：

  • 禁止提交未经理解和运行的AI代码。
  • 禁止让AI编造数据、图表和参考文献。
  • 禁止不披露地把AI生成文本当作独立原创。
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

10.4 可解释AI与模型可信度评价 △★

10.4 可解释AI与模型可信度评价 △★

从“模型给出答案”到“理解答案为何可信”。
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

解释性方法分类

分类 方法 特点
模型内生 线性模型系数、决策树路径 易理解，但模型能力可能有限
全局后解释 特征重要性、PDP 解释整体趋势
局部后解释 LIME、SHAP、反事实解释 解释单个样本
视觉解释 Grad-CAM、显著性图 用于图像模型
不确定性解释 置信区间、校准曲线 说明预测可信程度
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

线性模型的解释

线性回归：

y^=w0+∑j=1pwjxj\hat{y}=w_0+\sum_{j=1}^{p}w_jx_j

若特征已标准化，系数 wjw_j 的绝对值越大，说明该特征对预测影响越强。

材料示例：

  • xjx_j：C含量、Cr含量、退火温度、晶粒尺寸。
  • yy：硬度或屈服强度。

注意：相关不等于因果，系数解释依赖数据分布和特征共线性。

《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

决策树路径解释

决策树通过一系列条件判断产生预测：

if Cr含量 > 12 wt.%:
    if 热处理温度 < 850 °C:
        预测耐蚀性较高
    else:
        预测耐蚀性中等
else:
    预测耐蚀性较低

优点：路径可读。

缺点：单棵树不稳定，容易过拟合；随机森林性能更好但解释更复杂。

《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

置换特征重要性

置换特征重要性通过打乱某一特征并观察模型性能下降来衡量贡献。

Ij=sbase−sperm(j)I_j=s_{\text{base}}-s_{\text{perm}(j)}

其中：

  • sbases_{\text{base}} 为原始验证集得分。
  • sperm(j)s_{\text{perm}(j)} 为打乱第 jj 个特征后的得分。

若 IjI_j 大，说明模型依赖该特征。

《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

Python示例：置换特征重要性

from sklearn.inspection import permutation_importance
from sklearn.ensemble import RandomForestRegressor

model = RandomForestRegressor(random_state=0)
model.fit(X_train, y_train)

result = permutation_importance(
    model, X_test, y_test,
    n_repeats=20,
    random_state=0,
    scoring="neg_mean_absolute_error"
)

importance = result.importances_mean
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

部分依赖图 PDP

部分依赖图描述某个特征变化时模型平均预测如何变化。

PD⁡S(xS)=1n∑i=1nf(xS,xC(i))\operatorname{PD}_S(x_S)=\frac{1}{n}\sum_{i=1}^{n} f(x_S,x_{C}^{(i)})

其中：

  • SS 是关注特征集合。
  • CC 是其余特征集合。
  • ff 是训练好的模型。

材料例子：观察热处理温度对预测硬度的平均影响。

《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

PDP的使用边界

PDP容易被误用：

  • 若特征高度相关，PDP会生成不真实的特征组合。
  • PDP显示的是模型平均行为，不代表每个样本都如此。
  • PDP不是因果效应图。

材料例子：

温度和保温时间常有工艺耦合关系，单独改变温度可能得到物理上不合理的工艺组合。

《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

SHAP思想简介

SHAP基于合作博弈中的Shapley值，把预测结果分解为各特征贡献。

ϕj=∑S⊆F∖{j}∣S∣!(∣F∣−∣S∣−1)!∣F∣![f(S∪{j})−f(S)]\phi_j=\sum_{S\subseteq F\setminus \{j\}}\frac{|S|!(|F|-|S|-1)!}{|F|!} \left[f(S\cup\{j\})-f(S)\right]

其中 FF 为全部特征集合，SS 为不包含特征 jj 的子集。

优点：可解释单个样本预测。

注意：计算和背景数据选择会影响解释结果。

《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

反事实解释

反事实解释回答：要让预测结果改变，输入需要如何最小改变？

min⁡x′d(x,x′)+λℓ(f(x′),ytarget)\min_{x'} d(x,x')+\lambda \ell(f(x'),y_{\text{target}})

材料例子：

  • 当前合金预测硬度不足。
  • 反事实解释可能建议提高C含量、改变退火温度或细化晶粒尺寸。

必须检查：建议是否满足相图、成本、加工性和安全约束。

《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

视觉模型解释：Grad-CAM直观思想

Grad-CAM用于解释卷积神经网络关注图像的哪些区域。

显微组织识别中可用于判断模型是否关注：

  • 晶界区域。
  • 析出相区域。
  • 孔洞、裂纹或夹杂。
  • 或者错误地关注标尺、边框、背景噪声。
Grad-CAM只能说明模型关注区域，不自动说明该区域具有正确材料学意义。
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

10.4.2 模型可信度评价维度

模型可信度不是单一指标，而是多个维度共同构成。

维度 典型问题
准确性 测试集误差是否足够低
稳健性 换随机种子、换划分是否稳定
校准性 预测置信度是否可信
外推性 是否超出训练数据范围
可解释性 是否知道模型依据
安全性 是否可能泄露数据或产生危险建议
可复现性 数据、代码、环境是否可复现
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

回归任务误差指标

平均绝对误差：

MAE⁡=1n∑i=1n∣yi−y^i∣\operatorname{MAE}=\frac{1}{n}\sum_{i=1}^{n}\left|y_i-\hat{y}_i\right|

均方根误差：

RMSE⁡=1n∑i=1n(yi−y^i)2\operatorname{RMSE}=\sqrt{\frac{1}{n}\sum_{i=1}^{n}\left(y_i-\hat{y}_i\right)^2}

决定系数：

R2=1−∑i(yi−y^i)2∑i(yi−yˉ)2R^2=1-\frac{\sum_i(y_i-\hat{y}_i)^2}{\sum_i(y_i-\bar{y})^2}

《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

校准：概率是否可信

如果模型给出 80% 的置信度，那么在大量类似样本中，正确率应接近 80%。

Brier分数：

Brier⁡=1n∑i=1n(pi−yi)2\operatorname{Brier}=\frac{1}{n}\sum_{i=1}^{n}(p_i-y_i)^2

其中 pip_i 是预测为正类的概率，yi∈{0,1}y_i\in\{0,1\}。

材料例子：缺陷检测模型输出“有缺陷概率0.9”，应与实际缺陷频率一致。

《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

期望校准误差 ECE

将样本按置信度分成 MM 个区间：

ECE⁡=∑m=1M∣Bm∣n∣acc⁡(Bm)−conf⁡(Bm)∣\operatorname{ECE}=\sum_{m=1}^{M}\frac{|B_m|}{n}\left|\operatorname{acc}(B_m)-\operatorname{conf}(B_m)\right|

其中：

  • BmB_m 为第 mm 个置信度区间。
  • acc⁡(Bm)\operatorname{acc}(B_m) 为该区间真实准确率。
  • conf⁡(Bm)\operatorname{conf}(B_m) 为该区间平均置信度。
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

外推检测：距离训练集

一种简单方法：计算测试样本到训练样本的最近距离。

d(x,Dtrain)=min⁡xi∈Dtrain∥x−xi∥2d(x,\mathcal{D}_{\text{train}})=\min_{x_i\in \mathcal{D}_{\text{train}}}\left\|x-x_i\right\|_2

若距离过大，则预测应标记为低可信。

注意：使用该方法前需要对特征标准化，否则量纲大的特征会主导距离。

《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

模型卡 Model Card

模型卡用于记录模型的适用范围和风险。

建议包括：

  • 模型用途和不适用场景。
  • 训练数据来源、大小、时间和许可。
  • 特征列表、标签定义和预处理方法。
  • 性能指标、交叉验证和子群误差。
  • 可解释性结果和重要特征。
  • 不确定性、外推检测和风险提示。
  • 版本号、作者、审核人和更新记录。
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

Python示例：生成简单模型卡

from datetime import date

model_card = {
    "model_name": "RF_hardness_predictor_v1",
    "task": "合金硬度预测",
    "data": "公开文献 + 实验室已公开数据",
    "features": ["C", "Cr", "Ni", "anneal_temp", "grain_size"],
    "metric": {"MAE": 18.5, "RMSE": 25.2, "R2": 0.86},
    "limitations": "不适用于未见过的高熵合金体系和极端热处理条件",
    "human_review": "预测结果进入实验前需由研究人员复核",
    "date": str(date.today())
}

for k, v in model_card.items():
    print(k, ":", v)
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

可信度评价报告框架

一份可信度报告至少回答：

  1. 数据来自哪里，是否可追溯？
  2. 模型如何训练，是否存在数据泄漏？
  3. 测试集是否代表真实应用场景？
  4. 总体性能和子群性能如何？
  5. 重要特征是否具有材料学合理性？
  6. 哪些样本属于外推？
  7. 失败案例是什么？
  8. 预测结果进入实验或工程前需要什么审核？
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

10.5 综合案例：材料性能预测、材料知识库或贝叶斯优化项目

10.5 综合案例：材料性能预测、材料知识库或贝叶斯优化项目

把全课程方法组织成完整项目。

第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

综合项目A：材料性能预测

目标：基于成分、工艺和组织特征预测材料性能。

任务示例：

  • 合金硬度预测。
  • 增材制造样品强度预测。
  • 相组成分类。
  • 腐蚀电流密度预测。

核心输出：

  • 可复现数据处理脚本。
  • 模型训练与评价结果。
  • 可解释性分析。
  • 模型卡与可信度报告。
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

项目A工作流

问题定义
  ↓
数据采集与字段设计
  ↓
数据清洗、缺失值处理、异常值检查
  ↓
特征工程与训练/测试划分
  ↓
基线模型与复杂模型比较
  ↓
交叉验证、子群误差、外推检测
  ↓
可解释性分析与模型卡
  ↓
结论、风险和改进建议
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

项目A数据表设计

字段类型 示例字段
成分 Fe, C, Cr, Ni, Mo, Al, Ti
工艺 退火温度、保温时间、冷却速率、扫描速度
组织 晶粒尺寸、相体积分数、孔隙率、枝晶间距
性能 硬度、屈服强度、延伸率、腐蚀电流
元数据 文献来源、样品编号、测试方法、单位

字段设计应优先保证单位统一、含义清楚、来源可追溯。

《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

项目A评价指标

回归任务：

  • MAE：平均误差规模。
  • RMSE：对大误差更敏感。
  • R2R^2：相对基线的解释能力。
  • 子群MAE：不同材料类别的误差差异。

分类任务：

  • Accuracy：总体准确率。
  • Precision：预测为正时有多可靠。
  • Recall：真实为正时能找回多少。
  • F1：精确率和召回率折中。
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

项目A风险控制

  • 避免同一文献或同一批样品同时进入训练集和测试集。
  • 使用分组划分检验跨文献泛化能力。
  • 对超出成分或工艺范围的样本标记外推风险。
  • 报告模型失败案例，而不仅报告平均指标。
  • 检查重要特征是否符合材料学常识。
  • 预测结果进入实验前需要人工审核。
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

综合项目B：材料文献知识库

目标：构建面向某一材料主题的RAG知识库。

主题示例：

  • 高氮钢焊接冶金反应。
  • 高熵合金相稳定性。
  • 增材制造显微组织演化。
  • 包晶反应与相场模拟。

核心输出：

  • 文献集合与元数据表。
  • 文档切分与向量索引。
  • 问答样例与引用证据。
  • 幻觉检测与可靠性评价。
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

项目B工作流

确定主题和检索式
  ↓
收集文献PDF和元数据
  ↓
清洗、切分、嵌入、建立向量索引
  ↓
设计问题集和标准答案
  ↓
检索、重排、生成回答
  ↓
检查引用片段是否支持回答
  ↓
记录失败问题和幻觉类型
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

项目B可靠性评价

评价项 问题
检索命中 是否检索到相关文献片段
引用支持 回答是否被引用片段直接支持
事实一致 数值、材料体系、实验条件是否正确
覆盖范围 是否只覆盖少数文献观点
不确定性 文献证据不足时是否说明不足
可追溯性 是否能回到原文页码或段落
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

综合项目C：贝叶斯优化

目标：在有限实验或计算预算下寻找最优材料成分或工艺参数。

任务示例：

  • 最大化硬度，同时保持延伸率高于阈值。
  • 最小化腐蚀电流密度。
  • 优化增材制造激光功率与扫描速度。
  • 选择下一组高通量计算候选材料。

核心输出：

  • 初始数据集。
  • 代理模型。
  • 采集函数。
  • 迭代优化过程。
  • 推荐点和风险说明。
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

项目C目标函数

单目标优化：

x∗=arg⁡max⁡x∈Xf(x)x^*=\arg\max_{x\in \mathcal{X}} f(x)

约束优化：

x∗=arg⁡max⁡x∈Xf(x),gk(x)≤0x^*=\arg\max_{x\in \mathcal{X}} f(x),\qquad g_k(x)\leq 0

材料例子：

max⁡ σy(x),δ(x)≥10%,Ccost(x)≤C0\max \ \sigma_y(x),\qquad \delta(x)\geq 10\%,\qquad C_{\text{cost}}(x)\leq C_0

《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

项目C可信性问题

贝叶斯优化项目必须说明：

  • 初始样本是否覆盖合理设计空间？
  • 代理模型不确定性是否校准？
  • 采集函数是否过度探索边界区域？
  • 推荐点是否满足相图、成本、设备和安全约束？
  • 失败实验是否被记录并纳入下一轮学习？
  • 优化停止准则是什么？
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

综合项目通用报告结构

  1. 研究背景与问题定义。
  2. 数据来源、数据字段和数据质量说明。
  3. 方法流程：预处理、建模、评价、解释或优化。
  4. 结果：指标、图表、关键样本和失败案例。
  5. 可信性分析：偏差、安全、可解释性、外推风险。
  6. 人工审核与实验验证计划。
  7. 结论、局限性和后续工作。
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

项目评分建议

评价维度 权重 说明
问题定义 15% 材料问题清楚，目标明确
数据处理 20% 数据清洗、元数据、可复现
方法实现 25% 模型、知识库或优化流程正确
结果分析 20% 指标、图表、失败案例充分
可信性报告 15% 偏差、解释、安全和边界说明
表达规范 5% 引用、代码、图表规范
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

综合案例小结

综合项目不是把工具简单叠加，而是形成闭环：

材料问题 → 数据治理 → 建模/检索/优化 → 可信评价 → 人类审核 → 新实验或新计算

本课程希望学生最终能够：

  • 不仅会调用AI工具。
  • 还能判断数据和模型是否可信。
  • 能把AI结果转化为材料科学问题中的可验证假设。
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

10.6 课程总结：AI for Materials的发展趋势

10.6 课程总结：AI for Materials的发展趋势

从工具应用走向科学范式变化。

第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

课程主线回顾

章节 主线
第1章 AI、大数据与材料科学概论
第2章 Python数据处理与材料数据预处理
第3章 贝叶斯定理与概率思维
第4章 机器学习与材料性能预测
第5章 深度学习、多模态AI与显微组织识别
第6章 生成式AI、大语言模型与提示工程
第7章 知识库、知识图谱与RAG
第8章 AI代理、主动学习与贝叶斯优化
第9章 大数据平台、材料数据库与高通量材料设计
第10章 可信AI、数据安全与综合应用
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

AI for Materials的技术栈

数据层：实验、计算、文献、数据库、传感器
特征层：成分、结构、组织、谱图、文本、图像
模型层：机器学习、深度学习、生成模型、基础模型
知识层：知识图谱、RAG、文献知识库、物理约束
决策层：主动学习、贝叶斯优化、AI代理、自动实验
治理层：可信AI、数据安全、学术规范、人类审核
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

趋势2：物理约束与数据驱动融合

纯数据模型容易外推失效；纯物理模型成本高或参数难以获得。

融合方向：

  • 物理启发特征。
  • PINN与物理约束损失函数。
  • CALPHAD、DFT、相场模拟与机器学习融合。
  • 多保真建模。
  • 符合守恒律、相图和热力学约束的模型。
材料AI的长期方向不是抛弃物理，而是把物理知识以可计算方式嵌入数据模型。
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

趋势3：从相关性到因果理解

材料科学最终关心机制，而不仅是相关性预测。

需要回答：

  • 哪些变量是真正控制性能的原因？
  • 改变某个工艺参数会导致什么组织变化？
  • 组织变化如何影响性能？
  • 是否存在混杂变量？

因果图可表示为：

成分→组织→性能\text{成分}\rightarrow \text{组织}\rightarrow \text{性能}

工艺→组织→性能\text{工艺}\rightarrow \text{组织}\rightarrow \text{性能}

《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

趋势4：自主实验室

自主实验室将计算、实验、表征、建模和优化连接成闭环。

提出假设
  ↓
自动设计实验
  ↓
机器人或自动设备执行
  ↓
在线表征与数据采集
  ↓
模型更新与不确定性评估
  ↓
推荐下一轮实验

关键约束：安全、成本、设备边界、人工审核和伦理治理。

《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

趋势6：AI代理参与科研流程

AI代理可承担部分流程性任务：

  • 文献检索与归纳。
  • 数据清洗和绘图。
  • 代码生成与测试。
  • 数据库查询。
  • 实验变量建议。
  • 报告草稿生成。

但关键节点仍需要人类决策：

  • 问题定义。
  • 证据判断。
  • 实验安全。
  • 论文结论。
  • 工程责任。
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

未来材料人才的能力结构

材料专业能力

  • 热力学
  • 动力学
  • 组织性能关系
  • 表征与实验

数据与AI能力

  • Python
  • 机器学习
  • 多模态建模
  • 知识库和优化

可信治理能力

  • 数据安全
  • 学术规范
  • 可解释性
  • 风险判断
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

课程最终能力目标

完成本课程后，应能够：

  1. 把材料问题转化为数据问题。
  2. 选择合适的AI模型，而不是盲目追求复杂模型。
  3. 对材料数据进行清洗、可视化和质量判断。
  4. 建立材料性能预测、组织识别或知识库原型。
  5. 使用贝叶斯优化进行实验设计。
  6. 对AI结果进行可解释性、可信度和安全性评价。
  7. 明确AI辅助科研的学术规范和责任边界。
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

课程总结：一句话框架

AI for Materials 的核心不是用AI替代材料科学，而是用数据、模型和自动化方法增强材料科学的发现能力。

可归纳为：

材料知识+高质量数据+可信AI+人类审核→可验证的新材料发现\text{材料知识}+\text{高质量数据}+\text{可信AI}+\text{人类审核}\rightarrow \text{可验证的新材料发现}

《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

章节作业：可信材料性能预测小项目

请完成一个小型 Python 项目：

任务： 构造或读取一个材料性能数据集，训练模型预测硬度或强度，并生成可信度报告。

基本要求：

  • 至少包含5个输入特征。
  • 至少比较一个基线模型和一个非线性模型。
  • 计算MAE、RMSE和 R2R^2。
  • 按某个子群变量计算分组误差。
  • 给出置换特征重要性。
  • 写出模型适用范围和风险说明。
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

作业数据示例

可自造一个模拟数据集：

特征 含义
C 碳含量
Cr 铬含量
Ni 镍含量
anneal_temp 退火温度
grain_size 晶粒尺寸
process 工艺类别
hardness 目标硬度

要求：自行加入少量噪声和缺失值，并完成清洗。

《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

作业参考代码框架

import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split, cross_val_score
from sklearn.ensemble import RandomForestRegressor
from sklearn.linear_model import Ridge
from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score
from sklearn.inspection import permutation_importance

# 1. 读取或生成数据
# 2. 清洗缺失值和异常值
# 3. 划分训练集和测试集
# 4. 训练Ridge和RandomForest
# 5. 计算误差指标
# 6. 分组计算误差
# 7. 计算特征重要性
# 8. 输出模型卡
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

作业报告结构

报告建议包含：

  1. 数据说明：字段、单位、来源或模拟规则。
  2. 数据清洗：缺失值、异常值、标准化方法。
  3. 模型方法：模型、参数、训练测试划分。
  4. 预测结果：MAE、RMSE、R2R^2。
  5. 子群误差：不同工艺或材料类别误差比较。
  6. 可解释性：特征重要性排序与材料学解释。
  7. 可信性说明：外推风险、数据偏差和人工审核建议。
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

作业评分建议

项目 分值
数据构造或读取规范 15
数据清洗与可视化 15
模型训练与评价 25
子群误差与偏差分析 15
可解释性分析 15
模型卡与风险说明 10
代码可运行性与报告规范 5
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

本章参考资料

  • NIST Artificial Intelligence Risk Management Framework 1.0.
  • UNESCO Recommendation on the Ethics of Artificial Intelligence.
  • 生成式人工智能服务管理暂行办法。
  • NIST Privacy Framework.
  • Nature Portfolio AI editorial policies.
  • scikit-learn documentation: permutation importance, partial dependence and model inspection.
  • OWASP Top 10 for Large Language Model Applications.
课堂使用时建议结合本校科研诚信、数据安全与课程作业规范进行补充说明。
《人工智能与大数据》 | 第10章
第10章 可信AI 数据安全 科研规范 可解释性 综合项目 趋势

结束页

第10章结束

可信AI不是限制AI，而是让AI能够进入真实科研和工程流程。