第9章 大数据平台、材料数据库与高通量材料设计

本章学习目标

• 理解材料大数据从采集、存储、清洗到建模应用的完整流程。
• 区分云计算、Hadoop、Spark、NoSQL数据库在数据系统中的角色。
• 掌握主要材料数据库的对象、字段、查询方式和使用限制。
• 理解高通量计算与高通量实验如何产生可机器学习的数据。
• 建立材料基因工程中的“成分—工艺—组织—性能”数据思维。
• 掌握多保真数据融合的基本思想、公式和简单 Python 实现。

为什么材料科学需要大数据平台？

传统材料研究常以论文、表格、图谱和实验记录为主。

进入 AI for Materials 后，数据需要满足：

• 可机器读取：不仅能被人读，也能被程序解析。
• 可重复追溯：知道数据来自哪个样品、设备、计算参数或文献。
• 可批量处理：能够支持成千上万候选材料的筛选。
• 可融合建模：实验、模拟、文献数据可以进入同一个模型框架。

9.1.1 什么是材料大数据

材料大数据不只是“数据量大”，更强调数据类型复杂、来源多样、价值分散。

典型来源：

• 实验：成分、工艺参数、组织图像、力学性能、腐蚀性能。
• 计算：DFT、分子动力学、相场、有限元、CALPHAD。
• 文献：论文表格、图谱、文本描述、补充数据。
• 生产：设备传感器、在线监测、质量检测、工艺日志。

材料大数据的难点在于：同一种性能可能来自不同尺度、不同设备和不同标准。

9.1.4 从手工表格到数据流水线

手工表格适合小规模整理，但不适合长期扩展。

数据流水线强调：

• 输入自动化：从仪器、计算任务或数据库接口读取。
• 转换标准化：统一单位、字段、文件格式和命名规则。
• 输出结构化：写入数据库或标准数据文件。
• 过程可追踪：记录代码版本、时间、操作者和处理参数。

raw data → validation → cleaning → feature extraction → model-ready table

9.1.6 数据分层架构

材料数据平台可按四层组织：

1. Raw 层：仪器原始文件、计算输出、扫描件、图片。
2. Clean 层：单位统一、字段统一、错误修正后的数据。
3. Feature 层：描述符、图像特征、谱图峰位、统计量。
4. Model 层：训练集、验证集、预测结果、模型文件。

Raw → Clean → Feature → Model

这使同一数据可以被多个项目复用。

9.1.7 元数据：使数据能够被理解

元数据是“描述数据的数据”。

材料实验元数据应包括：

• 样品编号、成分设计、制备批次。
• 工艺参数：温度、时间、扫描速度、热输入、气氛。
• 设备信息：型号、校准状态、分辨率、测试标准。
• 数据处理：滤波、背景扣除、图像阈值、拟合方法。

9.1.12 案例：高通量计算数据采集

高通量 DFT 计算通常需要采集：

• 输入结构：晶格、原子坐标、空间群。
• 计算参数：泛函、赝势、截断能、$k$ 点、收敛阈值。
• 计算结果：总能、形成能、能带、态密度、弹性常数。
• 任务状态：成功、失败、未收敛、异常终止。

9.1 小结

本节重点：

• 材料大数据的核心不只是“大”，而是多源、多尺度、多类型和高可追溯性。
• 数据生命周期包括采集、存储、治理、处理、分析和发布。
• 元数据、版本、原始数据保存决定材料数据是否可复用。
• ETL/ELT、Raw/Clean/Feature/Model 分层是实验室数据平台的基础设计。

下一节进入数据平台：云计算、Hadoop、Spark 和 NoSQL。

9.2.1 为什么单机处理会遇到瓶颈

单机计算受限于：

• 内存容量：数据装不进内存。
• 磁盘 I/O：大文件读写成为瓶颈。
• CPU/GPU 数量：并行度有限。
• 任务管理：高通量任务失败后难以批量恢复。

材料场景示例：

• 上万组 DFT 计算输出文件。
• 数十万张显微组织图像。
• 长时间原位监测产生的传感器数据。

分布式系统的目标是把存储和计算扩展到多个节点。

9.2.4 Hadoop 的基本思想

Hadoop 解决两个问题：

1. 分布式存储：HDFS 将大文件切分并复制到多个节点。
2. 分布式计算：MapReduce 将计算任务分发到数据所在节点。

大文件 → 数据块 → 多副本 → 多节点存储
任务 → Map 阶段 → Shuffle 阶段 → Reduce 阶段

Hadoop 适合大规模离线批处理。

9.2.7 Spark 的基本思想

Spark 是面向大数据处理的统一分析引擎。

相较传统 MapReduce，Spark 重点支持：

• 内存计算。
• 交互式查询。
• DataFrame 和 SQL。
• 机器学习流水线。
• 图计算和流处理。

材料场景：

• 批量处理材料数据库下载结果。
• 对百万级材料记录进行筛选和统计。
• 处理大规模传感器和图像元数据。

9.2.8 Spark DataFrame 思维

Spark DataFrame 可以理解为“分布式表格”。

Pandas DataFrame：单机内存中的表
Spark DataFrame：分布在集群中的表

常见操作：

• select：选择列。
• filter：筛选行。
• groupBy：分组统计。
• join：表连接。
• write：写入 Parquet、数据库或数据湖。

先学 Pandas，再理解 Spark，是更平滑的学习路径。

9.2.11 NoSQL数据库为什么出现

关系数据库适合结构化表格，但材料数据常具有：

• 层级结构：一个样品包含多个测试、多个图像、多个谱图。
• 稀疏字段：不同材料体系字段不完全一致。
• 大文件关联：图像、结构文件、原始谱图不能直接放入普通表格。
• 图关系：材料、元素、相、性能、文献之间存在复杂关系。

NoSQL 数据库为这些场景提供更灵活的数据模型。

9.2.14 CAP 思想的直观理解

分布式系统常在以下目标之间权衡：

• Consistency：所有节点看到一致数据。
• Availability：请求总能得到响应。
• Partition tolerance：网络分区时系统仍能运行。

材料数据平台常见取舍：

• 实验记录与原始数据：更重视一致性和可追溯性。
• 在线监控和看板：更重视可用性和实时性。

课堂不要求深入分布式理论，但要理解系统设计存在权衡。

9.2.17 小型团队如何低成本起步

不必一开始就建设复杂平台。

建议三步走：

1. 标准目录 + CSV/Excel + JSON元数据：解决命名和追溯。
2. SQLite/PostgreSQL + 文件服务器：解决查询和共享。
3. 对象存储 + 数据库 + Notebook/RAG：解决多源集成。

9.2 小结

本节重点：

• 云计算提供弹性资源，Hadoop 强调分布式存储与批处理。
• Spark 更适合交互式分析、内存计算和大规模表格处理。
• NoSQL 适合材料数据中的层级、稀疏和关系复杂问题。
• 实验室平台设计应把原始数据、元数据、计算特征和模型结果分层管理。

下一节进入真实材料数据库：Materials Project、OQMD、NOMAD 等。

9.3.1 材料数据库的价值

材料数据库把分散的计算、实验和文献数据组织成可查询资源。

主要作用：

• 快速获得候选材料的结构和性质。
• 支持机器学习训练集构建。
• 支持相稳定性、能带、弹性、热力学等筛选。
• 支持跨论文、跨项目的数据复用。

9.3.2 材料数据库的基本对象

常见对象包括：

• Material：材料条目，如晶体结构或化学式。
• Structure：晶格、原子坐标、空间群。
• Property：能量、带隙、磁矩、弹性常数等。
• Task：一次具体计算任务及其输入输出。
• Provenance：数据来源、计算参数、版本和引用。

材料数据库的关键不只是存性质，还要存“性质如何得到”。

9.3.3 Materials Project

Materials Project 提供已计算材料性质的开放网络访问和分析工具。

常见可用信息：

• 晶体结构和材料ID。
• 形成能、能量高于凸包。
• 能带、带隙、态密度。
• 弹性、电介质、磁性等计算性质。

典型用途：

• 筛选稳定化合物。
• 构建机器学习训练集。
• 生成相图或候选半导体列表。

9.3.4 Materials Project API 思路

API 允许程序按条件查询数据库。

常见查询条件：

• 化学体系：chemsys="Li-Fe-O"
• 材料ID：material_ids=["mp-149"]
• 性质范围：带隙、形成能、元素集合。
• 返回字段：结构、公式、能量、带隙。

用户问题 → API查询条件 → JSON结果 → DataFrame → 分析或建模

API 查询使材料数据库进入自动化工作流。

9.3.6 OQMD：Open Quantum Materials Database

OQMD 是面向无机晶体材料的高通量 DFT 数据库。

常见内容：

• 热力学稳定性。
• 形成能。
• 晶体结构。
• 相图和基态组合分析。

适合场景：

• 根据成分体系筛选候选相。
• 查询大量化合物的 DFT 热力学性质。
• 与机器学习模型结合进行材料稳定性预测。

9.3.7 OQMD REST API 思路

REST API 的基本思想：

URL + 查询参数 → 服务器 → JSON或表格结果

典型查询：

• 按化学式查询。
• 按元素体系查询。
• 按形成能或稳定性筛选。
• 下载结构和性质字段。

9.3.8 NOMAD：面向FAIR数据管理

NOMAD 更强调材料科学数据的管理、共享、发布和 FAIR 原则。

FAIR 表示：

• Findable：可发现。
• Accessible：可访问。
• Interoperable：可互操作。
• Reusable：可复用。

NOMAD 可用于：

• 上传和共享计算或实验数据。
• 通过结构化模式管理研究数据。
• 搭建实验室本地数据管理系统。

9.3.12 数据库数据的局限性

材料数据库不是“绝对真值”。

常见局限：

• 计算方法近似：如 DFT 泛函、赝势、收敛标准不同。
• 数据覆盖不均：热门体系数据多，冷门体系数据少。
• 实验条件缺失：材料制备历史影响性能但难以完整记录。
• 版本更新：数据库结果可能随算法和结构优化更新。

9.3.15 OPTIMADE：跨数据库查询标准

OPTIMADE 致力于为材料数据库提供统一查询接口。

它的意义：

• 不同数据库可使用相似查询语法。
• 便于跨数据库检索晶体结构。
• 降低字段和接口差异带来的程序开发成本。

课堂理解：

如果每个数据库都是一种方言，OPTIMADE 就相当于材料结构数据查询的通用语法。

9.3 小结

本节重点：

• 材料数据库把材料结构、性质、任务和来源组织成可查询资源。
• Materials Project、OQMD、NOMAD 的重点不同：计算性质、热力学数据、FAIR数据管理。
• API 查询是高通量筛选和机器学习数据构建的关键入口。
• 使用数据库必须关注字段含义、单位、版本、许可证和引用规范。

下一节讨论如何系统地产生大规模材料数据：高通量计算与高通量实验。

9.4.1 高通量的基本思想

高通量方法的核心是：

用自动化、标准化和批量化方法，在较大候选空间中快速获得结构—性质数据。

两类主要路线：

• 高通量计算：自动生成结构、提交计算、解析结果、筛选候选。
• 高通量实验：组合制样、自动表征、批量测试、快速反馈。

共同目标：加速材料发现与优化。

9.4.8 高通量任务的失败处理

高通量计算中，失败任务不可避免。

常见失败：

• 结构不合理。
• 电子自洽不收敛。
• 离子步优化失败。
• 文件系统或队列错误。
• 参数设置不适合特定材料。

建议记录：

task_id, input_structure, parameters, status, error_type, retry_count

失败数据也是平台改进的重要来源。

9.4.9 高通量实验的基本路线

高通量实验通过自动化和并行化加速实验探索。

典型方式：

• 组合材料芯片：在一个样品上形成成分梯度。
• 自动制样：机器人配料、沉积、烧结、热处理。
• 快速表征：自动 XRD、SEM、EDS、硬度扫描。
• 数据入库：将制备参数和表征结果关联。

目标是从“单点实验”转向“材料空间扫描”。

9.4.10 组合材料实验

组合材料实验可在一个样品上覆盖连续成分空间。

示例：薄膜沉积形成 $A$-$B$-$C$ 三元梯度。

每个空间位置对应：

• 局部成分。
• 局部相结构。
• 局部硬度或电学性能。
• 局部显微组织。

这类数据天然适合机器学习，但必须精确配准空间坐标、成分和性能。

9.4 小结

本节重点：

• 高通量方法通过自动化和批量化加速材料空间探索。
• 高通量计算强调结构生成、任务管理、收敛检查和结果入库。
• 高通量实验强调组合制备、快速表征和空间—成分—性能配准。
• 高通量不是盲目穷举，应结合物理约束、数据库和主动学习。

下一节进入材料基因工程与数据驱动材料设计。

9.5.1 材料基因工程的基本思想

材料基因工程强调利用：

• 高通量计算。
• 高通量实验。
• 材料数据库。
• 机器学习与优化。

来加速材料发现、设计、制备和应用。

其核心不是简单借用生物学词汇，而是建立材料内在结构和性能之间的可计算映射。

9.5.6 材料描述符

材料描述符是把材料对象转化为数值特征的桥梁。

常见描述符：

• 成分描述符：平均原子半径、电负性差、价电子数。
• 结构描述符：晶格参数、配位数、密度、空间群。
• 工艺描述符：温度、时间、冷却速率、热输入。
• 组织描述符：晶粒尺寸、相分数、孔隙率、纹理指标。

描述符决定模型能够“看见”什么信息。

9.5.11 Pareto最优的直观解释

一个候选材料是 Pareto 最优，表示：

若想进一步提高某一个目标，就必须牺牲至少另一个目标。

例如强度与塑性：

候选A：强度高，塑性低
候选B：强度中等，塑性中等
候选C：强度低，塑性高

工程设计需要在 Pareto 前沿上选择满足应用需求的方案。

9.5.12 案例：增材制造工艺窗口设计

以金属增材制造为例，常见变量：

• 激光功率或电弧电流。
• 扫描速度或焊接速度。
• 送粉量或送丝速度。
• 层厚、道间距、预热温度。

常见目标：

• 孔隙率最低。
• 成形质量最好。
• 晶粒尺寸可控。
• 强度和塑性匹配。

数据驱动模型可帮助建立工艺窗口。

9.5.15 机器学习模型不是设计终点

材料设计中，模型输出只是“建议”。

后续必须进行：

• 热力学和动力学合理性检查。
• 可制备性和可加工性检查。
• 数据外推风险评估。
• 专家审查和实验验证。
• 失效样本回流模型。

9.5.17 数据驱动设计的常见误区

• 只追求高 $R^2$，忽视外推风险。
• 把不同来源数据直接合并，忽视方法差异。
• 忽视失败样本，导致模型只知道“成功区域”。
• 忽视工艺历史，用成分直接预测所有性能。
• 忽视材料可制备性和工程约束。

9.5 小结

本节重点：

• 材料基因工程强调高通量、数据库、机器学习和实验验证协同。
• 成分—工艺—组织—性能是材料数据驱动建模的主链条。
• 正向预测解决“给定材料预测性能”，反向设计解决“给定目标寻找材料”。
• 多目标和约束条件决定材料设计不可能只靠单一指标排序。

下一节进入多保真数据融合：如何把实验、模拟和文献数据放到同一个框架中。

9.6.1 为什么需要多保真融合

材料数据常来自不同保真度：

• 高保真：真实实验、精细表征、高精度计算。
• 中保真：简化实验、工程模型、经验公式。
• 低保真：快速模拟、文献粗略数据、低精度计算。

高保真数据准确但少，低保真数据便宜但偏差大。

多保真融合的目标：

用低成本数据提供趋势，用高质量数据校准偏差。

9.6.2 保真度的含义

保真度不是简单的“真假”，而是数据对目标真实系统的接近程度。

影响因素：

• 测量标准和设备精度。
• 样品制备一致性。
• 模型近似和边界条件。
• 文献数据的提取精度。
• 目标应用条件是否一致。

同一数据源在不同任务中保真度可能不同。

9.6.7 实验—模拟融合

以焊接或增材制造为例：

• 模拟数据：温度场、冷却速率、熔池尺寸、凝固参数。
• 实验数据：显微组织、硬度、残余应力、缺陷。
• 融合目标：建立工艺参数到组织和性能的映射。

工艺参数 → 有限元/CFD模拟特征 → 组织实验标签 → 性能模型

模拟特征可作为机器学习输入，而不是替代实验。

9.6.8 文献数据融合

文献数据常见问题：

• 图中读取的数据有误差。
• 试样尺寸和测试标准不一致。
• 热处理历史描述不完整。
• 单位和命名不统一。
• 只发表成功结果，失败样本较少。

建议：

• 保留 DOI、表号、图号、提取方法。
• 记录是否为原始表格、图像提取或二次整理。
• 对文献数据设置较低或可学习权重。

9.6.9 多保真融合中的数据泄漏

如果同一材料的低保真和高保真记录被错误分到训练集和测试集，可能导致评估偏高。

防止方法：

• 按材料体系或样品编号分组划分。
• 同一来源的重复记录不能跨集合泄漏。
• 文献同一论文数据应作为同一组处理。
• 先划分训练/测试，再进行标准化和特征选择。

9.6.10 数据来源作为特征

一种实用做法：把数据来源作为模型输入或分组变量。

features = [composition, process, descriptors, source_type]
source_type = experiment / DFT / CALPHAD / literature

好处：

• 模型可以学习不同来源的系统偏差。
• 可分析不同数据源对预测的贡献。
• 便于输出不确定性和可信度提示。

注意：来源特征不能替代物理特征。

9.6 小结

本节重点：

• 多保真融合处理不同成本、不同精度和不同偏差的数据。
• 简单方法包括样本加权和偏差校正。
• 高级方法包括多保真高斯过程和成本敏感贝叶斯优化。
• 数据来源、可靠性等级和元数据必须显式记录。
• 最终目标是提高对高保真实验或工程性能的预测能力。