第2章
Python数据处理与材料数据预处理

Conda与pip的角色

• conda：更适合管理完整科学计算环境

  • 可管理 Python 版本
  • 可安装含底层依赖的科学计算包
  • 适合 Windows 科研环境

• pip：更接近 Python 官方包安装方式

  • 适合安装纯 Python 包
  • 与 PyPI 包生态连接紧密
  • 常用于补充 conda 中没有的包

建议做法：

conda create -n ai-bigdata python=3.11
conda activate ai-bigdata
conda install numpy pandas matplotlib scikit-learn jupyter

脚本文件适合做什么？

.py 脚本适合固定、可重复执行的流程：

project/
├── data/
│   ├── raw/              原始数据
│   └── processed/        清洗后数据
├── src/
│   ├── clean_data.py     数据清洗
│   ├── features.py       特征构造
│   └── plot_data.py      绘图
├── figures/              输出图像
├── outputs/              模型结果
└── README.md             项目说明

科学研究中的关键要求：

• 原始数据不可覆盖
• 清洗步骤可追踪
• 图表可由代码重新生成

第一个可运行示例

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

# 构造一个简单的材料性能数据表
data = pd.DataFrame({
    "C_wt": [0.05, 0.10, 0.20, 0.40],
    "Mn_wt": [0.5, 0.8, 1.0, 1.2],
    "cooling_rate": [5, 10, 20, 50],
    "hardness_HV": [160, 185, 230, 310]
})

print(data)
data.plot(x="cooling_rate", y="hardness_HV", marker="o")
plt.xlabel("Cooling rate / K s$^{-1}$")
plt.ylabel("Hardness / HV")
plt.show()

NumPy：从列表到数组

Python 列表可以存数据，但不适合大规模数值计算。

# Python列表
c_list = [0.05, 0.10, 0.20, 0.40]

# NumPy数组
import numpy as np
c_array = np.array(c_list)

print(c_array)
print(c_array * 100)

NumPy 数组的优点：

• 计算速度快
• 支持向量化运算
• 支持矩阵和张量
• 与科学计算库高度兼容

Pandas：表格数据的核心工具

材料数据多数不是单纯数组，而是带列名、单位和样本编号的表格。

import pandas as pd

df = pd.DataFrame({
    "alloy": ["A", "B", "C"],
    "C_wt": [0.05, 0.10, 0.20],
    "Mn_wt": [0.5, 0.8, 1.0],
    "hardness_HV": [160, 185, 230]
})

print(df.head())
print(df.info())
print(df.describe())

Pandas 的核心优势：列名、索引、缺失值处理、分组统计。

读取CSV和Excel数据

import pandas as pd

# 读取CSV文件
df_csv = pd.read_csv("data/raw/alloy_data.csv")

# 读取Excel文件
df_xlsx = pd.read_excel("data/raw/alloy_data.xlsx", sheet_name="Sheet1")

# 查看数据结构
print(df_csv.shape)
print(df_csv.columns)
print(df_csv.head())

读取后必须先检查：

• 行数和列数是否符合预期
• 列名是否有空格和乱码
• 数值列是否被读成字符串
• 单位是否写入列名或数据说明文档

新增列：从原始变量到派生特征

材料数据预处理经常需要构造派生特征。

# 简化碳当量公式，仅用于教学示例
df["CE"] = df["C_wt"] + df["Mn_wt"] / 6

# 工艺复合变量
df["heat_input"] = df["power_W"] / df["scan_speed_mm_s"]

# 取对数变换，处理跨度大的变量
import numpy as np
df["log_cooling_rate"] = np.log10(df["cooling_rate"])

派生特征应有物理含义，不能只追求数量。

分组统计：按材料类别或工艺分组

# 按热处理状态分组，计算平均硬度和标准差
summary = df.groupby("heat_treatment")["hardness_HV"].agg(["mean", "std", "count"])
print(summary)

# 按合金体系和工艺路线双重分组
summary2 = df.groupby(["alloy_system", "process"])["strength_MPa"].mean()

材料场景：

• 按合金体系统计性能
• 按热处理状态比较强度
• 按打印参数区间分析缺陷率
• 按测试温度统计蠕变寿命

Matplotlib：从数据到图形

Matplotlib 是 Python 基础绘图库。

import matplotlib.pyplot as plt

plt.figure(figsize=(5, 4))
plt.scatter(df["C_wt"], df["hardness_HV"])
plt.xlabel("C / wt.%")
plt.ylabel("Hardness / HV")
plt.title("Effect of carbon on hardness")
plt.tight_layout()
plt.show()

图形不是装饰，而是数据诊断工具：

• 看趋势
• 看离群点
• 看分布
• 看数据是否支持建模假设

Figure与Axes的概念

Matplotlib 图形由两层组成：

• Figure：整张画布
• Axes：具体绘图区

fig, ax = plt.subplots(figsize=(5, 4))
ax.scatter(df["C_wt"], df["hardness_HV"])
ax.set_xlabel("C / wt.%")
ax.set_ylabel("Hardness / HV")
ax.set_title("C-Hardness relation")
plt.show()

推荐使用 fig, ax = plt.subplots()，便于后续精细控制。

三个工具如何协同？

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

# Pandas读取数据
df = pd.read_csv("alloy_data.csv")

# NumPy进行数值变换
x = df["cooling_rate"].to_numpy()
df["log_rate"] = np.log10(x)

# Matplotlib绘图
fig, ax = plt.subplots()
ax.scatter(df["log_rate"], df["hardness_HV"])
ax.set_xlabel("log10(cooling rate)")
ax.set_ylabel("Hardness / HV")
plt.show()

工作流：读取 → 变换 → 可视化 → 诊断。

wt.% 到 at.% 的Python示例

import pandas as pd

comp_wt = pd.Series({"Fe": 98.0, "C": 0.2, "Mn": 1.5, "Si": 0.3})
M = pd.Series({"Fe": 55.845, "C": 12.011, "Mn": 54.938, "Si": 28.085})

moles = comp_wt / M
comp_at = moles / moles.sum()

print(comp_at * 100)

结果解释：

• 轻元素 C 的 at.% 往往显著高于 wt.%
• 单位转换会改变模型输入分布
• 建模前必须明确使用何种成分尺度

工艺派生特征代码示例

# P: W, v: mm/s, h: mm, t: mm
# E: J/mm^3
df["energy_density"] = (
    df["laser_power_W"] /
    (df["scan_speed_mm_s"] * df["hatch_spacing_mm"] * df["layer_thickness_mm"])
)

# 焊接线能量，单位 J/mm
df["line_energy"] = df["voltage_V"] * df["current_A"] / df["welding_speed_mm_s"]

派生特征必须记录公式和单位，否则难以复现。

多源材料数据整合

多源数据整合的关键是样本主键：

sample_id
  ├── composition.csv
  ├── process.csv
  ├── microstructure.csv
  ├── property.csv
  ├── images/*.png
  └── spectra/*.csv

推荐原则：

• 每个样本有唯一 sample_id
• 不同数据表通过 sample_id 合并
• 原始数据与处理数据分离
• 记录数据来源、测试条件和处理步骤

Pandas合并多张材料数据表

comp = pd.read_csv("composition.csv")
proc = pd.read_csv("process.csv")
prop = pd.read_csv("property.csv")

# 按 sample_id 合并
alloy_data = comp.merge(proc, on="sample_id", how="inner")
alloy_data = alloy_data.merge(prop, on="sample_id", how="inner")

print(alloy_data.shape)
print(alloy_data.head())

合并前必须检查：

• sample_id 是否唯一
• 是否存在重复样本
• inner、left、outer 合并方式是否合理

数据清洗的基本流程

推荐流程：

读取原始数据
  ↓
检查行列、字段、单位和数据类型
  ↓
处理重复样本和明显录入错误
  ↓
识别缺失值并分析缺失机制
  ↓
识别异常值并区分错误与真实极端样本
  ↓
标准化、编码和特征构造
  ↓
保存处理后数据并记录处理日志

注意：处理顺序应固定，并能由代码重新运行。

读取后第一步：快速体检

import pandas as pd

df = pd.read_csv("data/raw/alloy_data.csv")

print(df.shape)
print(df.columns)
print(df.head())
print(df.info())
print(df.describe(include="all"))

重点观察：

• 样本数是否符合预期
• 列名是否有空格、中文括号和特殊符号
• 数值列是否存在字符串
• 类别列是否有拼写不一致
• 最大值和最小值是否物理合理

列名规范化

不规范列名会导致代码难以维护。

# 原始列名可能为："C (wt%)", "Cooling Rate/Ks-1"
df.columns = (
    df.columns
      .str.strip()
      .str.replace(" ", "_")
      .str.replace("(", "", regex=False)
      .str.replace(")", "", regex=False)
      .str.lower()
)

print(df.columns)

推荐列名：

• c_wt
• mn_wt
• cooling_rate_k_s
• hardness_hv

数据类型检查与转换

# 查看每列类型
print(df.dtypes)

# 将字符串数值转为浮点数，错误值转为 NaN
df["c_wt"] = pd.to_numeric(df["c_wt"], errors="coerce")

# 类别变量统一为字符串
df["process"] = df["process"].astype("string")

常见问题：

• "0.25" 被读成字符串
• "<0.01" 无法直接转数值
• "未测"、"--"、"N/A" 含义不同
• 数字中的中文单位未剥离

重复值检查

# 检查完全重复行
print(df.duplicated().sum())

# 根据 sample_id 检查重复样本
print(df["sample_id"].duplicated().sum())

# 查看重复记录
duplicates = df[df["sample_id"].duplicated(keep=False)]
print(duplicates)

处理原则：

• 完全重复：通常可删除
• 同一样本多次测试：应保留并记录为重复测量
• 同一编号对应不同数据：需回查原始记录

单位一致化

单位错误是材料数据中最严重的问题之一。

示例：扫描速度统一为 mm/s。

# 若原始数据有速度值和单位两列
def convert_speed(row):
    if row["speed_unit"] == "m/s":
        return row["speed"] * 1000
    elif row["speed_unit"] == "mm/s":
        return row["speed"]
    else:
        return None

df["scan_speed_mm_s"] = df.apply(convert_speed, axis=1)

原则：单位转换必须写入代码，不建议手工改 Excel。

缺失值处理策略一：删除

删除适合缺失少且不影响样本代表性的情况。

# 删除目标值缺失的样本
df1 = df.dropna(subset=["hardness_hv"])

# 删除缺失率过高的列
threshold = 0.5
cols_keep = df.columns[df.isna().mean() < threshold]
df2 = df[cols_keep]

风险：

• 小样本材料数据删除后样本更少
• 若缺失与工艺或性能相关，会产生选择偏差
• 删除前应报告删除比例和原因

缺失值处理策略三：分组插补

若不同合金体系分布差异很大，应考虑分组插补。

# 按合金体系用组内中位数插补硬度
med = df.groupby("alloy_system")["hardness_hv"].transform("median")
df["hardness_hv_filled"] = df["hardness_hv"].fillna(med)

适用场景：

• 不同材料体系的性能水平差异明显
• 不同工艺路线的数据分布不同
• 样本量允许在组内估计统计量

注意：不能使用目标变量未来信息进行插补。

多变量异常值代码示例

import numpy as np

cols = ["c_wt", "mn_wt", "si_wt", "hardness_hv"]
X = df[cols].dropna().to_numpy()

mu = X.mean(axis=0)
Sigma = np.cov(X, rowvar=False)
Sigma_inv = np.linalg.pinv(Sigma)

diff = X - mu
D2 = np.sum(diff @ Sigma_inv * diff, axis=1)

print(D2)

注意：样本量很小时协方差矩阵估计不稳定。

正确的预处理顺序

from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.impute import SimpleImputer
from sklearn.pipeline import Pipeline

X = df[["c_wt", "mn_wt", "cooling_rate_k_s"]]
y = df["hardness_hv"]

X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=0
)

pipe = Pipeline([
    ("imputer", SimpleImputer(strategy="median")),
    ("scaler", StandardScaler())
])

X_train_p = pipe.fit_transform(X_train)
X_test_p = pipe.transform(X_test)

Pandas描述统计

# 数值列统计
print(df.describe())

# 指定列统计
cols = ["c_wt", "mn_wt", "cooling_rate_k_s", "hardness_hv"]
print(df[cols].describe())

# 类别列频数
print(df["process"].value_counts())

观察重点：

• count 是否一致
• min 和 max 是否物理合理
• mean 与 50% 差异是否很大
• 某些类别样本是否过少

直方图：看单变量分布

fig, ax = plt.subplots(figsize=(5, 4))
ax.hist(df["hardness_hv"].dropna(), bins=15, edgecolor="black")
ax.set_xlabel("Hardness / HV")
ax.set_ylabel("Count")
ax.set_title("Distribution of hardness")
plt.tight_layout()
plt.show()

直方图用于检查：

• 是否近似正态分布
• 是否长尾
• 是否多峰
• 是否有明显异常值

箱线图：看离群点和分组差异

fig, ax = plt.subplots(figsize=(5, 4))
df.boxplot(column="hardness_hv", by="process", ax=ax)
ax.set_xlabel("Process")
ax.set_ylabel("Hardness / HV")
plt.suptitle("")
plt.tight_layout()
plt.show()

箱线图包含：

• 中位数
• 上下四分位数
• 四分位距
• 可能离群点

适合比较不同工艺路线的性能分布。

散点图：看变量关系

fig, ax = plt.subplots(figsize=(5, 4))
ax.scatter(df["cooling_rate_k_s"], df["hardness_hv"])
ax.set_xscale("log")
ax.set_xlabel("Cooling rate / K s$^{-1}$")
ax.set_ylabel("Hardness / HV")
plt.tight_layout()
plt.show()

散点图可以判断：

• 是否近似线性
• 是否存在阈值效应
• 是否存在不同分组
• 是否存在高杠杆点

相关矩阵计算

cols = ["c_wt", "mn_wt", "si_wt", "cooling_rate_k_s", "hardness_hv"]
corr = df[cols].corr(method="pearson")
print(corr)

fig, ax = plt.subplots(figsize=(5, 4))
im = ax.imshow(corr, vmin=-1, vmax=1)
ax.set_xticks(range(len(cols)), labels=cols, rotation=45, ha="right")
ax.set_yticks(range(len(cols)), labels=cols)
fig.colorbar(im, ax=ax)
plt.tight_layout()
plt.show()

相关性不能直接解释为因果关系。

工艺窗口图

增材制造中常用二维工艺图观察质量区间：

fig, ax = plt.subplots(figsize=(5, 4))
sc = ax.scatter(
    df["laser_power_W"],
    df["scan_speed_mm_s"],
    c=df["relative_density_pct"]
)
ax.set_xlabel("Laser power / W")
ax.set_ylabel("Scan speed / mm s$^{-1}$")
fig.colorbar(sc, ax=ax, label="Relative density / %")
plt.show()

可用于识别：

• 未熔合区
• 稳定成形区
• 过热或匙孔区

显微组织图像可视化

import matplotlib.pyplot as plt
from matplotlib.image import imread

img = imread("images/microstructure_001.png")

fig, ax = plt.subplots(figsize=(5, 4))
ax.imshow(img, cmap="gray")
ax.axis("off")
ax.set_title("Microstructure image")
plt.show()

图像可视化注意事项：

• 是否有比例尺
• 是否裁剪了关键区域
• 是否改变了灰度范围
• 是否保留原始图像文件

谱图可视化

spec = pd.read_csv("spectra/xrd_s001.csv")

fig, ax = plt.subplots(figsize=(5, 4))
ax.plot(spec["two_theta"], spec["intensity"])
ax.set_xlabel(r"$2\theta$ / degree")
ax.set_ylabel("Intensity")
ax.set_title("XRD pattern")
plt.tight_layout()
plt.show()

谱图诊断重点：

• 峰位是否偏移
• 背景是否漂移
• 峰宽是否异常
• 多个样本横坐标是否一致

可靠性检查：训练集覆盖范围

features = ["c_wt", "mn_wt", "cooling_rate_k_s"]

for col in features:
    print(col, df[col].min(), df[col].max())

# 检查一个新样本是否超出训练范围
new_sample = {"c_wt": 0.8, "mn_wt": 1.0, "cooling_rate_k_s": 1000}
for col, value in new_sample.items():
    low, high = df[col].min(), df[col].max()
    print(col, low <= value <= high)

超出范围不代表不能预测，但必须标注为低可信外推。

分组划分示例

from sklearn.model_selection import GroupShuffleSplit

X = df[["c_wt", "mn_wt", "cooling_rate_k_s"]]
y = df["hardness_hv"]
groups = df["sample_id"]

splitter = GroupShuffleSplit(test_size=0.2, random_state=0)
train_idx, test_idx = next(splitter.split(X, y, groups=groups))

X_train, X_test = X.iloc[train_idx], X.iloc[test_idx]
y_train, y_test = y.iloc[train_idx], y.iloc[test_idx]

分组划分可以降低重复样本造成的虚高评估。

可复现的数据预处理函数

def preprocess_alloy_data(df):
    """清洗材料数据表，返回处理后的DataFrame。"""
    df = df.copy()

    # 1. 统一列名
    df.columns = df.columns.str.strip().str.lower().str.replace(" ", "_")

    # 2. 数值列转换
    num_cols = ["c_wt", "mn_wt", "cooling_rate_k_s", "hardness_hv"]
    for col in num_cols:
        df[col] = pd.to_numeric(df[col], errors="coerce")

    # 3. 删除目标值缺失样本
    df = df.dropna(subset=["hardness_hv"])

    # 4. 构造派生特征
    df["ce"] = df["c_wt"] + df["mn_wt"] / 6
    return df

第一步：读取与检查

import pandas as pd

raw_path = "data/raw/alloy_hardness.csv"
df = pd.read_csv(raw_path)

print("shape:", df.shape)
print("columns:", df.columns.tolist())
print(df.head())
print(df.info())
print(df.isna().mean().sort_values(ascending=False))

检查目的：

• 确认数据规模
• 识别缺失字段
• 检查列名和数据类型
• 判断是否需要单位转换

第二步：统一列名和类型

df.columns = (
    df.columns
      .str.strip()
      .str.replace(" ", "_")
      .str.lower()
)

num_cols = ["c_wt", "mn_wt", "si_wt", "cooling_rate", "hardness_hv"]
for col in num_cols:
    df[col] = pd.to_numeric(df[col], errors="coerce")

# 类别变量规范化
df["process"] = df["process"].str.strip().str.lower()

该步骤使后续代码不依赖原始表格中的偶然格式。

第四步：缺失值处理

# 删除目标值缺失样本
df = df.dropna(subset=["hardness_hv"])

# 数值特征用中位数插补
features = ["c_wt", "mn_wt", "si_wt", "cooling_rate"]
for col in features:
    df[col + "_missing"] = df[col].isna().astype(int)
    df[col] = df[col].fillna(df[col].median())

保留缺失指示变量可以记录原始缺失信息。

第五步：异常值识别

x = df["hardness_hv"]
q1 = x.quantile(0.25)
q3 = x.quantile(0.75)
iqr = q3 - q1

low = q1 - 1.5 * iqr
high = q3 + 1.5 * iqr

outlier_mask = (x < low) | (x > high)
print(df.loc[outlier_mask, ["sample_id", "hardness_hv", "process"]])

输出后应回查原始实验记录，而不是直接删除。

第六步：派生特征与保存

import numpy as np

# 碳当量教学示例
df["ce"] = df["c_wt"] + df["mn_wt"] / 6

# 冷却速率跨度大，取对数
df["log_cooling_rate"] = np.log10(df["cooling_rate"])

# 保存处理后数据
df.to_csv("data/processed/alloy_hardness_clean.csv", index=False)

保存时建议同时保存处理脚本和数据说明文件。

第七步：输出诊断图

import matplotlib.pyplot as plt

fig, ax = plt.subplots(figsize=(5, 4))
ax.scatter(df["log_cooling_rate"], df["hardness_hv"])
ax.set_xlabel("log10(cooling rate)")
ax.set_ylabel("Hardness / HV")
ax.set_title("Hardness vs cooling rate")
plt.tight_layout()
plt.savefig("figures/hardness_vs_cooling_rate.png", dpi=300)
plt.show()

图像文件应可由代码重复生成。

本章知识结构回顾

本章形成完整的数据预处理链条：

Python环境
  ↓
NumPy数组、Pandas表格、Matplotlib图形
  ↓
材料数据类型识别
  ↓
缺失值、异常值、单位和类型处理
  ↓
统计描述与可视化诊断
  ↓
数据质量、偏差和模型可靠性评估

核心能力：把材料数据从“能看懂”变成“能建模”。

作业参考代码框架

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

# 1. 读取数据
df = pd.read_csv("raw_data.csv")

# 2. 检查缺失值
print(df.isna().mean())

# 3. 数值列转换与插补
num_cols = ["c_wt", "mn_wt", "si_wt", "cooling_rate", "hardness_hv"]
for col in num_cols:
    df[col] = pd.to_numeric(df[col], errors="coerce")
    df[col] = df[col].fillna(df[col].median())

# 4. 构造派生特征
df["ce"] = df["c_wt"] + df["mn_wt"] / 6

# 5. 保存结果
df.to_csv("clean_data.csv", index=False)