第6章 生成式AI、大语言模型与提示工程

本章学习目标

• 理解生成式模型与判别式模型的本质差异。
• 能说明 VAE、GAN、扩散模型的基本思想和适用场景。
• 理解大语言模型的训练目标、上下文机制与能力边界。
• 掌握提示工程的基本结构：角色、任务、约束、格式、示例。
• 能将 LLM 合理用于文献阅读、代码生成和实验方案设计。
• 能识别幻觉、伪引用和过度外推，并建立人类审核流程。

从“分析式 AI”到“生成式 AI”

前几章主要讨论：

• 根据数据预测性能；
• 根据图像识别组织；
• 根据输入输出训练模型。

本章进一步讨论：

• 让模型生成新的文本、图像、结构、方案；
• 让模型参与科研工作流；
• 让生成结果经过证据约束和人类审核。

本章与前后章节的关系

• 第3章贝叶斯思想：帮助理解生成模型中的概率分布。
• 第4章机器学习：提供监督学习、模型评估和泛化基础。
• 第5章深度学习：提供神经网络、Transformer 和多模态背景。
• 第6章生成式 AI：强调“生成内容”和“人机协同”。
• 第7章 RAG 与知识库：进一步讨论如何用证据约束 LLM。

本章是从“建模预测”走向“AI 辅助科研工作流”的关键过渡。

6.1 的学习任务

本节逐步回答：

1. 什么叫“生成式 AI”？
2. 生成式模型和判别式模型有什么区别？
3. VAE、GAN、扩散模型分别如何生成数据？
4. 为什么这些模型可以用于图像、结构和材料设计？

本节重点：理解思想，不要求推导完整训练算法。

生成式模型的共同难点

• 数据分布往往高维、复杂、非均匀。
• 生成样本需要满足真实性、多样性和任务约束。
• 对材料科学而言，还要满足物理、化学和工艺可行性。
• 图像“像真的”不等于组织演化规律正确。
• 晶体结构“形式合法”不等于热力学稳定。

VAE：从数据到潜空间

VAE 的基本结构：

输入 x → 编码器 qφ(z|x) → 潜变量 z → 解码器 pθ(x|z) → 重构 x'

关键思想：

• 用潜变量 $z$ 表示数据背后的变化因素；
• 编码器学习从数据到潜空间的映射；
• 解码器从潜空间生成数据；
• 潜空间可连续插值，适合探索材料组织变化趋势。

VAE 在材料图像中的直观理解

显微组织图像中存在多种变化因素：

• 晶粒尺寸大小；
• 相分数变化；
• 枝晶臂间距；
• 孔洞或夹杂数量；
• 图像亮度和对比度。

VAE 希望将这些复杂变化压缩到连续潜空间中。

若潜空间具有良好结构，就可以在不同组织形貌之间进行插值和探索。

GAN：生成器与判别器的博弈

GAN 包含两个网络：

• 生成器 $G$：从随机噪声 $z$ 生成样本 $G(z)$；
• 判别器 $D$：判断样本来自真实数据还是生成器。

噪声 z → 生成器 G → 伪样本
真实样本 x 与伪样本 G(z) → 判别器 D → 真/假判断

训练过程是一个动态博弈过程。

GAN 的优点与风险

优点：

• 生成图像常较清晰；
• 可用于数据增强；
• 能学习复杂纹理和形貌。

风险：

• 训练不稳定；
• 容易出现模式崩塌；
• 可能复制训练数据局部模式；
• 图像真实感不等于物理真实性。

模式崩塌：GAN 的典型问题

模式崩塌指生成器只生成少数几类样本。

材料图像中的表现：

• 生成图像看似多张，实际组织形貌高度相似；
• 缺少真实数据中的少数相、缺陷或极端工艺样本；
• 生成数据增强反而加重数据偏差。

检查方法：

• 比较生成图像的统计分布；
• 计算图像特征多样性；
• 人工检查是否存在重复纹理。

扩散模型：从加噪到去噪

扩散模型分为两个过程：

1. 正向扩散：逐步向数据加入噪声；
2. 反向生成：学习从噪声逐步恢复数据。

真实图像 x0 → 加噪 x1 → ... → 近似纯噪声 xT
纯噪声 xT → 去噪 → ... → 生成图像 x0

关键思想：生成不是一步完成，而是通过多步去噪逐渐形成样本。

扩散模型为何重要

扩散模型常用于高质量图像生成，其优势包括：

• 训练相对稳定；
• 样本质量和多样性较好；
• 可通过文本、类别、图像等条件控制生成；
• 适合组织图像、缺陷图像、合成图像数据增强。

但在科研中仍需回答：

• 生成结果是否与物理过程一致？
• 是否引入伪组织特征？
• 是否改变原始数据统计分布？

6.1 小结

• 生成式模型学习数据分布，并从中采样新样本。
• VAE 强调潜空间表示和重构。
• GAN 强调生成器与判别器之间的对抗。
• 扩散模型强调从噪声到数据的逐步去噪。
• 材料科学中的生成必须增加物理、化学和工艺约束。

生成式 AI 是候选生成器，不是科学验证的替代品。

6.2 的学习任务

本节回答：

1. 大语言模型如何处理文本？
2. Transformer 与自注意力为何重要？
3. 预训练、指令微调、对齐分别解决什么问题？
4. LLM 的能力边界在哪里？

本节不追求完整工程实现，而是建立正确的原理图景。

Token：语言模型的基本单位

LLM 通常不直接按“字”或“词”处理文本，而是将文本切分为 token。

示例：

材料科学 → 材料 / 科学
phase-field simulation → phase / - / field / simulation
Fe-C alloy → Fe / - / C / alloy

token 的粒度影响：

• 输入长度；
• 专业术语表达；
• 公式、代码、单位的稳定性。

上下文窗口

上下文窗口是模型一次能够读取的输入范围。

上下文包括：

• 用户问题；
• 系统约束；
• 上一轮对话；
• 插入的文献片段；
• 表格、代码、实验条件。

限制：

• 上下文外的信息不会被模型直接看到；
• 长上下文可能造成注意力稀释；
• 关键约束应放在结构清晰的位置。

注意力机制的直观解释

对于句子：

由于冷却速率升高，枝晶臂间距减小。

模型需要理解：

• “冷却速率”与“升高”相关；
• “枝晶臂间距”与“减小”相关；
• 二者之间存在因果或经验关联。

注意力机制让模型在生成“减小”时参考前文的“冷却速率升高”。

指令微调与对齐

预训练模型只学会“续写文本”，不必然学会“按要求完成任务”。

因此还需要：

• 指令微调：学习按任务说明回答；
• 偏好对齐：学习更符合人类偏好的输出；
• 安全约束：减少有害或不可靠输出；
• 工具调用：把生成能力与外部计算、检索、数据库连接起来。

LLM 的能力来源

LLM 的能力主要来自：

1. 大规模语料中的统计规律；
2. Transformer 对长程依赖的建模能力；
3. 大参数量带来的表示能力；
4. 指令微调带来的任务遵循能力；
5. 对话和工具机制带来的交互能力。

这些能力表现为：摘要、问答、翻译、代码生成、格式转换、推理辅助等。

LLM 的能力边界：事实性

LLM 可能生成：

• 不存在的论文；
• 错误的作者、期刊、年份；
• 看似合理但未被原文支持的结论；
• 混合多个文献观点的错误摘要。

原因在于：模型优化目标是生成连贯文本，而不等价于事实检索。

LLM 的能力边界：数值与计算

LLM 在数值任务中可能出错：

• 单位换算错误；
• 公式符号混乱；
• 中间步骤遗漏；
• 代码看似可运行但边界条件错误。

正确方式：

1. 让 LLM 生成思路或代码草稿；
2. 用 Python、Matlab、Fluent、VASP 等工具实际计算；
3. 对结果进行物理量纲和极限情况检查。

LLM 的能力边界：材料科学专业性

材料领域存在大量隐性条件：

• 合金体系；
• 热力学数据库；
• 工艺路径；
• 相变动力学；
• 实验误差；
• 文献数据来源差异。

LLM 可能忽略这些条件，给出过度一般化结论。

专业判断不能外包给模型，只能用模型辅助组织信息和提出候选思路。

6.2 小结

• LLM 基本目标是根据上下文预测 token 序列。
• Transformer 通过注意力机制建模上下文关系。
• 预训练、指令微调和对齐共同塑造模型能力。
• LLM 可辅助文本、代码和推理，但不等同于数据库或计算软件。
• 能力边界包括事实性、数值计算、专业隐含条件和外推风险。

6.3 的学习任务

提示工程不是“咒语”，而是任务工程。

本节要求掌握：

1. 如何把模糊请求改写为明确任务；
2. 如何加入角色、背景、约束和输出格式；
3. 如何使用示例减少歧义；
4. 如何设置核验步骤和拒答条件。

角色设定：不是装饰，而是限定视角

角色可以约束语言风格和评价标准：

• 材料科学教师：强调概念解释和教学顺序；
• 审稿人：强调逻辑漏洞和证据不足；
• Python 助教：强调代码可运行性和注释；
• 科研伦理审核者：强调引用、署名、数据来源；
• 工艺工程师：强调参数范围和工程可实施性。

角色应服务任务，不能替代证据。

任务描述：动词要具体

模糊动词：

• 分析一下；
• 优化一下；
• 完善一下；
• 看看有没有问题。

具体动词：

• 提取关键变量；
• 改写为基金申请书语言；
• 检查公式量纲；
• 比较两种模型假设；
• 输出三列表格：问题、风险、修改建议。

动词越具体，输出越可检查。

背景信息：避免模型默认假设

材料任务中应提供：

• 合金体系；
• 工艺过程；
• 数据来源；
• 温度、成分、时间范围；
• 图像尺度和倍率；
• 软件版本和边界条件；
• 希望输出面向论文、课件还是代码。

约束条件：明确边界

常用约束：

• 不虚构文献；
• 不使用无法核验的数据；
• 不改变原意；
• 不输出过长文本；
• 数学公式使用 LaTeX；
• 代码应可直接运行；
• 对不确定处标注“需核验”。

约束可以减少错误，但不能保证事实正确。

示例提示：Few-shot 思想

给模型一个输入输出样例，可以减少歧义。

请按下面示例提取材料实验信息：

示例输入：在 1050 °C 固溶 1 h 后水淬。
示例输出：
温度=1050 °C；时间=1 h；工艺=固溶；冷却方式=水淬。

现在处理以下文本：……

示例的作用是定义“我希望你如何理解任务”。

提示模板：审稿式检查

请以审稿人的视角检查以下段落。
重点检查：
1. 是否存在结论超过证据的表述；
2. 是否缺少变量定义；
3. 是否存在因果关系不充分；
4. 是否需要补充引用；
5. 是否有可替换的更严谨表达。
输出表格：原句、问题、修改建议。

该类提示适合论文写作和基金申请书自查。

提示工程中的负面约束

负面约束用于降低风险：

• 不编造参考文献；
• 不给出未经验证的精确数值；
• 不将相关性表述为因果性；
• 不忽略输入中的限定条件；
• 不把课堂示例当作真实研究结论。

但负面约束不能完全避免错误，因此仍需人工检查。

分步提示：复杂任务拆解

复杂任务应拆为步骤：

第一步：只提取事实，不评价。
第二步：根据事实归纳变量关系。
第三步：指出证据不足之处。
第四步：在不新增事实的前提下改写为论文段落。

优势：

• 便于发现错误；
• 降低一步生成的混乱；
• 更适合科研任务的审查流程。

课堂练习：改写提示

原始请求：

帮我找一下这篇论文的创新点。

请改写为包含以下部分的提示：

• 角色；
• 输入信息；
• 创新点判定标准；
• 输出格式；
• 不确定性标注；
• 禁止虚构文献内容。

目标：让模型输出可审查，而不是泛泛总结。

6.3 小结

• 提示工程的本质是把模糊需求转化为可执行任务。
• 高质量提示包含角色、任务、背景、约束、格式、示例和核验要求。
• 科研提示必须强调来源、证据、不确定性和可复现性。
• 提示可以提升输出质量，但不能替代事实核验与专业判断。

6.4 的学习任务

本节讨论 LLM 在科研中的三个高频场景：

1. 文献阅读：摘要、对比、问题提取；
2. 代码生成：脚本草稿、调试、注释；
3. 实验方案：变量梳理、流程设计、风险分析。

核心原则：

LLM 负责提高信息组织效率，人类负责事实判断和科研责任。

文献阅读：适合让 LLM 做什么？

适合任务：

• 提取研究对象；
• 总结方法流程；
• 对比不同论文观点；
• 生成阅读提纲；
• 提取变量、数据、结论；
• 找出需要核验的引用位置。

不适合直接信任：

• 未提供原文时的具体文献细节；
• 精确页码、DOI、卷期号；
• 对文献结论的夸大归纳。

LLM 辅助综述写作的边界

可以辅助：

• 建立综述结构；
• 合并相近观点；
• 改写语言；
• 发现逻辑跳跃；
• 生成待核验问题清单。

不能替代：

• 阅读原始文献；
• 判断证据强弱；
• 决定创新性；
• 确认引用准确性；
• 承担学术责任。

代码生成：适合场景

LLM 适合生成：

• 数据读取和清洗脚本；
• 绘图代码；
• 机器学习基线模型；
• 批处理脚本；
• 注释和文档；
• 错误信息初步解释。

必须人工验证：

• 物理方程是否正确；
• 边界条件是否合理；
• 单位是否一致；
• 数值结果是否稳定。

实验方案设计：LLM 的辅助价值

LLM 可帮助：

• 梳理变量；
• 设计对照组；
• 生成数据记录表；
• 提醒安全风险；
• 提供表征手段清单；
• 形成方案初稿。

但实验方案必须由专业人员根据设备、材料、安全规范和研究目标确认。

6.4 小结

• LLM 可显著提高文献整理、代码草稿和方案初稿效率。
• 科研场景中必须保留原始来源、运行记录和人工核验过程。
• 任何精确事实、引用、数值和实验参数都不能只依赖 LLM。
• 高质量工作流应把 LLM 嵌入“生成—核验—修正—记录”的闭环。

6.5 的学习任务

本节讨论生成式 AI 在材料科学中的三类任务：

1. 结构生成：晶体、分子、缺陷结构候选；
2. 组织图像生成：显微组织、缺陷图像、数据增强；
3. 合成路线生成：实验路径和工艺参数建议。

核心要求：每类生成都必须引入材料约束与验证机制。

材料生成任务的特殊性

通用图像或文本生成只需“看起来合理”。

材料生成必须同时满足：

• 元素组成合理；
• 晶体结构合法；
• 电荷或价态约束合理；
• 热力学稳定或亚稳可解释；
• 合成路径可行；
• 性能目标明确；
• 实验或计算可验证。

组织图像生成：应用场景

组织图像生成可用于：

• 数据增强，缓解标注数据不足；
• 生成少数类缺陷样本；
• 形貌连续插值；
• 辅助教学展示组织变化；
• 建立组织—性能模型的虚拟样本。

但必须防止：

• 生成图像破坏真实统计分布；
• 将伪组织当作实验图像；
• 在测试集中引入训练样本相似副本。

合成路线生成：任务特点

合成路线生成不是单纯文本续写，而是工程约束任务。

需要考虑：

• 原料可获得性；
• 设备条件；
• 温度、压力、气氛；
• 时间尺度；
• 安全风险；
• 废物处理；
• 表征验证。

LLM 可以生成路线草案，但实验室负责人必须审核。

生成式 AI 与材料基因工程

材料基因工程强调：

• 高通量计算；
• 高通量实验；
• 材料数据库；
• 数据驱动建模；
• 快速筛选和优化。

生成式 AI 可以作为“候选生成模块”嵌入该体系。

生成式 AI 不替代材料基因工程，而是增强候选设计和知识组织能力。

6.5 小结

• 材料生成任务包括结构、组织图像和合成路线生成。
• 材料生成必须满足物理、化学、工艺和安全约束。
• 生成结果需要经过语法、几何、统计、模拟和实验多级验证。
• 在科研中，生成数据必须标注来源，不能冒充真实实验数据。

6.6 的学习任务

本节是本章的安全与规范重点。

要求学生掌握：

1. 什么是大模型幻觉；
2. 幻觉在科研场景中如何表现；
3. 如何核验引用与事实；
4. 如何建立人类审核流程；
5. 如何避免学术不端和责任转移。

什么是幻觉？

大模型幻觉是指模型生成的内容与事实、来源、输入或约束不一致。

常见类型：

• 事实幻觉：结论错误；
• 引用幻觉：论文、作者、DOI 不存在；
• 来源错配：文献存在但不支持该结论；
• 数值幻觉：参数、单位或公式错误；
• 过度推断：把相关性说成因果性。

幻觉产生的原因

主要原因包括：

• 训练目标偏向生成连贯文本；
• 缺少实时检索或来源约束；
• 输入问题过于模糊；
• 用户要求超出模型知识范围；
• 专业领域存在隐含条件；
• 模型倾向于补全缺失信息。

因此，防止幻觉不能只依赖一句“不要幻觉”。

人类审核：责任不能转移给 AI

科研使用 LLM 后，人类作者仍需负责：

• 事实准确；
• 引用真实；
• 数据来源合法；
• 方法可复现；
• 图表不误导；
• 署名与贡献说明准确；
• 不泄露敏感数据。

AI 工具不能作为错误、造假或学术不端的免责理由。

幻觉防控策略

• 给出明确输入材料，而不是让模型凭空回答。
• 要求模型区分“已知事实”“推断”和“不确定”。
• 对事实性问题使用检索增强或人工查证。
• 对代码和计算必须实际运行。
• 对材料参数必须检查来源、单位和适用范围。
• 对最终文本执行引用核验和专家审阅。

这些策略是流程控制，不是单一提示技巧。

科研写作中的合规用法

合理用法：

• 语言润色；
• 提纲整理；
• 代码辅助；
• 表格格式转换；
• 文献阅读辅助；
• 审稿式自查。

高风险用法：

• 直接生成未核验参考文献；
• 让模型替代数据分析；
• 使用 AI 生成图像冒充实验图；
• 上传未授权或保密数据。

6.6 小结

• 幻觉是 LLM 科研应用中的核心风险。
• 引用核验不仅要确认文献存在，还要确认其支持相应陈述。
• 人类审核必须覆盖事实、引用、数值、范围、原创性、隐私和安全。
• 科研中使用生成式 AI 的底线是：可验证、可复现、可追责。

Python 作业：温度采样与简单文本生成

作业目标：

使用一个小型词表，模拟语言模型中“根据概率生成下一个词”的过程，观察温度参数对输出稳定性和多样性的影响。

要求：

1. 构造一个材料科学词表；
2. 设置每个词的 logits；
3. 编写 softmax 温度采样函数；
4. 比较 $T=0.3$、$T=1.0$、$T=2.0$ 的采样结果；
5. 用文字解释温度升高为何可能增加幻觉风险。

作业提交要求

提交内容：

1. Python 源代码；
2. 三组温度下的采样结果；
3. 一张柱状图展示不同温度下的概率分布；
4. 200 字以内讨论：
   • 温度如何影响多样性；
   • 低温输出和高温输出的差异；
   • 在科研写作中为何不能盲目追求“创造性”。

评分关注：代码可运行、图表清晰、解释符合概率思想。

课后思考题

1. 为什么生成式 AI 的输出需要物理和实验验证？
2. VAE、GAN、扩散模型在组织图像生成中的优缺点分别是什么？
3. LLM 为什么可能编造看似真实的参考文献？
4. 如何把一个模糊的科研请求改写为结构化提示？
5. 在材料科学中，哪些任务可以交给 AI 辅助，哪些任务必须由人类专家完成？

重点与难点

重点：

• 生成式模型的概率视角；
• VAE、GAN、扩散模型的差异；
• LLM 的 token 预测和注意力机制；
• 提示工程的结构化表达；
• 科研使用中的核验机制。

难点：

• 生成质量与科学真实性的区别；
• LLM 生成能力与事实可靠性的区别；
• 材料生成任务中的多约束验证。

思政与科研规范融入点

• 强调 AI 工具不能替代科学验证，引导学生形成实事求是的科研态度。
• 通过幻觉和伪引用案例，强化学术诚信和引用规范。
• 结合材料强国和智能研发平台，说明生成式 AI 对材料创新的潜在价值。
• 强调数据安全、知识产权和科研责任，避免技术滥用。

价值导向：以 AI 提升科研效率，但以证据、责任和规范守住科研底线。

与材料科学案例的衔接

建议结合以下案例讲解：

• 用 LLM 整理 Fe-C、Fe-Ni、Ti-Al 等合金相变文献；
• 用提示工程生成相场模拟代码注释；
• 用生成模型合成组织图像用于教学展示；
• 用结构生成提出候选材料，再用 DFT 或 CALPHAD 验证；
• 用引用核验表检查 AI 生成的材料综述段落。

这些案例可根据教师研究方向灵活替换。