第7章 知识库、知识图谱与检索增强生成(RAG)

Knowledge Base, Knowledge Graph and Retrieval-Augmented Generation
学习路径:知识表示 → 专家系统 → 知识图谱 → 文本嵌入 → 向量数据库 → RAG流程 → 材料文献知识库 → 证据追踪与可靠性评价
@Shiyan Pan
CONTENTS

目录

  • 7.1 知识表示、专家系统与知识工程
  • 7.2 知识图谱:实体、关系、属性与推理 △
  • 7.3 向量数据库、文本嵌入与相似性检索
  • 7.4 RAG基本流程:切分、嵌入、检索、重排、生成 △★
  • 7.5 材料文献知识库与实验室知识管理
  • 7.6 知识库回答的证据追踪与可靠性评价 ★

主线:先把知识组织起来,再让模型在证据约束下回答问题。

第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

本章知识梯度

层级 关键问题 对应能力
概念 什么是知识? 区分数据、信息、知识、证据
表示 知识如何让计算机处理? 规则、语义网络、三元组
结构 如何描述材料实体关系? 知识图谱建模
检索 如何从文献中找相关片段? 嵌入、相似度、向量库
生成 如何让 LLM 基于证据回答? RAG流水线设计
可信 如何判断回答可靠? 溯源、核验、评估
《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

第7章内容安排总览

教学定位 由易到难的安排
7.1 知识表示与专家系统 从规则到知识工程流程
7.2 知识图谱 从实体关系到图谱推理
7.3 文本嵌入与向量库 从词袋到语义向量检索
7.4 RAG基本流程 从文档切分到答案生成
7.5 材料知识库 从文献管理到实验室知识管理
7.6 可靠性评价 从证据追踪到人工审核
《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

数据、信息、知识、智慧

层级 含义 材料科学例子
数据 原始记录 成分、温度、时间、强度值
信息 经过整理的数据 某批样品在不同热处理下的强度表
知识 可解释、可复用的规律 固溶处理提高元素均匀性
智慧 面向目标的判断 针对目标强度选择热处理窗口
知识库建设的关键不是“存得多”,而是“可查、可解释、可验证”。
《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

7.1 知识表示、专家系统与知识工程

本节从三个问题展开:

  1. 知识如何形式化?
  2. 专家系统如何利用规则进行推理?
  3. 为什么知识工程仍然是 RAG 和知识图谱的基础?

学习重点:理解知识表示不是简单保存文本,而是把知识组织成机器可处理的结构。

《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

知识表示的基本要求

要求 说明 材料场景
可表达性 能表示领域事实和规则 成分—工艺—组织—性能
可计算性 能被算法检索和推理 查询合金强度影响因素
可维护性 可更新、可扩展 新论文、新实验加入
可解释性 能说明结论来源 回答必须给出文献页码
一致性 避免同一术语多种含义 UTS、抗拉强度统一
《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

产生式规则

产生式规则常写为:

IF condition THEN action\text{IF condition THEN action}

材料示例:

IF Cr_eq / Ni_eq 较高 AND 冷却速率较大
THEN 焊缝中铁素体倾向增强

优点:

  • 易理解;
  • 易解释;
  • 适合专家经验明确的场景。

不足:

  • 难以覆盖连续复杂变量;
  • 规则冲突和规则维护成本较高。
《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

框架表示

框架表示把对象看作由属性槽组成的结构。

材料样品框架示例:

材料 316L 不锈钢
工艺 激光选区熔化
激光功率 250 W
扫描速度 900 mm/s
组织 细胞状枝晶
性能 抗拉强度 620 MPa
框架表示适合实验记录、样品档案和材料数据库表结构设计。
《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

专家系统与机器学习的差异

维度 专家系统 机器学习
知识来源 专家规则 数据样本
表达形式 规则、逻辑、本体 参数、权重、模型
可解释性 通常较强 依模型而定
适用问题 规则明确、样本少 数据较多、模式复杂
维护方式 修改规则 重新训练或微调

二者并非对立:现代材料 AI 系统常常同时使用规则、数据库和学习模型。

《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

材料知识工程的典型对象

对象 例子 结构化难点
文献 论文、综述、专利 PDF结构复杂、图表信息多
实验记录 样品编号、炉次、参数 命名不统一、缺失严重
计算结果 DFT、MD、相场、有限元 单位、网格、边界条件多样
图像 SEM、EBSD、TEM 标尺、倍率、通道、标签
谱图 XRD、EDS、拉曼 峰位、背景、噪声、归一化
《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

7.2 知识图谱:实体、关系、属性与推理 △

知识图谱将知识组织为图结构。

最基本的表达是三元组:

(h,r,t)(h, r, t)

其中:

  • hh 表示头实体;
  • rr 表示关系;
  • tt 表示尾实体。

例:(316L, contains, Cr)

《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

实体、关系与属性

元素 含义 材料例子
实体 可被识别和引用的对象 合金、元素、相、工艺、性能
关系 实体之间的语义连接 contains、improves、causes
属性 实体自身的数值或标签 熔点、晶格常数、强度
证据 支撑该知识的来源 论文、表格、实验记录
材料知识图谱不能只存关系,还应存证据来源和单位。
《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

三元组表示

典型三元组:

MaterialhasPropertyProperty\text{Material} \xrightarrow{\text{hasProperty}} \text{Property}

示例:

(316L, hasElement, Cr)
(316L, hasElement, Ni)
(LaserPower, affects, MeltPoolTemperature)
(MeltPoolTemperature, affects, CoolingRate)
(CoolingRate, affects, DendriteArmSpacing)

这些三元组可组合为图。

《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

模式层与实例层

层级 作用 例子
模式层 定义类和关系 Material、Process、Property
实例层 存储具体事实 Sample_001、316L、620 MPa

模式层示例:

Material --hasComposition--> Composition
Process --hasParameter--> ProcessParameter
Material --hasProperty--> Property

实例层示例:

Sample_001 --hasProperty--> UTS_620MPa
《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

RDF三元组思想

RDF 的核心思想是用主语、谓语、宾语构成图。

subjectpredicateobject\text{subject} \quad \text{predicate} \quad \text{object}

材料示例:

Sample_001  hasMaterial  316L
Sample_001  processedBy  SLM
SLM         hasParameter LaserPower
LaserPower  hasValue     250W
RDF强调语义互联,适合跨数据库、跨文献、跨实验室的知识共享。
《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

图数据库与关系数据库的差异

维度 关系数据库 图数据库
核心结构 节点与边
优势 规范表格、事务管理 关系查询、路径分析
典型查询 筛选、连接、聚合 邻居、路径、子图
材料应用 成分—性能表 成分—工艺—组织—性能网络

二者可以共存:结构化数值表适合关系库,复杂关联知识适合图数据库。

《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

实体抽取:从文本到结构

原始文本:

250 W 激光功率下,316L 不锈钢样品的熔池更深,抗拉强度达到 620 MPa。

可能抽取为:

类型 实体
材料 316L 不锈钢
工艺参数 激光功率 250 W
组织/几何 熔池深度
性能 抗拉强度 620 MPa
《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

实体对齐与消歧

同一概念可能有多种写法:

表达 可能统一为
316L、SS316L、AISI 316L 316L stainless steel
UTS、ultimate tensile strength 抗拉强度
LPBF、SLM、PBF-LB/M 激光粉末床熔融
γ 相、奥氏体、austenite Austenite
实体对齐是材料知识库质量的基础。
《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

单位统一与属性规范

材料属性必须记录单位和测试条件。

属性 不完整写法 规范写法
强度 620 620 MPa,室温拉伸
温度 900 900 °C,保温 1 h
成分 Cr 18 Cr 18 wt.%
速度 900 900 mm/s
没有单位和条件的数值不能直接进入可靠知识库。
《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

图谱推理:规则推理

规则示例:

(x,isA,AusteniticStainlessSteel)(x,contains,Cr)(x,hasCorrosionResistance,High)\begin{aligned} & (x, \text{isA}, \text{AusteniticStainlessSteel}) \\ & (x, \text{contains}, \text{Cr}) \\ & \Rightarrow (x, \text{hasCorrosionResistance}, \text{High}) \end{aligned}

该规则必须限定条件:

  • Cr 含量范围;
  • 介质环境;
  • 热处理状态;
  • 是否存在敏化或析出。
《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

7.3 向量数据库、文本嵌入与相似性检索

知识图谱适合结构化关系。

但大量材料知识存在于:

  • PDF正文;
  • 图表说明;
  • 实验记录;
  • 专利文本;
  • 会议报告。

本节讨论如何把文本转化为向量,并进行语义检索。

《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

词袋模型

词袋模型把文本表示为词频向量。

xd=[c1,c2,,cm]\mathbf{x}_d = [c_1, c_2, \cdots, c_m]

其中:

  • dd 表示文档;
  • mm 表示词表大小;
  • cic_i 表示第 ii 个词在文档中出现的次数。

优点是简单,缺点是忽略词序和上下文语义。

《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

TF-IDF 表示

TF-IDF 用于提高“有区分度词语”的权重。

tfidf(t,d)=tf(t,d)idf(t)\text{tfidf}(t,d)=\text{tf}(t,d)\cdot \text{idf}(t)

idf(t)=logN1+nt\text{idf}(t)=\log \frac{N}{1+n_t}

其中:

  • NN 为文档总数;
  • ntn_t 为包含词 tt 的文档数。

常见词权重低,特征词权重高。

《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

BM25 的基本思想

BM25 是经典稀疏检索方法。

核心思想:

  • 查询词出现越多,相关性越高;
  • 但词频收益递减;
  • 文档长度需要归一化;
  • 稀有词通常更重要。

简化表达:

score(q,d)=tqidf(t)f(t,d)\text{score}(q,d)=\sum_{t\in q}\text{idf}(t)\cdot f(t,d)

BM25 适合关键词明确的技术文档检索。

《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

文本嵌入:从词频到语义向量

文本嵌入将文本映射为连续向量:

z=fθ(text)Rp\mathbf{z}=f_{\theta}(\text{text}) \in \mathbb{R}^{p}

语义相近的文本在向量空间中距离更近。

示例:

“激光粉末床熔融”
“LPBF”
“selective laser melting”

这些表达的字面形式不同,但可能具有相近嵌入向量。

《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

余弦相似度

常用相似度指标为余弦相似度:

cos(x,y)=xyx2y2\cos(\mathbf{x},\mathbf{y})= \frac{\mathbf{x}\cdot\mathbf{y}}{\|\mathbf{x}\|_2\|\mathbf{y}\|_2}

取值范围通常为 [1,1][-1,1]

  • 越接近 1,方向越相似;
  • 越接近 0,语义相关性较弱;
  • 负值表示方向相反。
《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

欧氏距离与余弦相似度

指标 关注点 适用情况
欧氏距离 向量之间的绝对距离 数值尺度有意义时
余弦相似度 向量方向 文本嵌入、语义检索
点积 方向与长度共同作用 归一化或模型指定时

在很多文本检索任务中,向量方向比向量长度更重要。

《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

元数据为什么重要?

仅有向量不够,还必须保留元数据。

元数据 作用
文献题名 便于溯源
作者年份 识别来源可靠性
页码 精确定位证据
材料体系 支持过滤
数据类型 文本、表格、图注区分
可信等级 区分论文、笔记、未审核记录
没有元数据的向量库难以做可靠引用核验。
《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

稀疏检索与稠密检索

类型 表示 优势 风险
稀疏检索 关键词、TF-IDF、BM25 精确术语好 同义表达漏检
稠密检索 嵌入向量 语义匹配好 可能检索到语义近但事实错的内容
混合检索 稀疏 + 稠密 兼顾术语与语义 系统复杂度高

材料术语强、同义表达多,适合使用混合检索。

《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

Python 示例:TF-IDF 检索

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

texts = [
    "316L stainless steel fabricated by LPBF shows high strength.",
    "Austenite is the dominant phase in 316L steel.",
    "XRD patterns are used for phase identification."
]
query = "LPBF 316L strength"

vec = TfidfVectorizer()
X = vec.fit_transform(texts)
q = vec.transform([query])
score = cosine_similarity(q, X).ravel()
print(score.argsort()[::-1])
《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

7.4 RAG基本流程:切分、嵌入、检索、重排、生成 △★

RAG 即 Retrieval-Augmented Generation。

基本思想:

先检索外部知识,再让大模型基于检索证据生成回答。

它适合解决:

  • 模型不知道本地资料;
  • 模型知识过时;
  • 需要引用依据;
  • 需要控制回答范围。
《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

RAG 与微调的区别

维度 RAG 微调
核心方式 检索外部知识作为上下文 改变模型参数
更新成本 更新知识库即可 通常需要重新训练
溯源能力 较强,可引用片段 较弱,知识隐含在参数中
适合场景 文献问答、规程查询 风格适配、任务格式学习
主要风险 检索错误、上下文不足 遗忘、过拟合、成本高

多数课程级知识库优先采用 RAG。

《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

切分 chunk 的基本原则

切分目标:让每个片段既足够短,又保留完整语义。

常用策略:

策略 说明 适用场景
固定长度 按 token 或字符切分 快速原型
段落切分 按自然段 文献正文
标题层级切分 按章节结构 综述、教材
表格单元切分 保留表头与单位 材料性能表
滑动窗口 保留上下文重叠 连续叙述文本
《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

chunk size 与 overlap

设切分长度为 LL,重叠长度为 OO

chunk 1: token 1     ... token L
chunk 2: token L-O+1 ... token 2L-O

影响:

  • LL 太小:语义不完整;
  • LL 太大:检索不精确;
  • OO 太小:跨片段信息丢失;
  • OO 太大:冗余增加。

材料文献建议根据段落、表格和图注结构切分,而不是只按字数切分。

《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

嵌入与索引

每个片段 cic_i 经过嵌入模型得到向量:

zi=fθ(ci)\mathbf{z}_i=f_{\theta}(c_i)

向量库保存:

chunk_id
embedding
source_title
page
section
material_system
data_type
quality_label

检索时,问题也被映射为向量:

zq=fθ(q)\mathbf{z}_q=f_{\theta}(q)

《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

top-k 检索

系统选取与问题最相似的前 kk 个片段:

Ck=TopKi  s(zq,zi)\mathcal{C}_k = \operatorname{TopK}_{i}\; s(\mathbf{z}_q,\mathbf{z}_i)

其中 ss 可为余弦相似度。

选择 kk 时需要平衡:

  • kk 太小:证据不足;
  • kk 太大:上下文噪声增加;
  • 不同问题可能需要不同 kk
《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

Python 示例:最小检索器

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

chunks = [
    "316L LPBF samples often contain cellular substructures.",
    "Cooling rate affects dendrite arm spacing in solidification.",
    "XRD can identify austenite and ferrite phases."
]
query = "How does cooling rate affect dendrite spacing?"

vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform(chunks)
q = vectorizer.transform([query])
rank = cosine_similarity(q, X).ravel().argsort()[::-1]

for i in rank[:2]:
    print(i, chunks[i])
《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

Python 示例:构造 RAG 提示词

def build_prompt(question, retrieved_chunks):
    evidence = "\n".join(
        f"[S{i+1}] {text}" for i, text in enumerate(retrieved_chunks)
    )
    return f"""
你是材料科学课程助教。只能根据证据回答。
若证据不足,请明确说明不能确定。

证据:
{evidence}

问题:{question}

请按:结论、依据、局限 三部分回答。
"""

该函数不调用大模型,但展示了 RAG 的核心提示结构。

《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

RAG 的典型错误类型

错误 表现 可能原因
检索缺失 关键证据未进入上下文 切分差、嵌入差、top-k太小
检索污染 无关片段被使用 向量相似但事实不相关
引用错配 结论引用了不支持的片段 生成阶段失控
条件丢失 忽略温度、成分、工艺范围 chunk不完整
过度概括 把单一论文结论推广到全部材料 缺少适用边界
《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

RAG 参数调节

参数 影响 调节建议
chunk size 语义完整性与检索粒度 从段落级开始
overlap 跨片段信息保留 对长段落适度重叠
top-k 证据数量 问题复杂时增大
embedding model 语义匹配质量 优先选择领域适配模型
reranker 前排证据质量 对高可靠问答建议使用
prompt template 生成约束 明确证据、格式、拒答规则
《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

7.5 材料文献知识库与实验室知识管理

知识库不仅是“文献问答机器人”。

在材料科研中,它还应支持:

  • 文献证据管理;
  • 实验记录管理;
  • 计算数据管理;
  • 标准流程管理;
  • 课题组知识传承。
《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

材料文献知识库的对象

对象 内容 检索需求
论文正文 方法、结果、讨论 问答与总结
表格 成分、性能、参数 精确查询与比较
图注 图像、谱图解释 图文关联
参考文献 证据链 追踪源头
补充材料 原始数据 复现与核验
专利 合成路线、工艺窗口 技术路线分析
《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

材料知识库的元数据字段

字段 说明
source_id 文献或记录唯一编号
title 标题
year 年份
material_system 材料体系
process 加工工艺
property_type 性能类型
page 页码
evidence_type 正文、表格、图注、实验记录
reliability_level 证据可靠等级
元数据设计越规范,后续检索、过滤和核验越容易。
《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

实验记录的结构化模板

模块 字段示例
样品信息 样品编号、材料、批次、制备日期
工艺参数 温度、时间、压力、功率、速度
测试条件 仪器、载荷、温度、环境介质
结果数据 强度、硬度、相分数、图像路径
异常记录 设备异常、样品污染、数据缺失
负责人 操作者、审核人、版本号

结构化记录有助于未来机器学习和 RAG 检索。

《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

文献知识库与知识图谱结合

问题类型 推荐技术
查找某论文具体结论 RAG向量检索
查找某材料的性能表 结构化数据库
查找成分—工艺—性能链条 知识图谱
查找相关论文并总结 RAG + 元数据过滤
比较多篇文献结论 RAG + 表格抽取 + 人工审核

实际系统不应只依赖一种检索方法。

《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

实验室知识管理的权限设计

权限层级 访问内容
公开 已发表论文、公开课件、公开数据
课程内部 教学资料、作业答案、案例代码
课题组内部 实验记录、组会材料、未发表结果
项目内部 申报书、合同、敏感数据
管理员 用户、版本、日志、备份
知识库必须考虑数据安全和知识产权边界。
《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

版本管理

知识库中的内容需要版本控制。

对象 版本需求
文献条目 记录导入时间和解析版本
实验记录 不覆盖原始记录
数据表 记录清洗规则
代码 记录 Git commit
RAG提示词 记录模板版本
答案日志 记录问题、证据、回答和审核结果
可靠知识库必须能够回答:某个结论是何时、由哪些资料、按什么规则生成的。
《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

7.6 知识库回答的证据追踪与可靠性评价 ★

RAG 的核心承诺是:

回答应当可以追踪到证据。

但“有引用”不等于“引用正确”。

本节讨论如何建立回答可靠性评价流程。

《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

可靠性评价维度

维度 问题
相关性 检索片段是否与问题相关?
忠实性 回答是否只使用证据支持的内容?
完整性 是否遗漏关键条件或反例?
可追踪性 是否能定位到原始来源?
一致性 多个证据是否互相矛盾?
可复核性 人类能否快速复查原文?
《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

忠实性 faithfulness

忠实性关注回答是否被证据支持。

可形式化理解为:

Faithfulness=NsupportedNclaims\text{Faithfulness}=\frac{N_{\text{supported}}}{N_{\text{claims}}}

其中:

  • NclaimsN_{\text{claims}} 为回答中的断言数量;
  • NsupportedN_{\text{supported}} 为可由证据支持的断言数量。
高流畅度不代表高忠实性。
《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

相关性 relevance

相关性关注检索片段是否回答用户问题。

Relevance=NrelevantNretrieved\text{Relevance}=\frac{N_{\text{relevant}}}{N_{\text{retrieved}}}

常见问题:

  • 片段讨论同一材料但不同性能;
  • 片段讨论相似工艺但不同材料;
  • 片段只包含背景介绍,没有答案依据。

相关性差会导致生成阶段“看似有证据、实则无依据”。

《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

引用核验

引用核验至少检查:

检查项 说明
来源是否存在 文献、页码、DOI是否真实
内容是否对应 引用片段是否支持该结论
术语是否一致 材料、相、性能是否对应
数值是否准确 单位、有效数字、误差是否正确
条件是否保留 温度、工艺、测试条件是否完整
最危险的错误不是没有引用,而是引用看似存在但不支持结论。
《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

伪引用与错引

类型 表现
伪引用 编造不存在的论文、DOI 或页码
错引 引用真实文献但文献不支持结论
断章取义 忽略作者限定条件
数据转录错误 数值、单位或材料名称错误
二次传播错误 引用综述转述但未查原始文献

课堂训练:要求学生随机抽查 2 条引用,回到原文核验。

《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

材料知识库回答审核表

项目 合格标准 评分
问题理解 回答对象明确 0-2
证据相关 引用片段与问题相关 0-2
结论忠实 无无证据断言 0-2
条件完整 保留材料、工艺、测试条件 0-2
引用准确 可定位到原文 0-2
总分 满分 10 分
《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

本章核心公式回顾

TF-IDF:

tfidf(t,d)=tf(t,d)logN1+nt\text{tfidf}(t,d)=\text{tf}(t,d)\cdot \log\frac{N}{1+n_t}

余弦相似度:

cos(x,y)=xyx2y2\cos(\mathbf{x},\mathbf{y})=\frac{\mathbf{x}\cdot\mathbf{y}}{\|\mathbf{x}\|_2\|\mathbf{y}\|_2}

Top-k 检索:

Ck=TopKi  s(zq,zi)\mathcal{C}_k = \operatorname{TopK}_{i}\;s(\mathbf{z}_q,\mathbf{z}_i)

《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

本章核心概念对照

概念 解决的问题
知识表示 如何让知识可计算
专家系统 如何用规则推理
知识图谱 如何组织实体关系
文本嵌入 如何表达语义相似性
向量数据库 如何大规模检索相似片段
RAG 如何让模型基于外部知识回答
证据追踪 如何核验回答可靠性
《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

Python 作业:构建一个迷你材料 RAG 检索器

任务目标:

用 Python 构建一个小型材料文献片段检索器。

基本要求:

  1. 自拟 8-12 条材料文献片段;
  2. 每条片段包含 sourcepagetext
  3. 使用 TfidfVectorizer 建立向量表示;
  4. 输入一个材料问题;
  5. 输出最相关的 3 条证据片段;
  6. 按“结论—依据—局限”格式组织回答草稿。
《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

作业代码骨架

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

records = [
    {"source": "Paper A", "page": 3, "text": "..."},
    {"source": "Paper B", "page": 5, "text": "..."},
]

query = "What affects dendrite arm spacing in solidification?"
texts = [r["text"] for r in records]

vec = TfidfVectorizer()
X = vec.fit_transform(texts)
q = vec.transform([query])
scores = cosine_similarity(q, X).ravel()
rank = scores.argsort()[::-1]

for idx in rank[:3]:
    r = records[idx]
    print(scores[idx], r["source"], r["page"], r["text"])
《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

参考资料与延伸阅读

  • RDF 1.1 Concepts and Abstract Syntax,W3C。
  • SPARQL Query Language for RDF,W3C。
  • OpenAI Embeddings Guide。
  • scikit-learn:TF-IDF、cosine similarity 文档。
  • Faiss documentation:similarity search and clustering of dense vectors。
  • LlamaIndex:Introduction to RAG。
  • Materials Project、NOMAD 等材料数据库文档。

阅读建议:先理解“知识如何组织”,再学习具体框架和工具。

《人工智能与大数据》 | 第7章

Q & A

本章关键词:

  • 知识表示
  • 专家系统
  • 知识图谱
  • 文本嵌入
  • 向量数据库
  • RAG
  • 证据追踪
  • 引用核验
请在课程项目中优先考虑:你的知识库回答能否被追踪、被核验、被复现?
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

附录 A:材料知识库命名规范

建议统一命名:

类型 命名示例
样品 S_2026_001
文献 PAPER_2024_ActaMater_001
图像 IMG_S_2026_001_SEM_5000X
谱图 XRD_S_2026_001_20260607
代码 SCRIPT_PF_POST_001

规范命名可减少后续实体对齐成本。

《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

附录 B:知识库最小字段模板

id:
title:
author:
year:
material_system:
process:
property:
page:
text:
evidence_type:
quality_label:

这组字段可以作为课程作业的最小数据结构。

《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

附录 C:RAG 提示词模板

你是材料科学课程助教。
你只能依据给定证据回答。
若证据不足,请明确说明不能判断。
回答必须包含:结论、依据、局限。
每条依据必须引用证据编号。

该模板体现了证据约束、拒答机制和结构化输出。

《人工智能与大数据》 | 第7章
第7章 知识库 知识图谱 向量检索 RAG流程 实验室知识 可靠性

附录 D:知识图谱三元组模板

(entity_1, relation, entity_2, source, page)

示例:

(ScanSpeed, affects, CoolingRate, Paper_A, 5)
(CoolingRate, affects, CellSpacing, Paper_A, 6)

加入来源与页码后,三元组才具有可核验性。

《人工智能与大数据》 | 第7章