算法与天平（3）：没有知识库，AI永远都是临时工

引言：知识库是解决AI缺陷的方案

在本系列第二篇算法与天平（2）：从对话框开始，用好你的免费大模型中，我们开始真正落地到了法律人的日常，探讨怎么跟AI说话，让它听得懂、干得好。我们搭建了五维提示词体系，把AI从乱说一气的实习生调教成至少单次问答能靠得住的小助理。

但这套方法再漂亮，也只能解决单次问答的质量，解决不了知识沉淀与长期记忆的问题。

只要对话窗口一关，或者上下文输入内容一长，AI就会开启遗忘模式；律师多年积累的案卷、笔记、法律意见、合同模板，如果不做转换也无法直接使用；同时，模型中的预训练数据也不会包括最新的法律法规、司法解释，在时效性上存在问题。

如果想把AI从一次性问答工具变成长期助理，我认为目前比较成熟、可落地、性价比又高的技术路线，是基于RAG（ Retrieval-Augmented Generation，检索增强生成）等技术的AI知识库方案。

通俗的讲，LLM是AI的大脑，提示词是我们跟它交流的方式，知识库则是AI的专属档案室。没有知识库，所有AI都只是一个召之即来、挥之即去的临时工；有了知识库，AI可以记住你的案件、适应你的写作风格、沉淀你的职业经验。

我推荐三条比较成熟的技术路线供同行参考：

需要说明的是：路线一的SaaS产品从技术原理推断，应该也是采用了RAG或类似检索增强技术，但对用户而言是封装好的黑盒；而路线二和三，则是我们可以亲自下场、完全掌控的技术架构。

RAG：大模型界的“开卷考试”

很多律师对RAG感到神秘，其实它的本质就是给大模型安排一场开卷考试。

过去我们直接用大模型作答，相当于让律所实习生进行闭卷考试，所有知识全凭它训练时的记忆（背书），没背过的新规它不知道就瞎编（幻觉）。RAG则是在大模型作答前，先给它准备参考资料（私有知识库），让它照着资料回答。

RAG的工作流程，可以分为四个关键步骤：

1.文档切片：因为存在上下文窗口限制，大模型一次看不完几百页文书。所以RAG的第一步，就是把长文档按语义切分成几百个Token的小段落（比如把合同按条款切成数十个切片）。切片切得好不好，直接决定了后续检索的精度。

2.向量化：把切好的文字切片通过算法变成多维空间中的坐标（向量）。语义相近的文字，在空间里的坐标就越近。比如解除合同和终止协议，虽然字不同，但向量坐标挨得会比较近。

3.相似度检索：当律师提问时（如“违约方能否主张解除合同？”），系统会把问题也变成向量坐标，然后在知识库里寻找坐标距离最近的几个文档切片。这就叫相似度检索，也就是翻书找重点。

4.拼入Prompt：找到相关切片后，RAG系统会把这些切好的资料和问题一起打包拼入提示词，向大模型下达指令：“请根据以下参考资料回答问题……”。大模型根据切片资料做阅读理解，归纳总结，从而减少了凭空捏造的可能。

理解了这四步，你就明白了RAG的核心就是靠谱的资料+精准的检索。

AI知识库到底能干嘛？

搞懂了原理，法律人最关心的是这玩意儿有什么用？我认为，有了RAG加持的私有知识库，律师团队的作业模式将发生质变：

• 精准调用内部案例：以前年轻人写代理词，想找个类似案件，可能得翻半天共享盘，还未必找得到（当然，WPS的全文检索也是很好用的）。现在只需问RAG系统：“检索近三年在知识库中买卖合同纠纷，关于违约金过高的代理意见或判决”。AI就会直接从内部案例库进行检索、调取，你可以在输出结果的基础上进行借鉴和修改、完善。

• 复刻合伙人文风：每个合伙人都有自己独特的行文风格和排版偏好。有人喜欢长句说理，有人喜欢分点列明，有人习惯用“诚如贵方所知”这样文绉绉的语言。将合伙人的过往定稿代理词放入专属库，并要求AI以专属库作为风格示例参考（前提是需要设置好专属库+过滤检索+输出模板），大模型给出的回复就可以模仿其文风，省去大量格式和语言习惯的调整时间。

• 适配特定客户习惯：律师总有一些优质、长期合作的大客户，他们的合同有一些特定的要求（如特定的管辖权约定、审计后的付款节点、网络安全条款等）。通过对这些经典合同的合理切片和打标签，可以建立客户专属合同知识库，审查合同时就可以进行针对性的查询。

• 知识传承与新人带教：律所和团队的知识资产，往往锁在资深律师的脑袋和文档里。通过知识库，我们可以把过往经验转化成可检索、可问答的结构化知识资产，让新人入职后不用再费劲扒拉共享盘，检索一下，就能站在资深律师的肩膀上进行学习和工作，这也是我当前最看重的一点。

RAG的概念区别与避坑

很多法律人搞不清三个概念：RAG、模型微调、Agent。在进入三条路线之前，我们先给大家讲清楚边界。

• RAG（检索增强生成），是大模型的外挂私有知识库，不改模型、不训模型。大模型不懂的内容全部外置入库。AI作答前会优先在这个私有资料库里检索，再基于检索到的知识库内容输出内容。好处是知识库内容可以随时更新、随时删改、零训练成本、可控可溯源。

  
  

• 模型微调，相当于给AI重新训练，需要使用专门的方法和软件，同时要找到特定领域至少上万条高质量的问答对话作为训练语料，然后调用高端GPU去训练。成本高、更新慢，一旦法条更新、窗口口径变化，就需要重新微调。在没有专业技术力量支撑的情况下，普通律师和中小律所根本玩不转。

  
  

• Agent智能体，是能自主执行工作流的系统，而RAG是它的记忆底座。Agent可以自己拆任务、调工具（如检索法规、查企查查、写文书），但它所有的长期记忆、案件档案、办案经验，仍然是从外挂的知识库里拿。如果说RAG是法律AI落地的地基，那么Agent就是法律AI的上层建筑。

• 误区一：RAG可以彻底消灭AI幻觉
  RAG技术也只能大幅降低幻觉，无法根除幻觉。库里有资料的，AI能精准引用；库里没有对应知识，或者切片质量低下的情况下，大模型依旧会有概率编造回答。所以，人工核验永远是铁律。

• 误区二：本地部署一定比云端好
  好坏是要看具体应用场景的。常规合同审查、新规检索、团队协同，云端SaaS效率远超本地；政府、国企、涉密项目的话，本地私有化的安全程度则秒杀云端，需要合理取舍。

• 误区三：必须用专业法律模型
  RAG的核心竞争力是知识库中资料的精准召回，而不是模型本身是否专业。个人经验来说，使用主流通用大模型+优质私有法律库，效果远大于垂类法律小模型+劣质知识库。

• 误区四：RAG成本越高越专业
  适合自己业务场景的才是最好的。单兵律师重金部署本地RAG系统完全是资源浪费；而律所在涉密业务中大量使用云端SaaS则会带来执业风险。

路线一：云端SaaS托管AI知识库

先说第一条路：云端SaaS托管。核心特征就八个字：数据上云、开箱即用。这条线路的所有数据都托管于大厂云端，律师有使用权，但没有底层控制权，好处则是零部署、零运维。这类产品底层大多封装了RAG或混合检索能力，但切片规则和检索逻辑对律师而言是不可见的黑盒。适合律师个人和团队、中小律所零学习成本上手使用。

这一路线我个人推荐WPS智能知识库和腾讯云IMA。

WPS智能知识库不用多说了，上一篇文章中就提到过。它最大的护城河不在于AI技术有多尖端，而在于它深深扎根在律师已经形成的办公土壤里。

• 无缝衔接已有文档：律师日常产出最多的就是doc、pdf、xls文件。WPS知识库天然适配这些格式，上传到云文档就自动完成了入库这个动作，并不需要你先转格式再解析。特别是对于扫描版PDF，WPS内置的解析能力能省去律师大量文档预处理的时间。

  
  

• 一键问答与溯源：在文档界面就可以直接唤起AI，并基于当前文档或整个知识库（需预先将云文档目录设定为知识库）提问。回答还会标注出处来源，点击就能跳转到原文位置。

如果你已经是WPS的云端办公重用户，想要最低成本体验团队知识沉淀，直接用现成云共享目录+智能问答，这是最顺滑的过渡方式。

腾讯云IMA则是腾讯面向用户推出的低代码智能知识库平台，具备分级权限、公私库隔离、工作协同功能。

• 公私库隔离，适配团队组织架构：团队可以搭一个公共知识库（放法规、放通用模板），每个律师再建自己的私有个案库（放案卷、放个人笔记）。权限可以做到隔离，适配律所和团队的层级管理。

  
  

• 打通微信生态：IMA深度整合了微信文件和公众号文章功能。律师在微信群收到的文件、看到的优质公众号推文，可以一键存入IMA知识库。这对于习惯在微信里沟通案情的律师来说，极大地减少了知识二次归档的重复动作。

一句话定位：中小律所、律师团队云端标准化RAG的低门槛方案，特别适合重度依赖微信办公、需要权限管理的团队。

• 飞书智能知识库：深度绑定飞书文档生态，如果团队日常协作重度依赖飞书，其知识库的文档流转与AI问答无缝衔接，对你来说体验就会非常好，同时可以直接沿用飞书原有权限体系，不用重新设置。

  
  

• 钉钉AI助理（知识库版）：适合重度使用钉钉沟通和审批的律所，能在工作群内直接@助理调用私有知识库作答，主打边聊边问的轻量场景。

  
  

• 阿里云百炼/百度千帆知识库：偏向企业级开发者，提供更多底层配置空间（如调整检索权重、向量模型），适合有轻定制需求且具备相应技术能力的律所团队。
  

切片规则是厂商黑盒固定的，律师自己没有办法针对法条、判例做进一步的精细化定义。当遇到复杂的长篇卷宗的时候，它可能会把一段完整的法律逻辑切得支离破碎，导致检索时上下文丢失；另一个方面内容仍然有失密风险，这是所有云端产品的通病。

建议云端上传内容先进行本地脱敏。姓名、企业全称、标的金额、证件信息全部使用代号替换。宁可牺牲AI的上下文关联度，也不要在云端留下裸奔的案卷。

路线二：单兵本地轻量化RAG

第二条路，是给独立执业律师准备的本地轻量化路线。核心逻辑介于云端与全私有化部署之间。原始文件100%保存在个人电脑本地，不上传任何厂商云端，仅在AI问答时临时调用外部模型接口或本地模型。我个人推荐的标杆产品是Obsidian笔记+RAG插件生态。

Obsidian的核心优势不在于AI能力有多强，而在于文档自主权完全归属于律师本人。它不像WPS或飞书那样把你的文件存放在云端，而是以Markdown格式存在你的个人电脑硬盘上，比较适合个人知识的沉淀。

• 源文件100%本地自留：律师的案卷、笔记、合同模板，全部是以本地MD文件存储，不走云端，不被管控。哪怕Obsidian明天倒闭了，你的文件用系统自带的记事本照样能打开。

  
  

• 自定义切片与检索：通过安装RAG插件（如Smart Connections）和文本切片插件，律师不再是被动接受大厂的切片逻辑。普通合同可以按条款切，复杂案卷可以按争议焦点切，法条可以按条文章节切。这种捉刀人是自己的掌控感，是任何云端SaaS都给不了的。

  
  

• 双链关联构建案件逻辑网：在整理案卷时，可以用特定语法把法条、判例、案件事实串联起来。比如在张三的合同纠纷笔记里，你可以直接链接到《民法典》第XX条，再链接到李四案中类似情况的胜诉裁判观点。加上RAG插件后，AI不仅能单点检索，还能顺着你的双链逻辑网进行关联推理，真正沉淀出你个人的办案体系。

但需要提醒的是，Obsidian需要适应Markdown语法与双链笔记逻辑，不是那种傻瓜式软件，建议同行们预留一周左右的学习适应期。不过一旦掌握上手，那么个人知识沉淀的效率将极大地提高。

这条线路适合愿意花一定时间学习，换取知识资产相对安全，且主要希望完成个人知识沉淀的单兵律师。

• Logseq：知识图谱能力更强，主打大纲式折叠，适合梳理错综复杂的案件事实脉络、构建严密的案件逻辑体系。

  
  

• CherryStudio：极简零配置的RAG客户端，新手一键启用本地知识库，不想折腾Markdown的零基础律师首选。

  
  

• ReferenceRAG：直接读取电脑本地文件夹，无需把文件导入笔记软件，完全贴合老律师“按年份-当事人-案由”建文件夹归档的传统习惯。

没有团队协同能力，天生为单兵设计，不适合团队多人共用；同时如果你的Obsidian在AI问答环节调用的仍然是云端大模型API，那么检索出的案卷切片依然会发送到云端，对于涉密材料，建议只做本地归档切片，关掉AI问答功能。另外尴尬的是，如果你想实现完全的本地化，就必须下成本上本地大模型，都到了这个地步，为何不直接上线路三呢？

路线三：全开源私有化本地部署

第三条路线，我认为是法律AI应用的优选形态，是未来律所数字化基建的核心，也是我选择的落地方案。文档解析、切片、向量存储、大模型推理全链路都进行本地私有化部署，全程离线运行，数据零上云、零外溢。这是目前律所、团队使用场景下最安全、合规性最优的方案之一。

我个人推荐的标杆产品是RAGFlow，方案成熟、可视化强、易上手、全开源。

如果说路线一和路线二是在现成的房子里装修，那RAGFlow就是让你在地基上盖一座自己的房子。它不强求你懂代码，但要求你懂业务逻辑和基本操作。

• 深度文档理解与可视化切片：RAGFlow自己就能看得懂文档（需要提前配置好本地OCR模型），对于PDF判决书这样的法律文件能进行高精度解析。更关键的是，它支持可视化切片。你可以亲眼看到解析后的文档是怎么被切片的，并且可以手动调整切片错误的地方，把切香肠的刀法掌握在自己手里，是精准检索的前提。

  
  

• 原生多用户与权限隔离：这是律所和团队进行知识库部署的刚需。合伙人、授薪律师、律师助理的权限层层分级，这种组织架构适配能力，是个人轻量化工具无法提供的。

  
  

• 二次开发的API底座：RAGFlow不是一个封闭的系统，它预留了完整的API接口。今天你能用它做知识库检索，明天你就可以通过API把它和外部系统串联，变成能自主干活的Agent智能体底座。

本地私有化部署线路适合有涉密刚需、有预算上硬件、追求数据绝对主权，且希望为未来Agent智能体铺路的中大型律所和涉密业务团队。

• Dify：部署最简单、零代码可视化编排，如果还嫌RAGFlow配置繁琐，这是首选替代方案。

  
  

• MaxKB：硬件要求低，在没有高配服务器时的平替选择。

  
  

• FastGPT：多租户体系成熟，国内落地案例多，快速规模化部署的优选。

RAGFlow只是一个RAG引擎（负责解析和检索），本身不带大模型能力。和线路二一样，如果你部署了本地的RAGFlow，但仍然把模型的API接口指向云端大模型，那么检索出来的切片依然会被发送到云端，存在数据泄露的可能。

另外一个问题是部署成本。RAGFlow需要配合本地私有化部署的大模型（如Qwen、ChatGLM等）运行。跑本地大模型对电脑硬件是有门槛要求的，要想流畅处理法律长文本，建议至少配备24G以上显存的高端独立显卡或专门的AI服务器，律师使用的日常办公电脑根本跑不动。

终极选型：一张表搞懂三条路线

选择私有知识库路线的考量因素包括：

结合实操逻辑，我总结了一张对比表：

用一段话归纳，那就是：常规业务求效率，选云端SaaS；个人执业求沉淀，选轻量化本地；涉密业务求安全，选全开源私有化。

有能力的团队和律所其实完全可以搞混合架构，公用法规库云端协同、个人案卷轻量化沉淀、涉密专案全私有化隔离，三层架构全覆盖。成熟团队不做选择，效率、成本与安全全都要。

如何基于路线三进行二次开发

RAGFlow要想在律所和团队内部真正跑起来，最好基于它做二次开发。

我把自己的实战方案用相对不那么硬核的语言拆解出来，和大家一起思考，一个生产级的法律RAG系统，到底是怎么运转的。

项目采用了分层架构，把RAGFlow的能力嵌入到团队的私有化知识库管理系统中，整体就像一个运转有序的律所团队：

1.前端操作台（接待大厅）

律师直接交互的界面，负责提问、上传案卷、查看结果。

2.接口调度层（前台接待）

接收前端请求，校验身份权限，把任务精准派发给对应的业务团队。

3.业务逻辑层（承办律师）

核心干活的部门，负责案例检索的上下文管理、文档的预处理、引用和输出格式的精装修。

4.RAGFlow底座（档案室）

底层引擎，负责纯粹的文档解析、向量存储和检索生成。

通过这四层解耦，哪怕未来我的技术底座从RAGFlow迁移到别的方案，上面的业务逻辑也能够很快完成过渡，确保律师的操作体验不受影响。

结合团队常见业务场景，通过业务逻辑层的封装，将系统划分为四个独立模块：

以合同审查为例，除了让本地大模型根据内置的预训练知识库进行判断外，还额外通过业务层调度RAGFlow，外挂法律法规库+经典合同库进行二次、三次审查。强制要求大模型最终输出的审查意见必须附带库中召回的法条或判例切片，提升审查质量。

（基于RAGFlow开发的入库案例检索前端）

为了使用更方便，我为这套架构设计了几个优化特性：

1.打字机效果（流式响应）

大模型推理需要时间。我的系统实现了流式输出，AI想出一句就显示一句，律师不用盯着转圈圈浪费时间。

2.扫描件自动转换

目前很多材料是PDF扫描件，我在上传环节加了一道预处理工序，先通过OCR模型自动提取文字，转换成MD格式文件再入库，提升检索精度。

3.权限管理与合规留痕

谁能管理知识库（上传/删除），谁只能使用AI助理（问答），通过权限设置予以必要的限制；所有对知识库的增删改查，进行操作日志记录留痕。

4.模块化扩展

目前这套系统的底层配置知识库是独立的，并且可以在系统界面直接配置。如果需要新增一个业务查询模块，不用在RAGFlow中再进行设置（需调整默认切片规则和知识库参数的除外），系统界面配置一下即可快速上线。

这套方案通过底层引擎+业务外衣的设计，既享受了开源的灵活与安全，又通过封装交付了不输商业SaaS的前端体验。这才是路线三该有的最终形态。