知识图谱构建到底难在哪？——一位老司机的血泪复盘

知识图谱这几年火得一塌糊涂，好像不做个图谱就不好意思说自己是搞AI的。但你知道吗？真正去落一个项目，那酸爽...简直了。我到现在还记得去年那个夜晚，凌晨三点，对着满屏的错误信息，我抓起咖啡杯——空的。那种绝望，做过的都懂。

数据清洗：90%的工程师都在骂娘

你以为你的数据很干净？拉倒吧！结构化的表格数据还能看，非结构化的文本、PDF扫描件、甚至是手写档案，那才叫一个毁三观。有一回我从医院拿到的病历数据，同一份诊断报告，医生写的“高血压病”有的带“病史”，有的不带，还有的写“高血压3级”，你让实体链接怎么做？——正则表达式写到吐。

更坑的是什么？数据量大了以后，去重能把你逼疯。人名“张三”和“张 三”，多一个空格，机器就认为这是两个人。还有那种同义词，比如“北京大学”和“北大”，在知识库里明明是同一个实体，但从不同系统merge过来的时候，没有对齐，结果图谱里就多了一堆冗余节点。后来我学乖了，在数据清洗阶段，宁可用笨办法一条条写规则，也别完全相信自动化的工具。有一次用了某开源库的标准词语义相似度，结果“苹果”和“水果”相似度0.9以上，但“苹果公司”和“蒂姆库克”只有0.3，这能行？

说实话，清洗数据的过程，就像在垃圾堆里找宝贝。你永远不知道下一个坑在哪。但没办法，数据不好，后面全白搭。我还试过用大模型来辅助清洗，让GPT帮忙规范化实体名称，效果是不错，但成本...不提了，一分钱一分货吧。

本体设计：别想着一步登天

有多少人一开始就想把Schema设计得尽善尽美？我当初也是。参考了Schema.org、Wikidata，画了上百个类和属性，结果呢？实现的时候发现有一半根本用不上，而实际需要的属性又没定义。本体设计切忌闭门造车，一定要从查询需求出发。你是要给保险做风控，还是给电商做推荐，图谱的侧重点完全不一样。曾经给一个法律项目设计本体，我们想当然地把“法条”作为核心实体，后来发现律师最常查的是“判例”和“争议焦点”，赶紧临时调整，那叫一个手忙脚乱。

还有一个血的教训：关系命名。别用“related_to”这种万金油，太模糊了，后期推理的时候你会发现全是噪声。要用具体的谓词，比如“代理了诉讼”、“参与了起草”。虽然前期麻烦，但后面真省心。而且，本体一定要和领域专家一起review，AI工程师不可能比医生懂医学，不可能比律师懂法律。我们以前就犯过傻，自己闭门造车搞了一套金融知识本体，拿去给分析师看，人家说：“你们定义的‘关联交易’跟我们实际中的完全两码事。”得，全部返工。

说到本体，其实现在有些工具能做到半自动化了，比如利用语言模型从文档里抽概念和关系，然后人工review。但说实话，这样做出来的本体，质量很大程度上取决于输入的数据。如果文档质量差，抽出的关系乱七八糟，你可别哭。我试过用LlamaIndex的PropertyGraph原理，从上市公司年报里抽股权关系，有些长句子里嵌套了好几个法律实体，模型直接懵了，把董事长和经理搞混，这你敢用？

工具选型：你以为LLM能包办一切？天真！

2023年以后，大模型火了，很多人觉得知识图谱过时了，LLM啥都能干。真是这样吗？我最近就在做GraphRAG的验证，用知识图谱增强大模型的问答。结果发现，图谱的质量直接影响RAG的效果。如果图谱建得一团糟，检索出来的路径八竿子打不着，GPT-4也救不回来。

现在市面上的工具也多了，Neo4j、JanusGraph这些老牌图谱数据库，加上LangChain、LlamaIndex这些框架，构建门槛确实低了。但是，坑依然在。比如Neo4j的Cypher查询，当图节点上了千万级，关联跳数超过3，性能就断崖式下降。你不得不上索引、分片，甚至考虑图计算引擎。还有，实时更新也是个头疼事。有次我们做一个舆情监控图谱，每5分钟要更新一批新实体和关系，结果图数据库的写入速度跟不上，这边还在插入，那边查询的就超时了。最后上了一套流处理框架，才勉强扛住。

再说说知识抽取。现在流行用LLM做实体识别和关系抽取，比以前的BiLSTM-CRF强太多了，但代价就是慢和贵。处理一千万篇文档，用API调用，光Token费用就能让你老板跳起来。而且，LLM抽取的结果有时候太“奔放”，编造一些不存在的关系。我就遇到过，把“特朗普”和“拜登”的关系抽成“朋友”，理由是他们在一次辩论中握了手...这你能忍？所以，我现在的做法是小模型做粗筛，大模型做精调，外加人工抽检。别指望一招鲜吃遍天。

知识图谱构建这件事，说到底，是工程，也是艺术。没点死磕精神，真做不来。我现在看那些把图谱吹上天的软文就烦，落地有多难只有做过的人知道。不过话说回来，当你构建的图谱真的帮业务解决了一个实际问题——比如一个反欺诈链路检测出一批黑产团伙——那种成就感，又让你觉得所有的熬夜都值了。所以，还搞吗？搞，当然搞，只是下次我一定先给自己泡好咖啡，加满杯。