学问图谱(KG,Knowledge Graph)是一种要津的学问组织容颜淫淫网最新地址,其以图结构将事实学问呈现为(头实体、相干、尾实体)的三元组(triple)容颜。
这种结构化的学问抒发样子在繁密范围领略着基础性的因循作用,并平日应用于保举系统、问答系统和情谊分析等卑劣应用中。
关联词,尽管主流学问图谱如 Freebase 和 Wordnet 包含了丰富的学问,但仍然存在严重的不圆善问题。这意味着在这些学问图谱中,实体之间穷乏无数的相干通顺,导致学问图谱无法全面、准确地反应信得过宇宙的学问。
举例,在描写东说念主物相干时,可能存在某些东说念主物之间的关联相干未被记载;在描写事件时,可能穷乏要津的参与实体或事件发生的布景信息等。这种不圆善性严重截止了学问图谱在上述卑劣应用中的性能和效率,突显了学问图谱补全(KGC,Knowledge Graph Completion)任务的迫切性。
已有的搞定决议大多通过预设的几何空间假定学习实体和相干的低维镶嵌,并通过界说好的打分函数进行补全。这类决议仅依赖学问图谱中的三元组,忽略了支抓这些三元组的险阻文语义,容易得出与事实不符的论断,且在处理长尾实体时说明欠安。
频年来基于文本的步调,期骗将实体和相插手其标签和描写进行编码。由于结构化的三元组与当然谈话句子之间存在较大语义差距,其性能仍无法卓绝最新的基于镶嵌的步调。
最近两年的盘问标明,大谈话模子较强的语义清晰才略和险阻体裁习才略不错被期骗于搞定较为复杂的推理问题。
香港华文大学博士生李木之和香港科技大学(广州)博士生杨策皓以为,通过提供关联的学问和安妥监督,不错激励大谈话模子的推理才略,更好地搞定学问图谱补全问题。


基于此,他们研发出一种名为 KGR³ 的 KGC 框架,具体包括如下三个模块。
检索模块:肃肃网罗与待补全三元组关联的语义和结构化学问。这包括:
1)三元组检索:从学问图谱中取得与查询三元组具有相通相干和一样实体的一些三元组);
2)文本险阻文检索,从学问库中索求查询三元组及支抓三元组中实体的关联险阻文,如标签、描写、笔名等);
3)候选谜底检索(期骗先前的 KGC 模子对学问图谱中的实体进行初步评分和名次,登第名次靠前的实体行动候选谜底)。
推理模块:期骗大谈话模子的险阻文感知推理才略,为具体的不圆善三元组生成一些可能的谜底。为了指挥大谈话模子更好地完成任务,他们期骗演示索求出的一样三元组匡助大谈话模子理衔命务,并提供了实体的描写来注目幻觉情景的产生。斟酌到大谈话模子输出的噪声问题,他们会对生成的谜底作念对都,确保输出的实体在学问图谱中信得过存在。
重排序模块:整兼并重排上述两个模块的候选谜底,使中意不圆善三元组的最好实体排在较前位置。在这个模块中,他们通过对查验勾搭的三元组头尾实体进行负采样来候选谜底集,并引入监督微调机制,使大谈话模子领有大要把柄实体描写和已知实体的贯串三元组从谜底勾搭遴荐最好实体的才略。
实验扫尾标明,在文本语义信息、图谱结构化学问、以及监督微调的多重指挥下,即使是参数目较小(1.5B 和 7B)的开源大模子,都有才略很好地搞定学问图谱的补全问题。

据先容,KGR³ 可被用于保举系统、信息检索等范围。举例,KGR³ 通过补全学问图谱中的用户和物品相干,保举系统不错发现用户潜在的风趣点,提供更个性化、适应用户需求的保举内容。
在电商平台上,能把柄学问图谱中的 KGR³ 补全的关联实体相干(如品牌关联、产物功能互补等)保举搭配产物或关联作事,基于用户购买历史保举一样产物,普及保举的质料和效率。
在酬酢采集平台的好友保举或内容保举中,期骗 KGR³ 补全后的学问图谱挖掘用户之间更深线索的计议,以及用户可能感风趣的话题或群组,增强用户在平台上的互动和参与度。
据了解,李木之在粤港澳大湾区数字经济盘问院(IDEA,International Digital Economy Academy)探询本事,在郭健磨真金不怕火和徐铖晋博士的指挥下,他与博士生杨策皓构成团队,将语境学问图谱行动盘问课题。
团队察觉到现存 KGC 步调的不及,尤其是镶嵌法和文本法在处理语义清晰和长尾实体时的局限,而大谈话模子虽有后劲但应用受限。
因此,他们决定尝试探索一种新的搞定决议,把图谱中不错取得到的学问整合起来,看是否不错大谈话模子学会作念这么的任务。过程初步尝试,他们开发出了 KGR³ 框架的雏形,包含检索、推理和重排序三个模块,并初步考据了可行性。
在考据决议可行之后,他们快速进行了实验,并初次提交了论文。关联词扫尾不尽东说念主意,评审分数未达预期。审稿东说念主指出,尽管框架的谋略有一定改变性,但在性能说明上仍有彰着不及,使用了参数目更多,才略更大的大谈话模子,却未能显耀跨越传统步调,奋勉满盈的劝服力。
这一穷困让他们结实到,盘问仍需深化,必须找到普及框架性能的灵验门道。
他们仔细稽察了审稿意见,分析实验数据,发现原来的重排序决议是所有框架的瓶颈。在前序决议中,他们尝试让大谈话模子去生成候选实体的圆善排序。关联词,在学问图谱中并莫得具体排序的监督数据。
于是,他们遴荐期骗已有 KGC 模子输出的排序来微调大谈话模子,这有害于搞定已有决议的颓势。在阅读对于大谈话模子的其他文件后,他们以为输出圆善排序本质上加多了任务难度。
相较于在实体间“比大小”,大谈话模子更擅长作念“遴荐题”,因此他们诊治到了面前的决议。同期,他们结实到需要在写稿方面强化盘问指标。
在新一版论文中,他们更明晰地讨教 KGR³ 框架怎么灵验期骗实体险阻文和大谈话模子的才略,以及各模块间的协同责任旨趣。
此外,他们补充了更多对比实验,以全面展示 KGR³ 在不同数据集、不同基准 KGC 模子、以及不同限制和种类的大谈话模子下的上风,增强盘问的劝服力。
再次提交论文之后,这一次论文得到了审稿东说念主的一致性高度认同,评审分数大幅普及。审稿东说念主对 KGR³ 框架在性能上的显耀普及赐与了充分详情,尤其赞美其在处理复杂学问图谱补全任务时的灵验性和改变性。
性图片日前,关联论文以《检索、推理、从头排序:学问图谱补全的语境增强框架》(Retrieval, Reasoning, Re-ranking: A Context-Enriched Framework for Knowledge Graph Completion)在预印本网站arXiv发表[1],并已被顶会 NAACL 2025 主会收录。

将来,团队计较将 KGR³ 范式蔓延至其他学问图谱推理任务,如归纳式学问图谱补全和基于学问的问答。
在现时盘问中,KGR³ 框架已在传统的学问图谱补全任务中展现出显耀上风,但对于未在查验勾搭出现的实体(即归纳式开采下的情况),该框架尚无法灵验处理。后续,团队将效用搞定这一问题,使 KGR³ 大要应付更复杂、更具挑战性的践诺场景。
举例,在践诺应用中,新的实体和相干陆续自大,大要处理归纳式 KGC 任务将大大普及学问图谱的圆善性和实用性。
此外,盘问东说念主员还计较将 KGR³ 框架应用于学问图谱问答,从问题清晰、学问检索、谜底生成和优化等多个门径脱手,充分领略其在处理学问图谱和文本信息方面的上风,为用户提供准确、有用的谜底,进而将语境学问图谱想法进一步蔓延。
参考贵府:
1.https://arxiv.org/pdf/2411.08165
排版:刘雅坤