第二十五届中国计算语言学大会(The 25th China National Conference on Computational Linguistics, CCL 2026)将于2026年10月15至18日在湖北省宜昌市举行。会议主办单位为中国中文信息学会。CCL是中国中文信息学会(CIPS)的重要会议,是中国最大的自然语言处理学者和专家的社区。经过三十年的发展,CCL被广泛认为是最权威的,全国最具影响力、规模最大的NLP会议。随着计算机语言处理在中国的发展,CCL已经成为在全国范围内传播计算语言新学术和技术工作的主要论坛。本次大会继续组织中文语言处理技术评测CCL26-Eval。欢迎广大研究者参与评测竞赛。
任务十四:中文会话含义与隐喻能力评测
对“言外之意”的理解是人类交际的核心能力。而以往针对大语言模型的评测更侧重其在具体垂域中的表现,较少从语用推理与隐喻义识别角度评估模型的语言能力。本评测共设计两个核心赛道,旨在系统评估大语言模型在中文语境下的会话语义理解能力与隐喻理解能力。
赛道一:会话含义理解
为了实现交流目的,会话参与者在交流时通常遵循一套基本原则,这一原则被格赖斯总结为合作原则。该理论从量、质、关系、方式等范畴提出四项准则。量的准则要求提供适量信息,既不多余也不过少;质的准则要求说话真实,证据充分;关系准则要求话语要与当前话题相关;方式准则要求表达简洁有序,避免晦涩和歧义。基于这四项准则,格赖斯提出了会话含义理论,当说话人违反了这些准则或次准则的时候,听话人就需要超越话语的表面意义去领会说话人的隐含意义。本赛道用于评估模型识别、理解会话含义的能力。
子任务一:会话含义识别任务
给定一段多轮对话,要求模型指出特定人物的哪一句话是具有会话含义的。
子任务二:会话含义选择任务
给定一段多轮对话,要求模型从四个选项里选出有会话含义句子的正确含义。
子任务三:会话含义释义任务
给定一段多轮对话并明确指出具有会话含义的句子,要求模型生成一段解释。
赛道二:隐喻理解与生成
隐喻作为人类认识世界的重要方式,在概念建构和思维过程中发挥着关键作用。隐喻能力不仅关系到语言表达本身,也与创造性思维、抽象推理以及知识迁移等更高层次的认知过程密切相关。人们通过具体、熟悉的源域来理解抽象、陌生的目标域,这一映射机制贯穿于日常语言与思维之中。本赛道用于评估模型识别、理解并创造性地使用隐喻的能力。
子任务一:隐喻识别任务
给定一段文本,要求模型识别出此文本中的句子是否使用隐喻这一修辞手法,如包含隐喻,模型需要分别提取出隐喻句当中的本体、喻体。
子任务二:会话含义选择任务
给定一段文本,要求模型用非隐喻的语言解释隐喻句的含义。
子任务三:会话含义释义任务
不限定主题,要求模型自主生成恰当的隐喻表达。
-
组织者:杨尔弘、杨天麟、岳岩、安维华(北京语言大学)
-
联系人:张艺璇(北京语言大学博士生,blcuicall@163.com)
本届评测将设置一、二、三等奖,由中国中文信息学会提供荣誉证书。
任务网址: https://github.com/blcuicall/CCIME2026
有任何问题请与任务组织者或评测主席联系。
欢迎各位参赛同学通过二维码了解详情