本次评测(CCL2023-CLTC)已于6月7日22时00分关闭提交通道,感谢所有参赛队伍的积极参与!参赛队伍需于6月25日23时59分前提交评测报告,现就评测报告相关事项说明如下。

技术报告提交资格

1.参赛队伍提交技术报告是获奖前提,若不提交参赛报告,奖项将顺移给下一支队伍。

2.除获奖队伍必须提交技术报告外,鼓励所有队伍提交技术报告,【方法新颖】的非获奖队伍,其中优秀的技术报告也将被CCL Anthology 和 ACL Anthology 收录。

3.参赛队伍需将参赛代码、模型和说明文档打包随评测报告一同发送给赛道负责人。匿名评审结束后以MIT协议进行开源。

技术报告要求

1.本次评测使用 CCL 2023 主会议 LaTex 模板,下载链接为:https://blcuicall.org/CCL2023-CLTC/message/2023/06/15/rank.html

2.中文技术报告内容可参考往届CCL会议和评测论文,英文技术报告内容可参考SemEval和CoNLL。

3.参与单个任务(开放/封闭其一)的队伍评测报告正文至少 5 页,参考文献不限。

4.参与多个任务的队伍,若技术间存在紧密关联,应提交一份较长的评测报告,描述在几个赛道上使用的技术,正文长度至少 10 页,参考文献不限。也可以选择提交多个报告,分别描述在每个赛道上使用的技术,每份报告正文长度至少 5 页,参考文献不限。

提交及审稿方式

1.请将投稿评测报告发送至本次评测官方邮箱:blcuicall@163.com。所有投稿需在截止日期前发送,逾期不候。

2.投稿邮件主题格式:CCL2023-CLTC 赛道[X]-[开放/封闭/开放+封闭]-[队伍名]评测报告,其中 X 为“一”、“二”。

3.技术报告由评测任务负责人进行初审,并于6月28日反馈审稿意见。各参赛队伍应按要求修改。审稿意见将根据投稿邮箱进行反馈。

4.7月3日负责人推荐优秀技术报告至主办方。

5.本次评测使用双盲评审的方式对技术报告进行评阅,请注意在报告中使用匿名方式进行陈述,作者姓名和单位不能出现在投稿的技术报告中,自引不可采用“我们提出”的方式,而是用“作者名字提出…”。不符合匿名要求的论文将不经过完整的审稿流程而直接被拒稿。

最终版本

最终版本可以在评审版本的基础上,额外使用一页,以便包含关于评审意见的反馈。

报告标题

  • 英文名:System Report for CCL23-Eval Task 1:队伍名、方法等内容
  • 中文名:CCL23-Eval 任务1系统报告:队伍名、方法等内容

报告内容

评测报告中需要着重以下事项:

  • 可复现性(Replicability):描述尽可能多的细节,以便其他人复现您的工作
  • 分析性(Analysis):对实验结果进行描述和分析,不要过多讨论排名情况;可以包含多次实验的平均结果,也可以展示比提交结果更好的实验结果;可以进行消融实验(Ablation Study)分析说明不同模块或特征的有效性;对比基线模型进行分析。
  • 避免重复(Avoid Duplication):引用组织方的评测总结文章,避免重复对任务内容、数据情况进行描述。不过评测报告中仍然可以对任务和数据进行简介以便读者理解。(评测总结文章将会在最终版本前释出,所以提交评审版本时,可以引用一个用于“占位”的文章)。

公开方式

审核通过的评测报告,将统一公开在本评测官方网站 (https://blcuicall.org/CCL2023-CLTC/report/)上。