立即报名
  • 赛题详情
  • 赛制详情
  • 技术支持
  • FAQ

赛题详情

本次大赛分为资格赛和正赛两个阶段。其中资格赛的目的是为了让参赛者了解对话式人机交互技术的内涵,并尽快熟练掌握百度提供的用于定制对话理解模型的工具化平台—理解与交互技术平台(UNIT)。而正赛则是本次大赛的主题,期望参赛者设计和开发一个以对话式人机交互为核心的智能产品。资格赛与正赛的详细任务描述如下:
1.1 任务介绍

任务:基于UNIT平台优化给定场景的对话能力

使用UNIT平台优化题设场景的对话能力,提供两个固定场景供参赛者选择:

  • 场景一:订餐馆,包括查询餐馆、订位或发起导航
  • 场景二:看电影,包括查询电影、影院、购 票电影票

每个场景由主办方预先提供意图与词槽的定义,并提供一定量对话样本做为训练数据。参赛者需要使用UNIT完成场景的意图与词槽的配置,并利用对话样本优化场景的对话理解能力(参赛者自行增加对话样本与词槽的词表等),并最终在UNIT平台上产出模型与服务。

意图、词槽、对话样本等名词解释以及UNIT平台使用说明详见http://ai.baidu.com/docs#/UNIT-guide

1.2 评估标准

评估打分在测试数据上进行,测试数据不对参赛者开放。

评估打分指标为对测试数据中对话样本识别的F1值,具体计算方法如下:

  • F1值=(2*准确率*召回率)/(准确率+召回率)
  • 准确率=正确识别对话样本个数/所有识别对话样本个数
  • 召回率=正确识别对话样本个数/所有需要识别的对话样本个数

(注:上述的正确识别指对话样本的意图及其全部词槽均正确识别)

1.3 数据说明
数据名称 文件名称 下载链接
训练数据 train_data.zip 报名后可下载
意图与词槽定义 schema.zip 报名后可下载

训练数据格式与UNIT平台一致,具体参考UNIT平台数据格式介绍 http://ai.baidu.com/docs#/UNIT-guide

2.1 任务介绍

任务:设计和开发一个以对话式人机交互为核心的智能产品

产品形式包括但不限于手机APP、智能硬件等。产品必须使用百度提供的理解与交互技术平台(以下简称UNIT平台)实现核心对话能力,可以使用百度AI平台开放的其他技术能力作为辅助,其余百度未提供的功能与能力,实现形式不限。

UNIT平台说明详见http://ai.baidu.com/tech/unit。 AI平台说明详见http://ai.baidu.com

2.2 评审标准

主办方组织评审委员会从产品创意、产品对话能力、产品整体完成度等方面综合评分。在线评审评选出前20支团队参最终现场答辩评审。(评选的详细评分规则将另行发布)

赛制详情

  • 组队规则:1-5人组队参赛。指定其中一人为队长,队长作为团队发言人与通讯联络人。队伍名称不得包含违反法律法规或公序良俗的词汇。
  • 报名方法:参赛团队使用已有百度账号或新注册百度账号报名,该百度账号团队内部共享使用。参赛期间登录百度的平台均需保持与该账号一致。
  • 参赛对象:不限年龄、身份、国籍,面向全社会开放,高等院校、科研单位、初创团队等人员均可报名参赛。大赛主办单位有机会提前接触赛题和数据的人员不得参加比赛,其他员工可以参与比赛排名,但不领取任何奖项。
  • 所有参赛团队必须参加资格赛,且资格赛成绩大于及格线,才有资格进入正赛评选;
  • 资格赛题目介绍参考『赛题详情』。参赛者在UNIT平台创建场景(该场景是开发者在UNIT平台上创建的一个独立完整的对话系统,通常按垂类划分,例如天气场景、电视盒子场景等,下文简称UNIT场景),并在竞赛平台上选择题设场景对应的UNIT场景。持续基于UNIT平台优化题设场景的对话能力。资格赛给定了两个题设场景,参赛者可选择任意一个或者同时对两个进行优化。(UNIT介绍与使用详细参考http://ai.baidu.com/docs#/UNIT-guide
  • 参赛者可以在竞赛平台--个人中心--资格赛中自己发起评估打分,查看当次提交在测试集上的得分和个人排名。两次提交评估打分的间隔时长不得小于1小时。竞赛平台也会每日发起对参赛者UNIT场景在测试集上的自动打分,所得分数可以在个人中心的历史分数中查询。平台每次自动打分对应的UNIT场景以参赛者最后一次自发打分时选择的UNIT场景为准。
  • 资格赛的UNIT场景必须在2017年8月5日24点后停止更新并保持稳定,竞赛平台将基于参赛者最后选定的UNIT场景模型版本,发起最后一次自动打分,资格赛评比以此次打分为准并进行排名,在得分超过及格线的基础上,针对两个题设场景分别选取得分排名前100名的参赛者进入正赛。如果参赛者两个题设场景均有有效得分,以两组中得分排名较高的排名为准,另一组排名成绩无效,后续排名递进。
  • 主办方将在2017年8月7日24点前在竞赛平台公布是否有资格进入正赛。
  • 参赛者按比赛题目要求设计和开发一个以对话式人机交互为核心的智能产品。
  • 在比赛结束前,在竞赛平台--个人中心--正赛中提交以下内容:
  • (1)产品UNIT场景;
  • (2)产品演示视频;
  • (3)产品介绍文档;
  • (4)产品软件源代码。

所有内容可以反复多次提交,主办方将以参赛者在比赛结束前提交的最终版本为准进行评审。

所有提交作品的知识产权归各参赛者所有,所有提交的源码主办方只做审核使用,不开源不外泄。

  • -主办方根据所有参赛队伍在竞赛平台提交的产品展示资料和产品软件源代码,经技术作弊排查后,以评审委员会打分的方式评选出前20支团队参加线下最终评审。
  • 主办方将在2017年9月29日24点前公布入围最终评审的20支队伍名单。
  • 最终评审开始前,入围的20支队伍可继续修改和完善各自的产品。其中实现产品对话能力的UNIT场景必须在2017年10月9日24点后停止更新并保持稳定,正赛最终评审指标之一的产品对话能力将基于此评估。
  • 所有入围现最终评审的参赛团队需携带最终产品来到百度现场进行演示与答辩,由评审委员会打分+大众评审投票决出获奖队伍。
  • 正赛线下最终评审安排将另行通知,百度公司对本比赛拥有最终解释权。

技术支持

百度理解与交互技术平台(UNIT);

百度NLP云的基础技术服务,包括词法分析(分词、词性标注、专名识别)、句法分析、短文本相似度、Word Embedding与语言模型接口等;百度语音识别、图像识别、深度学习开源平台PaddlePaddle、人脸识别等开放平台。

以上技术详细介绍与使用说明,请参考百度AI平台ai.baidu.com

FAQ

如有任何疑问,请通过邮箱astar@baidu.com联系我们。