管理人员可以进入标注任务管理页面,完成多项标注任务基础操作。
创建标注轮次 #
绑定数据源后,点击【创建初始轮】创建第一轮标注数据。标注轮次的条数、比例、标注人员取决于任务创建时的配置。
轮次任务的重新分配与废弃 #
当任务创建后,针对固定人员的任务,可以重新分配标注任务。分配时需要输入被分配人员和数量,系统会把对应的数据划归到新的标注人员下。
当任务创建错误/标注质量过于糟糕,或者更改任务配置需要轮次使用新的配置,则可以废弃轮次,废弃的时候直接点击重做当前轮标注即可。
生成下一轮次 #
点击【生成下一轮次】按钮,生成新的轮次。若列表中还有未最终确认的轮次,则无法生成下一轮次。
预标注 #
对于还有未标注数据的轮次,可以对数据进行预标注处理。预标注可以减少标注人员的工作量,可以直接提交一些已有正确预标注答案的数据。
点击【预标注】按钮,进行算法模型配置。可选择的算法模型都是当前项目下已上线的模型。
查看数据 #
任务管理页面中有两种类型的查看数据入口。
轮次旁的查看数据:可以查看全部标注人员的已标注数据。在最终确认前,管理人员可以进入【轮次旁查看数据-全部数据-可视化模式】页面进行标注检查,具体操作请查看“修改工作”文档。最终确认后,则只能查看数据而不能操作。
具体标注人员旁的查看数据:可以查看对应标注人员的已标注数据。
一致率 #
评估标注结果的质量,可以通过一致率指标来进行判断。一般来说一致率越高,质量就越好,意味人类本身认知一致。只有标注人员认知一致,模型才有准确的可能。一致率具体的含义可以参考上文任务创建参数解析。
生成算法模型版本 #
模型有两种,一种是每轮标注任务都会产生的一个临时模型结果,主要给到用户快速了解模型的大概情况。当用户认为数据量足够,临时模型效果也可接受的时候,用户可以选择生成训练模型。
点击【生成算法模型版本】按钮,弹出参数配置窗口,进行字段映射。
通过此方法训练的模型系统会认为是一个正式模型,一方面会带来模型准确率、召回率的提升,另一方面仅有正式模型可以发布成算法服务接口。