使用说明（必读）

本页内容

本文是离线算法平台的使用说明

流程说明 #

  1. 业务方将输入文件上传到指定的文件系统
  2. 业务方通过相关接口提交离线任务，离线平台会返回一个任务Id
  3. 业务方凭任务Id查询任务状态，详见【查询任务状态】说明
  4. 如果任务成功了，业务方到文件系统下载结果文件

文件系统 #

提交离线任务时，需要传文件系统相关的参数。常见的离线平台文件系统为HDFS和CEPH，下面是参数示例

HDFS #

示例

  "inputFileSystemInfo": {
    "fileSystemType": "HDFS",
    "port": "your_hdfs_namenode_httpserver_port",
    "userName": "your_hdfs_file_userName"，
    "host": "your_hdfs_namenode_httpserver_host",
    "spareHost": "your_hdfs_SecondaryNameNode_host",
    "inputPath": "your_file_input_path_here"
},
  "outputFileSystemInfo": {
    "fileSystemType": "HDFS",
    "port": "your_hdfs_port",
    "userName": "your_hdfs_userName"，
    "host": "your_hdfs_host",
    "spareHost": "your_hdfs_SecondaryNameNode",
    "outputPath": "your_output_path_here"
}

说明:

  • fileSystemType：固定填写HDFS
  • port：namenode的http服务端口
  • host：namenode的http服务域名
  • spareHost：SecondaryNameNode的地址
  • inputPath：输入文件或文件夹的路径
  • userName：输入文件所属的user
  • outputPath：输出的文件夹路径

CEPH #

示例

  "inputFileSystemInfo": {
    "fileSystemType": "CEPH",
    "port": "your_ceph_port",
    "userName": "your bucket accessKey"，
    "password": "your bucket secretKey"，
    "host": "your_ceph_host",
    "inputPath": "bucket_name#your_input_path"
},
  "outputFileSystemInfo": {
    "fileSystemType": "CEPH",
    "port": "your_ceph_port",
    "userName": "your bucket accessKey"，
    "password": "your bucket secretKey"，
    "host": "your_ceph_host",
    "outputPath": "bucket_name#your_output_path"
}

说明:

  • fileSystemType：固定填写CEPH
  • port：ceph端口
  • host：ceph域名
  • userName：bucket的accessKey
  • password：bucket的secretKey
  • inputPath：格式为【bucket#输入文件文件路径】
  • outputPath：格式为【bucket#输出文件文件夹路径】

查询任务状态 #

  • 请求示例

    curl -XGET -H 'Authorization: your token here' \
https://open.datastory.com.cn/api/algorithm/task/get?taskId=${taskId}

  • 请求说明

    • taskId是提交离线算法任务时返回的

  • 响应结果示例

    {
"id":3039696,
"status":"FINISHED",
"addTime":"2022-08-08 15:51:23",
"startTime":"2022-08-08 15:51:23",
"finishTime":"2022-08-08 15:52:35"
}
  • 响应结果说明
    • status：任务状态 
      INITIALING 任务正在初始化 或 正在等待资源
RUNNING 运行中
FINISHED 成功
ERROR 失败
    • addTime：任务添加时间
    • startTime：任务开始时间
    • finishTime：任务结束时间

邮箱 #

必填。提交离线算法任务时，需要填入邮箱，用于接收任务状态的邮件，当任务异常、任务被取消会以邮件的形式发送到该邮箱地址。

注意事项 #

1、