关于GCU、沐曦GPGPU、MLU、0卡V100资源4月7日恢复上架的公告>>> 关于共建具身智能开源数据集的倡议>>> 关于云脑任务中统一路径访问方式的公告>>> 关于将启智集群GPU资源迁移至智算集群的公告>>>
zeizei
/
OpenI_Learning
Not watched
58
203
Fork 205
Code
Releases 0 Wiki Activity
Issues 290 Pull Requests 0 Datasets Model Cloudbrain
Issues
/
Detail
Labels Milestones
New Issue

#942 提供一个数据迁移的工具/接口

Open
created 1 year ago by thomas-yanxin · 0 comments
thomas-yanxin commented 1 year ago

问题描述

最近准备把几个100G的数据集上传到启智，会很麻烦…

通常在从外部数据平台将数据迁移到启智平台的时候，需要先从外部数据平台下载到本地，再从本地将数据上传到启智。
这存在几个问题：

  1. 本地电脑是中间暂存态，其实很麻烦，能不能把中间的这一步骤省去；
  2. 数据可能较大，本地电脑无法做中间态存储，迁移会比较麻烦。

期望的解决方案或建议

可能的建议：

  1. 打通主流的数据集平台，形成一套标准的数据集读取接口（不知道格物钛是不是有类似的）；
  2. 打通网盘接口，如百度网盘、阿里云盘等，蛮多大型的数据集会存在百度网盘进行传播；
  3. 很多数据集是通过url下载的，可否提供一个工具，用户只需要提供url，平台可以自己下载。

另外存在以下场景：

用户在调试环境里wget了某个数据集，并在调试环境里处理好了这个数据集，能不能提供一个接口，用户可以直接从调试环境里导出这个处理好的数据集。

<!-- 为了更有效地识别与解决您的问题，请尽可能的补充如下信息 --> ### 问题描述 最近准备把几个100G的数据集上传到启智，会很麻烦… 通常在从外部数据平台将数据迁移到启智平台的时候，需要先从外部数据平台下载到本地，再从本地将数据上传到启智。 这存在几个问题： 1. 本地电脑是中间暂存态，其实很麻烦，能不能把中间的这一步骤省去； 2. 数据可能较大，本地电脑无法做中间态存储，迁移会比较麻烦。 ### 期望的解决方案或建议 可能的建议： 1. 打通主流的数据集平台，形成一套标准的数据集读取接口（不知道格物钛是不是有类似的）； 2. 打通网盘接口，如百度网盘、阿里云盘等，蛮多大型的数据集会存在百度网盘进行传播； 3. 很多数据集是通过url下载的，可否提供一个工具，用户只需要提供url，平台可以自己下载。 另外存在以下场景： 用户在调试环境里wget了某个数据集，并在调试环境里处理好了这个数据集，能不能提供一个接口，用户可以直接从调试环境里导出这个处理好的数据集。
zeizei added the
enhancement
label 1 year ago
tanglj was assigned by zeizei 1 year ago
tanglj added the
need review
label 1 year ago
liuzx added the
开发中
label 11 months ago
Sign in to join this conversation.
No Branch/Tag Specified
Clear branch or tag
Branches Tags
Labels
Apply labels
Clear labels
bug
Something is not working dataset
数据集已通过 duplicate
This issue or pull request already exists enhancement
New feature help wanted
Need some help invalid
Something is wrong need review question
More information is needed test wontfix
This won't be fixed 大神经验分享
被平台采纳的用户分享经验贴 开发中
正在开发进行中 待完善
项目待完善后可加分 待确认 评审中 趣开源
精选项目标签 面向社区开发者
No Label
bug
dataset
duplicate
enhancement
help wanted
invalid
need review
question
test
wontfix
大神经验分享
开发中
待完善
待确认
评审中
趣开源
面向社区开发者
Milestone
Set milestone
Clear milestone
No items
No Milestone
Assignees
Assign users
Clear assignees
No Assignees
 tanglj
1 Participants
Notifications
Due Date

No due date set.

Dependencies

This issue currently doesn't have any dependencies.

Write Preview
Loading…
Cancel
Save
There is no content yet.
Delete Branch '%!s(MISSING)'

Deleting a branch is permanent. It CANNOT be undone. Continue?

No
Yes
Please read the following content carefully:

Dear OpenI User

Thank you for your continuous support to the Openl Qizhi Community AI Collaboration Platform. In order to protect your usage rights and ensure network security, we updated the Openl Qizhi Community AI Collaboration Platform Usage Agreement in January 2024. The updated agreement specifies that users are prohibited from using intranet penetration tools. After you click "Agree and continue", you can continue to use our services. Thank you for your cooperation and understanding.

For more agreement content, please refer to the《Openl Qizhi Community AI Collaboration Platform Usage Agreement》

Agree and continue
Disagree, exit