⑴OssImport是一款将数据迁移至OSS的工具,您可以将ossimport部署在本地服务器或云上ECS实例内,轻松将您本地或其它云存储的数据迁移到OSS。支持本地七牛百度BOS又拍云腾讯云COS金山KSHTTP等等,数据源非常丰富,而且可以实现流量控制断点续传等等。
⑵支持的丰富的数据源,有本地七牛百度BOSAWS SAzure Blob又拍云腾讯云COS金山KSHTTPOSS等,并可根据需要扩展;
⑶支持断点续传;
⑷支持流量控制;
⑸支持迁移指定时间后的文件特定前缀的文件;
⑹支持并行数据下载上传;
⑺支持单机模式和分布式模式,单机模式部署简单使用方便,分布式模式适合大规模数据迁移。
⑻ossimport可以部署在Linux或Windows系统上,要求如下:
⑼Windows及以上版本
⑽Linux系统最新版本
⑾Java .及以上版本
⑿分布式部署暂时不支持Windows系统。
⒀如果迁移文件失败,建议您先查看迁移失败日志,确认失败的原因。您可以在解决这些问题后使用retry命令进行重试。迁移失败日志的路径为master/jobs/${JobName}/failed_tasks/${TaskName}/audit.log。
⒁使用stat命令查看任务状态显示失败
⒂解决方案:使用stat命令查看迁移任务状态,如果JobState为failed,则迁移任务失败。迁移完成后请使用retry命令进行重试。
⒃部分文件迁移失败后反复重试都无法成功迁移
⒄查看迁移失败文件列表master/jobs/${JobName}/failed_tasks/${TaskName}/error.list,获取失败文件的相对路径。
⒅确认是否有这部分文件的权限访问文件是否被删除是否是软链接文件文件名是否存在乱码等。
⒆解决以上问题后,使用retry命令进行重试。
⒇迁移失败日志报“The bucket you are attempting to aess must be addressed using the specified endpoint”错误
⒈问题分析:srcDomain或destDomain填写错误,请按照域名列表填写正确的Endpoint。
⒉迁移失败日志报“The request signature we calculated does not match the signature you provided”错误
⒊问题分析:destAessKey和destSecretKey有误,请填写正确的AK信息。
⒋迁移失败日志报“The bucket name “xxx/xx” is invalid”错误
⒌问题分析:检查配置项destBucket是否填写正确,Bucket名称是不带正斜线(/以及路径的。
⒍迁移失败日志报“Connect to xxx.oss--beijing-internal.aliyuncs.: timed out”错误
⒎问题分析:这个是连接超时的报错,通常原因是迁移用的设备非ECS实例或不是与OSS同地域的ECS实例,但是配置文件使用了OSS的内网域名。OSS内网域名仅支持同地域ECS实例访问。
⒏修改配置文件中域名为外网Endpoint,清除任务后重新提交任务。
⒐使用与OSS同地域的ECS实例运行迁移任务。
⒑迁移失败日志报“The specified bucket is not valid”错误
⒒问题分析:配置文件里的destDomian配置的域名是Bucket所在地域的Endpoint地址,而不是带Bucket名称的二级域名。例如Bucket在华北(北京,应填写oss--beijing.aliyuncs.。详情请参见配置文件示例。
⒓迁移失败日志报“Unable to execute HTTP request: The Difference between … is too large”错误