寻求一个高速低成本的公有云下云数据迁移方案
最好是各位彦祖实操过的,有数据支撑
主要关注迁移速度和所需时间
数据量为 10TB 级别,均为文件存储
我简单咨询过云厂商,貌似不能拿硬盘去直接插入
不知道各位彦祖有没有实操经验
万分感谢

程序可以改,数据变化还是比较大的

停机迁移时间最好不超过 24 小时

AWS 有 snowball 服务,国内公有云的话,只要出流量费,速度不是问题。10T 按流量计费也才 8000 元

在同一个云服务商,买一个主机(带宽固定,不需要额外费用的),正常情况同一个云主机商访问自家云存储,费用很低。然后代理慢慢下载,不行就多买几台。

可以采购云服务商的裸金属服务器,备份硬盘拿出来吗

OSS 打包上传下载恢复。

你前提都没指定,很难跟你说具体方案,比如程序能不能改动,文件是否存在经常变动还是只读的情况。

#5 程序可以改,数据变化还是比较大的

空手套 100K 级别迁移方案

你都可以停机了,还 24 小时那么长,那还有啥纠结的呀,就付个流量费,直接导出就完事了呀,10T 数据量真不大。但是如果你都是小文件文件数量多,那可能时间长一些,考虑一下文件数量,千兆带宽跑满,几个小时就导完了

搞个同一家云公司的低成本的云服务器然后迁移 或者按需付费的 迁移 可以吧

标贴看成高速公路传输,我还以为是卡车运硬盘

假如你需要传输 20 个小时,你算一下带宽需求不就好了...

反正是停机嘛

#7 😎😜

#8 小文件是比较多,这不寻思尽量花小钱办大事么
如果没啥畊好办法只能买线

#9 可我是要下云

#14 OSS 10TB 套餐包,也就四千多。

10t 不多啊,为啥不能在线着慢慢跑? rsync 跑完后停机再增量跑下变化的就可以直接下掉上线了啊?

三四千差不多,直接买流量包就可以

数据迁移过程不停机,就是要切到云上的时候停一会就行。。。就是通过数据库同步功能做的。。数据也有几个 t

文件系统,我理解就是图片视频之类的静态资源呗?假设是这样的话那就很简单啊 甚至都不用停机

首先,假定原本的数据源为 A ,新的数据源为 B ,对 A 和 B 的操作主要就是读和写嘛~

对于读,可以先不用修改,返回的地址不同就行了,例如 A 返回的是 a.xxx.com/y.jpg B 返回的是 b.xxx.com/z.jpg

对于写,可以设置一个开关,第一步先双写一段时间,返回的读地址是 A 的,经过一段时间可以按流量返回读 B 的地址。

经过一段时间的验证,确认数据源 B 是稳定的之后,改写的开关,改为只写到 B ,只返回 B 的地址。当然此时 A 依然可以访问。

同时,想办法把 A 的文件拷贝到 B ,这个随便你怎么搞都行,主要成本在流量费上。假设有千兆的同步速度,平均稳定在 100Mb/s 的话,1010241024/100/3600 约等于 29 小时,速度还算可以的。

再验证一段时间,数据源 B 完全没问题之后,把之前指向 A 域名的全部更新为指向 B ,再过一段时间确认没问题了再彻底下掉 A 即可。

#18 虽然我和你的场景不一样,但你应该不是一个库那么大把?

#19 你这个针对互联网场景可以,我这个不太一样,不过还是谢谢

不是,有好几个库。。最大的 2t 左右

都可以停机,那方案不是贼简单?

弄个百度云盘会员,没多少钱。操作简单,速度取决于你的云服务器的上行带宽,愿意花钱就开个临时带宽升级(我这里开一天 300 多),不愿意就慢慢跑呗。