寻求一个高速低成本的公有云下云数据迁移方案
寻求一个高速低成本的公有云下云数据迁移方案
最好是各位彦祖实操过的,有数据支撑
主要关注迁移速度和所需时间
数据量为 10TB 级别,均为文件存储
我简单咨询过云厂商,貌似不能拿硬盘去直接插入
不知道各位彦祖有没有实操经验
万分感谢
程序可以改,数据变化还是比较大的
停机迁移时间最好不超过 24 小时
AWS 有 snowball 服务,国内公有云的话,只要出流量费,速度不是问题。10T 按流量计费也才 8000 元
在同一个云服务商,买一个主机(带宽固定,不需要额外费用的),正常情况同一个云主机商访问自家云存储,费用很低。然后代理慢慢下载,不行就多买几台。
可以采购云服务商的裸金属服务器,备份硬盘拿出来吗
OSS 打包上传下载恢复。
你前提都没指定,很难跟你说具体方案,比如程序能不能改动,文件是否存在经常变动还是只读的情况。
#5 程序可以改,数据变化还是比较大的
空手套 100K 级别迁移方案
你都可以停机了,还 24 小时那么长,那还有啥纠结的呀,就付个流量费,直接导出就完事了呀,10T 数据量真不大。但是如果你都是小文件文件数量多,那可能时间长一些,考虑一下文件数量,千兆带宽跑满,几个小时就导完了
搞个同一家云公司的低成本的云服务器然后迁移 或者按需付费的 迁移 可以吧
标贴看成高速公路传输,我还以为是卡车运硬盘
假如你需要传输 20 个小时,你算一下带宽需求不就好了...
反正是停机嘛
#7 😎😜
#8 小文件是比较多,这不寻思尽量花小钱办大事么
如果没啥畊好办法只能买线
#9 可我是要下云
#14 OSS 10TB 套餐包,也就四千多。
10t 不多啊,为啥不能在线着慢慢跑? rsync 跑完后停机再增量跑下变化的就可以直接下掉上线了啊?
三四千差不多,直接买流量包就可以
数据迁移过程不停机,就是要切到云上的时候停一会就行。。。就是通过数据库同步功能做的。。数据也有几个 t
文件系统,我理解就是图片视频之类的静态资源呗?假设是这样的话那就很简单啊 甚至都不用停机
首先,假定原本的数据源为 A ,新的数据源为 B ,对 A 和 B 的操作主要就是读和写嘛~
对于读,可以先不用修改,返回的地址不同就行了,例如 A 返回的是 a.xxx.com/y.jpg B 返回的是 b.xxx.com/z.jpg
对于写,可以设置一个开关,第一步先双写一段时间,返回的读地址是 A 的,经过一段时间可以按流量返回读 B 的地址。
经过一段时间的验证,确认数据源 B 是稳定的之后,改写的开关,改为只写到 B ,只返回 B 的地址。当然此时 A 依然可以访问。
同时,想办法把 A 的文件拷贝到 B ,这个随便你怎么搞都行,主要成本在流量费上。假设有千兆的同步速度,平均稳定在 100Mb/s 的话,1010241024/100/3600 约等于 29 小时,速度还算可以的。
再验证一段时间,数据源 B 完全没问题之后,把之前指向 A 域名的全部更新为指向 B ,再过一段时间确认没问题了再彻底下掉 A 即可。
#18 虽然我和你的场景不一样,但你应该不是一个库那么大把?
#19 你这个针对互联网场景可以,我这个不太一样,不过还是谢谢
不是,有好几个库。。最大的 2t 左右
都可以停机,那方案不是贼简单?
弄个百度云盘会员,没多少钱。操作简单,速度取决于你的云服务器的上行带宽,愿意花钱就开个临时带宽升级(我这里开一天 300 多),不愿意就慢慢跑呗。
实战:随便找个项目用框架写一遍 原理:找点源码文章加工加工 都是嚼过好几遍的东西了,咋还能卖钱呢,我都没理解,什么框架要搭配一个课程才能用啊???新语言也不至于这么难吧。 关键…
xs = [] ys = [] zs = [] for data in ls: _x, _y, _z = data xs.append(_x) ys.append…
操作要 Typora 般简单。 vscode + markdown 插件 Obsidian joplin github.com/marktext/marktext …