实验室每季度产生 10TB 的数据,最佳的异地备份方案是什么?
目前的做法是数据产生后实时同步至群晖,每几个月硬盘会被塞满,然后拷到移动硬盘里。有什么更好的异地备份、本地释放空间的方法吗?实验数据无敏感性,不介意上传至阿里云、腾讯云或 AWS 的云盘里,不需要加密,但怕丢。
Cloudflare R2 下载不要钱,就问你厉害不厉害
硬盘应该是最好的选择,云存储是按照容量固定周期扣费的,比如 1 个月 1 毛钱 1G ,那么每个月都要为此付费,你在本地跑的话,其实用云服务既无必要也不划算,而且大多云存储上传下载会有额外的流量成本。
买 OSS ,按访问频率选择不同的 bucket 类型以尽可节省费用。如果只是存档,不太会再次访问,可以用归档存储,10TB 一年只要 2700 。
数据要保存多久?用云服务的话,即使不考虑上传下载的流量成本,这个数据量的存储成本会很高
看你的访问频率:
- 几乎不访问(医疗影像、实验记录)可以考虑 S3 的冰川深度储存类,非常便宜,12 刀/年/TB (但取出数据需要半天时间解冻)
- 非常频繁(模型权重、数据集)就看看阿里云之类的 OSS ,国内节点速度很快
介于两者中间,就依次考虑 Backblaze 、S3 等储存服务吧。
买台 LTO 磁带机,磁带很便宜。九代 LTO 磁带可提供 18T 的原生容量和 45T 的压缩容量
oss 深度冷归档
如果后续使用较少,不存在 ls 问题的话 可以考虑 s3fs
其实大容量机械移动硬盘可靠性很高,多买几块异地邮寄备份可靠性未必低于网盘
腾讯云归档储存 10 元/TB/月
阿里云 oss 深度冷归档
肯定是采购几套 EMC ,3PAR ,NetApp, HDS , 或者国产 华为,浪潮,曙光 存储啊。。 要全分布式的那种。。。 多买几套。
恰好最近整理了几个比较便宜的对象存储,楼主可以参考: x.com/xiaozblog/status/1899419731389829624
说存到云上的,得考虑上传带宽吧?
每个月 3T 多,如果不是商用宽带,普通千兆宽带一般上传至右 100 - 200Mbps 上传,要 2-3 天。
如果只是备份还是磁带靠谱,如果是怕实验室不安全,定期把磁带放另外一个地方就行,也算是灾备了
实验室?用经费氪金买磁带机!
10TB 不算多,但是没有交代为啥要异地备份啊。 如果用磁带机或者光盘刻录机,本地就行了啊,还不用担忧带宽、数据交给谁的问题。
我觉得,首先最后再考虑带宽上传的方案。先不说速度如何、耗时多久。就现在运营商针对 pcdn 得搞法,管你什么行为上传。封!降速!当然,除非高额的商业宽带或许宽松一点
买硬盘,然后快递发到某个临市的朋友家里,异地备份
115 ,1t 也就不到十块,还是长期。一年几百块会员。性价比最佳
备份用最便宜的类似 AWS s3 deep archive 的就行,或者阿里云也有类似业务,价格 1TB 每月只要 1 美元,上传流量不要钱,下载流量要钱
看你要存多久了,需要保存超过 9 个月,那就肯定是自己买硬盘便宜了,硬盘以后不要了还能卖出去。。
云上最便宜的应该就是 s3 deep 这种,无学习成本,s3 可以用网页上传,注意 s3 deep 每个被上传的对象最低按 180 天收费。
刻光盘
数据看样子是一点儿没压缩
每季度产生 10TB 的数据,是高压缩率的吧? 弄一个 nas 开启 btrfs 压缩格式的放上去,有惊喜哦
我们之前的实验数据压缩率超高,基本上 1GB 打包成 rar 只有几十 MB 。你试试每月 rar 打包存储,或者群晖 btrfs 开启压缩功能。
"目前的做法是数据产生后实时同步至群晖,每几个月硬盘会被塞满,然后拷到移动硬盘里。"
我不信你有这么多数据。
按照你这个做法,你现在手上应该有几百 T 的数据了,存满的硬盘也有很多。
拍照来看看?
海边买个房,定期往房子里放硬盘
AWS 都舍得用,我觉得招投标也不是不可以:自建数据中心
实验数据 重复太多,压缩还是很可以的
borg 每日备份 会压缩去重的 应该不会有那么多变化的数据。。。
restic 和 kopia 也行
卡车运输最便宜
太多了,考虑删除没用的数据,压缩,用磁带备份,然后放到另外一个城市,间隔 100 公里以外,这个是异地备份的标准。
实验室一般是教育网 教育网全是对等上下行的 千兆不在话下 而且没有啥运营商的限制
10T oss 还是最便宜的方案
电脑重做了下系统,打算下个 7zip ,百度搜了一下 然后点了第一个,下载完发现需要付费购买永久会员??关键是这个盗版官网放的示例图 就是 7zip 和 他的官网地址而且还在用…
晚上看面试题和各种场景解决方案的时候,突然间开始了奇思妙想: 第一层:现在别说爪哇的春天这套了,就是 go 和 python 的 web 后端框架也都已经成熟,小公司常见的 …
http://alexpogosyan.com/color-theme-creator/ 点击“Generate config file”,你可以看到生成的Emacs配色配置。…