未登录用户
首 页
书 架
登录系统
注册账号
联系我们
duidaima.com
版权声明
闽ICP备2020021581号
闽公网安备 35020302035485号
搜索
我要提问
随便写写
我要写书
16T的文件该如何快速进行拷贝?
发布于 8小时前
25 热度
13 评论
记忆的痕迹
0 粉丝 55 篇博客
关注
打赏
目前移动硬盘存储了 16T 的数据,目录结构如下
目前需要迁移到另一个硬盘上,使用过 fastcopy ,速度太慢了,只有 0.06M/s,全部拷完,公司都倒闭了,如下图
求助大家还有什么方法,可以快速进行文件拷贝呢?
用户评论
旧街浪人
最快应该是整盘克隆
dd if=/dev/sdX of=/dev/sdY bs=64M status=progress
其次应该是直接 tar 到 对应机器目录(别先 tar 再传,避免中间文件)
tar -cf - . | pv | tar -xf - -C /mnt/target
2025/10/31 8:56:00
[
0
]
[
0
]
回复
一苇以航
前期架构错了,后期就没办法。首先机械硬盘的随机 IO 就是慢,其次移动机械硬盘的性能更差劲,慢上加慢。下次这种需求,老老实实换 NVME 吧。
ps.小文件 + 机械硬盘,数据库来了也没辙。
2025/10/31 8:54:00
[
0
]
[
0
]
回复
满江风月
这种巨量小文件,存进数据库里(如 SQLite ),是不是会好很多?NTFS 文件系统,每个文件元数据(文件名、长度、时间、权限等)起码占 1KB ( MFT 主文件表里),文件内容还要浪费 < 4KB 用于簇对齐。读写文件还得经过复杂的权限校检、杀毒软件放行等。(估计 WinPE 里会快些)。
数据库就轻量很多。8 年前 SQLite [测试]( https://sqlite.org/fasterthanfs.html ),随机读写 10KB 小文件,比文件系统快 35%,节省 20% 空间。转移/备份时也是顺序读写,能全速吃满硬盘。
2025/10/31 8:53:00
[
0
]
[
0
]
回复
人生如茶
最快的方法是扇区复制、克隆硬盘,无 4K 读写,推荐在 PE 系统操作
2025/10/31 8:51:00
[
0
]
[
0
]
回复
静默的薄暮
哥们,如果你的全是纯文本文件,试试 rsync,直接增量同步,放那跑着就行,如果你是二进制文件,找增量备份或者快照软件,直接对这个目录打个快照,恢复到另一块盘里。
2025/10/31 8:49:00
[
0
]
[
0
]
回复
似水流年
扇区复制就完事了,别按文件拷贝
2025/10/31 8:47:00
[
0
]
[
0
]
回复
一个人流浪
大量传输小文件太考验源和目标磁盘的 4K 性能了
2025/10/31 8:27:00
[
0
]
[
0
]
回复
北风吹
7zip 直接 tar 归档一下,不需要压缩,速度最快,如果有上云需要,也可以做分包,经常用来跟朋友发送大文件用
2025/10/31 8:25:00
[
0
]
[
0
]
回复
一世煙花
先打个压缩包,你这么小的文件,可能不满一个块大小,实际根本用不了 16T
2025/10/31 8:23:00
[
0
]
[
0
]
回复
骤雨初歇
应该有办法整盘克隆吧,走顺序读取会快一些,类似 DiskGenius 似乎有这样的功能
2025/10/31 8:22:00
[
0
]
[
0
]
回复
携酒天涯
必然是先打包再拷,而且打包不要选压缩。
2025/10/31 8:19:00
[
0
]
[
0
]
回复
沧海一笑
让老板增资,这样公司就没那么快倒闭了
2025/10/31 8:15:00
[
0
]
[
0
]
回复
时间的尘埃
zip 打包一下再 copy 啊
2025/10/31 8:13:00
[
0
]
[
0
]
回复
点击加载更多评论
吐槽.灌水
443 成员 |
1729 话题
+我要提问
+随便写写
可能感兴趣的话题
安卓不 root 的前提下,去广告体验最好是?
为什么现在的程序员都不爱写文档?
Cursor Auto模式我觉得是真不错,大家觉得呢?
为什么基于 Spring Boot 的项目大多采用微服务架构,而较少用于单体应用开发?
dd if=/dev/sdX of=/dev/sdY bs=64M status=progress
其次应该是直接 tar 到 对应机器目录(别先 tar 再传,避免中间文件)
tar -cf - . | pv | tar -xf - -C /mnt/target
ps.小文件 + 机械硬盘,数据库来了也没辙。
数据库就轻量很多。8 年前 SQLite [测试]( https://sqlite.org/fasterthanfs.html ),随机读写 10KB 小文件,比文件系统快 35%,节省 20% 空间。转移/备份时也是顺序读写,能全速吃满硬盘。