TIL: 用 parallel 加速 rsync 迁移海量小文件 (opens in new tab)
rsync 单线程处理海量小文件时瓶颈在文件数而非数据量。用 GNU parallel 把目录拆分给多个 rsync 并行跑,能明显缩短迁移时间。
Read the original articlersync 单线程处理海量小文件时瓶颈在文件数而非数据量。用 GNU parallel 把目录拆分给多个 rsync 并行跑,能明显缩短迁移时间。
Read the original article