Linux 下使用 Tar 与 Pigz 进行多核压缩

实用命令汇总

-p $(nproc)-1

📘 Linux 下使用 tar 与 pigz 进行多核压缩

一、概述

在 Linux 系统中， tar 是最常用的归档（打包）工具之一，用于将多个文件或目录合并为一个文件。
而 gzip 是常用的压缩工具，用于对文件内容进行压缩。

tar 与 gzip 常搭配使用形成命令：

1

tar -czf backup.tar.gz /data

但这种方式的一个明显限制是：

⚠️ tar 与 gzip 均为单线程程序，只能使用一个 CPU 核心。

当系统 CPU 较多、文件较大时（如 10GB 以上），这种单线程压缩会成为性能瓶颈。

为解决这一问题，推荐使用 **pigz** （Parallel Implementation of GZip） ，
它是 gzip 的多线程版本，可以充分利用多核 CPU 进行压缩。

二、tar 与 pigz 的关系与工作方式

tar 与 pigz 实际是两个独立程序：

1️⃣ tar 的职责

tar 的任务是读取文件系统中的数据，然后输出一个 未压缩的数据流 。
这个过程几乎不涉及复杂计算，主要是 I/O 操作。

示例：

1

tar -cvf - /data

这条命令不会生成文件，而是将归档内容输出到标准输出（stdout）。
- 表示“写到标准输出”。

2️⃣ pigz 的职责

pigz 从标准输入（stdin）接收数据流，并对其进行并行压缩。

示例：

1

pigz -p 4 > backup.tar.gz

-p 4 表示使用 4 个线程进行压缩。
它会根据 CPU 核心数量自动划分压缩块并并行计算。

3️⃣ 二者的组合：流式管道压缩

通过 Linux 管道（ | ）机制，可以让 tar 与 pigz 同时工作：

1

tar -cvf - /data | pigz -p 4 > /backup/backup.tar.gz

执行时的并行流程如下：

1
2
3
4

┌────────────────────────┐       ┌────────────────────┐
│ tar: 读取文件并打包流式输出 │ ---> │ pigz: 多线程压缩数据流 │
└────────────────────────┘       └────────────────────┘
        (单线程)                          (多线程)1.2.3.4.

运行结果：

• tar 依然是单线程；
• pigz 使用 4 个 CPU 核；
• 管道机制保证两者边读边压缩、无须中间文件；
• 整体 CPU 利用率高、内存占用低、压缩速度显著提升。

三、为什么 tar 只能使用一个 CPU？

tar 是一种典型的“流式归档”工具，它顺序地遍历文件系统、读取文件并写入输出流。
这种顺序处理模式的核心特点是：

• 每次只处理一个文件；
• 不进行复杂运算；
• 不具备数据块划分与并发处理机制；
• 并发读取文件还可能破坏归档的顺序一致性。

因此：

🧠 结论： tar 的核心瓶颈不是 CPU，而是磁盘 I/O。

即使机器有 8 核、16 核， tar 自身仍然只使用 1 个核心。

四、如何使用多核进行压缩

✅ 方案一：tar + pigz（推荐）

1

tar -cvf - /data | pigz -p 4 > /backup/backup.tar.gz

说明：

性能特征：

• tar 占用约 1 核；
• pigz 占用 4 核；
• 总共利用 5 核；
• 压缩速度通常是单线程 gzip 的 3~5 倍。

✅ 方案二：tar 内置调用 pigz（更简洁）

许多 Linux 发行版的 tar 已支持直接使用 pigz 替代 gzip ：

1

tar --use-compress-program="pigz -p 4" -cvf /backup/backup.tar.gz /data

等价于：

1

tar -cvf - /data | pigz -p 4 > /backup/backup.tar.gz

优点：

• 命令更简洁；
• 归档和压缩由 tar 管理；
• 同样支持多核。

✅ 方案三：解压时多核解压

同样，解压时也可以利用多核：

1

pigz -dc -p 4 /backup/backup.tar.gz | tar -xvf -

或者更简洁的形式：

1

tar --use-compress-program="pigz -dp 4" -xvf /backup/backup.tar.gz

五、性能对比示例（8 核 CPU）

（实际速度取决于磁盘 I/O、文件类型、压缩比等因素）

六、在生产环境中的最佳实践

七、总结

九、结语

• tar 的瓶颈是 I/O，而非 CPU；

• pigz 能显著提高压缩性能；

• tar + pigz 的组合是大文件备份的业界最佳实践；

• 合理控制线程数量（如 -p 3 或 -p $(nproc)-1 ）可以在性能与系统稳定性间取得最佳平衡。