2024年4月19日发(作者：)

使用uniq命令查找和删除重复行的高效方法

在处理文本文件时，经常会遇到重复行的情况，这些重复行可能会

占据大量的存储空间，给后续的处理过程带来不必要的麻烦。为了高

效地查找和删除重复行，我们可以使用uniq命令来完成这个任务。本

文将介绍如何使用uniq命令，并提供一些使用该命令的高效方法。

一、uniq命令的基本用法

uniq命令用于从已排序的文本文件中查找和删除重复的行。它的基

本用法是在命令行中输入uniq，后面跟随要处理的文本文件名。默认

情况下，uniq命令会删除重复的行，并将结果输出到标准输出。

例如，我们有一个名为的文本文件，内容如下所示：

```

apple

banana

apple

orange

banana

```

我们可以使用以下命令来查找和删除重复行：

```

uniq

```

运行以上命令后，输出结果如下：

```

apple

banana

apple

orange

banana

```

可以看到，uniq命令只删除了连续出现的重复行，而保留了不连续

重复行。

二、使用uniq命令删除重复行

如果我们只是想删除重复的行，而不关心是否连续出现，可以使用

uniq命令的-i选项来忽略大小写，-d选项只显示重复的行，-u选项只显

示不重复的行。

1. 删除所有的重复行

```

uniq -d