Bash 从文件中删除重复的行

在Shell脚本中，处理文本文件是一项非常常见的任务。当我们需要从文件中删除重复行时，可以使用以下Bash脚本。

#!/bin/bash

if [ $# -lt 1 ]
then
  echo "Usage: $0 filename"
  exit 1
fi

filename=$1

if [ ! -f $filename ]
then
  echo "Error: $filename not found"
  exit 2
fi

# 删除文件中的重复行
sort -u $filename -o $filename
echo "Duplicates removed from $filename"

以上脚本中，首先我们检查了输入参数是否是正确的，并检查了文件是否存在。然后我们使用sort和uniq命令，sort进行排序去重，uniq进行去重。最终我们将处理后的内容重新写回到同一文件中，并打印成功的信息。

使用方法非常简单，只需要在命令行中传入文件名即可。

$ bash remove_duplicates.sh test.txt
Duplicates removed from test.txt

以上就是Bash从文件中删除重复行的简单示例，希望对你有所帮助。