Rimuovere linee duplicate da un file con awk

Ieri mi sono imbattutto in un file di testo pieno di record duplicati.

Era un file generato da database.

Però avevo bisogno di fare pulizia dei duplicati.

Ho trovato un buon modo usando awk su Linux.

Quini, se abbiamo un file del genere:

prva 1
prova 1
prova 2
hello!
prova 1
prova 21

Usando awk:

awk '!seen[$0]++' prova.txt > output.txt

Questo l'output:

prva 1
prova 1
prova 2
hello!
prova 21

Come vedete è abbastanza semplice.

Enjoy!