Come rimuovere le righe duplicate in Unix

L'ambiente di shell Unix è progettato per la lettura e la manipolazione di file di testo ( tra gli altri compiti ) . I file di configurazione , script e codice sorgente sono semplici file di testo che possono essere letti in qualsiasi editor di testo . Per questo motivo , ci sono comandi per operazioni quali la combinazione dei file , rimozione di linee e colonne e la ricerca di informazioni . Grazie alla combinazione di comandi di shell con i linguaggi di scripting " awk " e "sed ", è possibile eseguire operazioni di editing di alto livello , tra cui la rimozione di linee duplicate da uno o più file di testo, dalla riga di comando senza mai aprire un editor di testo . Cose che ti serviranno
Unix
Show More Istruzioni
di file possono essere ordinati alfabeticamente
1

Fare un backup del file che si sta lavorando con : documento cp . txt document.txt.bkup
2

il comando: sort- u comando document.txtThis ordinerà il file e rimuovere tutte le linee duplicate
3

. rimuovere le righe vuote con il comando : uniq Document.txt
file non può essere ordinato alfabeticamente
4

Creare un file di backup : cp Document.txt document.txt.bkup
5

emettere il seguente comando awk : awk ' ($ 0 in a) {a [$ 0] ; } print ! ' Document.txt > voci univoche unique.txtYour saranno trovati nel file di nome unique.txt
6

Rinominare il file di testo con l' unica lines.cp unique.txt document.txtThis mette le voci univoche indietro nel file originale .
combinare due I file e trovare le linee Duplicate
7

Fai un file di backup : cp Document.txt document.txt.bkup
8

il comando: cat doc1.txt doc2 . txt > comando combine.txtThis combina doc1.txt e doc2.txt nel file combine.txt
9

Rimuovere il lines.Use duplicato sia il tipo e comandi uniq o il comando awk sopra specificato .

• Come cambiare Utenti in Unix 
• Come trovare i file in Unix