Αφαίρεση διπλών γραμμών

Οι διπλότυπες γραμμές εμφανίζονται κάθε φορά που συγχωνεύονται λίστες. Ένας υπεύθυνος μάρκετινγκ που ενώνει δύο εξαγόμενες λίστες email, ένας ερευνητής που συγκεντρώνει λέξεις-κλειδιά από διάφορα εργαλεία, ένας προγραμματιστής που μαζεύει URL από αρχεία καταγραφής, ένας εκπαιδευτικός που επικολλά τα ονόματα από τρεις φόρμες εγγραφής: όλοι καταλήγουν με εγγραφές που εμφανίζονται δύο ή περισσότερες φορές. Και τα υπολογιστικά φύλλα μπορούν να αφαιρέσουν διπλότυπα, αλλά πρέπει να ανοίξετε ένα αρχείο, να επιλέξετε μια στήλη και να βρείτε το σωστό μενού· η επικόλληση σε ένα πλαίσιο κειμένου είναι ταχύτερη όταν τα δεδομένα βρίσκονται ήδη στο πρόχειρο.

Η διατήρηση της αρχικής σειράς έχει μεγαλύτερη σημασία απ' όσο φαίνεται. Μια λίστα βημάτων, μια κατάταξη ή URL με τη σειρά που σαρώθηκαν χάνουν το νόημά τους όταν ταξινομηθούν. Εδώ, η πρώτη εμφάνιση μένει ακριβώς στη θέση της και οι επόμενες επαναλήψεις απλώς αφαιρούνται, ενώ ένας μετρητής δείχνει πόσες γραμμές αφαιρέθηκαν, ώστε να κρίνετε αν το αποτέλεσμα είναι λογικό.

Κάθε γραμμή μετατρέπεται σε κλειδί σύγκρισης και αποθηκεύεται σε ένα σύνολο καθώς η λίστα διαβάζεται από πάνω προς τα κάτω· μια γραμμή της οποίας το κλειδί υπάρχει ήδη στο σύνολο είναι διπλότυπη. Αυτό γίνεται με μία μόνο διάσχιση, επομένως λίστες με εκατοντάδες χιλιάδες γραμμές επεξεργάζονται γρήγορα. Διαφέρει επίσης από την κλασική εντολή uniq του Unix, που αφαιρεί μόνο διπλότυπα σε διαδοχικές γραμμές και γι' αυτό εκτελείται συνήθως μετά από sort, χάνοντας την αρχική σειρά. Η έκφραση awk awk '!seen[$0]++' κάνει ό,τι και αυτό το εργαλείο.

Δύο γραμμές μπορεί να φαίνονται ίδιες και παρ' όλα αυτά να διαφέρουν. Ένα κενό στο τέλος, ένα tab αντί για κενό ή ένα μη διασπώμενο κενό που αντιγράφηκε από μια ιστοσελίδα κάνει τον υπολογιστή να τις αντιμετωπίζει ως διαφορετικές συμβολοσειρές. Ενεργοποιήστε το κόψιμο κενών για να αγνοούνται τα κενά και στα δύο άκρα κάθε γραμμής, μαζί με τα μη διασπώμενα κενά. Απενεργοποιήστε τη διάκριση πεζών-κεφαλαίων για να θεωρούνται ίδιες οι εγγραφές «Paris» και «paris»· διατηρείται η πρώτη ορθογραφία που εμφανίστηκε. Οι κενές γραμμές μπορούν να διατηρηθούν, ώστε οι παράγραφοι να μένουν χωρισμένες, ή να αφαιρεθούν εντελώς.

Μια λίστα χωρίς διπλότυπα χρειάζεται συχνά κάποια σειρά στη συνέχεια: το Ταξινόμηση γραμμών μπορεί να τη διατάξει αλφαβητικά, με φυσική σειρά ή κατά μήκος. Αν η λίστα προέρχεται από PDF ή από email με σπασμένες γραμμές, διορθώστε πρώτα αυτές με τα υπόλοιπα εργαλεία κειμένου, γιατί μια εγγραφή που έσπασε σε δύο γραμμές δεν μπορεί να ταιριάξει με τη σωστή της εκδοχή.