Xóa dòng trùng lặp

Dòng trùng lặp xuất hiện mỗi khi gộp các danh sách. Một nhân viên marketing ghép hai danh sách email đã xuất, một nhà nghiên cứu thu thập từ khóa từ nhiều công cụ, một lập trình viên gom URL từ các file log, một giáo viên dán tên từ ba biểu mẫu đăng ký: cuối cùng ai cũng có những mục xuất hiện hai lần trở lên. Bảng tính cũng xóa được dữ liệu trùng, nhưng bạn phải mở file, chọn cột và tìm đúng menu; dán vào một ô văn bản sẽ nhanh hơn khi dữ liệu đã nằm sẵn trong clipboard.

Giữ nguyên thứ tự ban đầu quan trọng hơn bạn nghĩ. Danh sách các bước, bảng xếp hạng hay các URL theo thứ tự được thu thập sẽ mất ý nghĩa nếu bị sắp xếp lại. Ở đây, lần xuất hiện đầu tiên được giữ nguyên vị trí và các lần lặp sau chỉ đơn giản bị loại bỏ, đồng thời bộ đếm cho biết đã xóa bao nhiêu dòng để bạn kiểm tra kết quả có hợp lý không.

Mỗi dòng được rút gọn thành một khóa so sánh và lưu vào một tập hợp (set) khi danh sách được đọc từ trên xuống dưới; dòng nào có khóa đã nằm trong tập hợp là dòng trùng. Chỉ cần một lượt duyệt, nên danh sách hàng trăm nghìn dòng vẫn được xử lý nhanh. Cách này cũng khác với lệnh uniq cổ điển của Unix, vốn chỉ xóa các dòng trùng nằm liền kề nhau nên thường phải chạy sau sort và làm mất thứ tự ban đầu. Câu lệnh awk awk '!seen[$0]++' cho kết quả giống công cụ này.

Hai dòng có thể trông giống hệt nhau mà vẫn khác nhau. Một khoảng trắng ở cuối dòng, một ký tự tab thay cho dấu cách, hoặc khoảng trắng không ngắt dòng sao chép từ trang web đều khiến máy tính coi chúng là hai chuỗi khác nhau. Hãy bật tùy chọn cắt khoảng trắng để bỏ qua khoảng trắng ở hai đầu mỗi dòng, kể cả khoảng trắng không ngắt dòng. Hãy tắt phân biệt chữ hoa chữ thường để coi "Paris" và "paris" là một mục; cách viết gặp đầu tiên sẽ được giữ lại. Dòng trống có thể được giữ để các đoạn vẫn tách biệt, hoặc xóa hoàn toàn.

Danh sách đã lọc trùng thường cần được sắp xếp tiếp: Sắp xếp dòng có thể xếp theo thứ tự bảng chữ cái, thứ tự tự nhiên hoặc theo độ dài. Nếu danh sách đến từ file PDF hoặc email bị ngắt dòng lỗi, hãy sửa trước bằng các công cụ văn bản khác, vì một mục bị tách làm hai dòng sẽ không khớp với mục giống nó còn nguyên vẹn.