ลบบรรทัดซ้ำ

บรรทัดซ้ำมักเกิดขึ้นเมื่อนำรายการหลายชุดมารวมกัน เช่น นักการตลาดที่รวมรายชื่ออีเมลที่ส่งออกมาสองชุด นักวิจัยที่รวบรวมคีย์เวิร์ดจากหลายเครื่องมือ นักพัฒนาที่ดึง URL จากไฟล์ล็อก หรือครูที่วางรายชื่อจากแบบฟอร์มลงทะเบียนสามชุด ทุกกรณีล้วนมีรายการที่ปรากฏซ้ำสองครั้งขึ้นไป สเปรดชีตก็ลบข้อมูลซ้ำได้เช่นกัน แต่ต้องเปิดไฟล์ เลือกคอลัมน์ และหาเมนูให้ถูก หากข้อมูลอยู่ในคลิปบอร์ดอยู่แล้ว การวางลงในช่องข้อความจะเร็วกว่า

การคงลำดับเดิมสำคัญกว่าที่คิด รายการขั้นตอน อันดับ หรือ URL ที่เรียงตามลำดับการรวบรวมจะเสียความหมายเมื่อถูกจัดเรียงใหม่ เครื่องมือนี้จะเก็บบรรทัดที่พบครั้งแรกไว้ที่เดิมทุกประการ และตัดบรรทัดที่ซ้ำภายหลังออก พร้อมตัวนับแสดงจำนวนบรรทัดที่ถูกลบ เพื่อให้ตรวจดูได้ว่าผลลัพธ์สมเหตุสมผลหรือไม่

แต่ละบรรทัดจะถูกแปลงเป็นคีย์สำหรับเปรียบเทียบ และเก็บไว้ในเซตขณะอ่านรายการจากบนลงล่าง หากคีย์ของบรรทัดใดมีอยู่ในเซตแล้ว บรรทัดนั้นคือบรรทัดซ้ำ ขั้นตอนนี้ใช้การอ่านเพียงรอบเดียว จึงจัดการรายการที่มีหลายแสนบรรทัดได้รวดเร็ว และต่างจากคำสั่ง uniq แบบดั้งเดิมของ Unix ซึ่งลบเฉพาะบรรทัดซ้ำที่อยู่ติดกัน จึงมักต้องรันหลัง sort ทำให้ลำดับเดิมหายไป ส่วนสำนวน awk อย่าง awk '!seen[$0]++' ให้ผลเหมือนกับเครื่องมือนี้

สองบรรทัดอาจดูเหมือนกันแต่แตกต่างกันจริง ช่องว่างท้ายบรรทัด แท็บแทนช่องว่าง หรือช่องว่างแบบไม่ตัดคำที่คัดลอกมาจากหน้าเว็บ ทำให้คอมพิวเตอร์มองเป็นสตริงคนละตัว เปิดตัวเลือกตัดช่องว่างเพื่อไม่นับช่องว่างหัวท้ายของแต่ละบรรทัด รวมถึงช่องว่างแบบไม่ตัดคำ ปิดการแยกตัวพิมพ์ใหญ่เล็กเพื่อให้ "Paris" กับ "paris" นับเป็นรายการเดียวกัน โดยจะเก็บการสะกดที่พบก่อน ส่วนบรรทัดว่างเลือกเก็บไว้เพื่อให้ย่อหน้ายังแยกจากกัน หรือลบออกทั้งหมดก็ได้

รายการที่ลบข้อมูลซ้ำแล้วมักต้องจัดเรียงต่อ เรียงบรรทัด เรียงตามตัวอักษร ตามลำดับธรรมชาติ หรือตามความยาวได้ หากรายการมาจาก PDF หรืออีเมลที่บรรทัดขาดเป็นช่วง ให้แก้ด้วยเครื่องมือข้อความอื่นก่อน เพราะรายการที่ถูกตัดแบ่งเป็นสองบรรทัดจะไม่ตรงกับรายการเดียวกันที่ไม่ถูกตัด