移除重複行的替代方案，應依資料特性選擇方法：記錄使用試算表指令，小型檔案使用編輯器，可重複執行的工作使用指令碼，貼上的行列表則使用本機瀏覽器工具。 對於一次性清理，本機瀏覽器工具可以保留每個相符行的第一次出現、報告輸入、輸出及移除的數量，並產生新的純文字，而不變更來源。
這個關鍵字可能代表不同的應用程式、不同的工作流程，或是一種避免手動刪除重複項目的方法。重要的選擇並非哪一種方法的功能最齊全，而是每種方法如何判定重複、保留哪一次出現、是否維持順序，以及是否會編輯原始資料。
對於純文字列表、複製的欄位及日誌摘錄，比較規則比速度更重要。兩行內容可能在畫面上看似相同，卻因尾端空格、定位鍵、大小寫、標點符號或其他字元而有所不同。安全的替代方案會在結果取代任何重要內容之前，先揭露這些差異。
依工作內容選擇替代方案
當記錄已依列與欄排列，且你需要找出代表唯一鍵的欄位時，請使用試算表指令。若要進行小規模手動清理，請使用編輯器指令；若工作流程可重複執行，則使用自訂指令碼。對於短篇且以行為主的貼上內容，瀏覽器工具可提供明確的比較選項，且無須撰寫程式碼。
| 替代方案 | 最適用的情境 | 需要驗證的內容 |
|---|---|---|
| 本機瀏覽器工具 | 一次性貼上的列表、日誌摘錄、識別碼欄位、關鍵字集合或其他以行為主的文字 | 僅限純文字行；依明確的大小寫及邊緣空白規則保留第一次出現 |
| 試算表指令 | 已依列與欄整理的記錄 | 選擇識別欄位，並確認應用程式會保留哪一筆記錄 |
| 文字編輯器指令 | 小型檔案及在編輯器內進行手動清理 | 確認指令套用於整行或選取範圍，並先另存副本 |
| 自訂指令碼 | 可重複執行的工作或大型結構化工作流程 | 定義比較方式、保留的記錄、順序、空白行處理方式及輸出格式 |
這些做法並不能互相替換。試算表工具處理的是記錄或儲存格；下文所述的瀏覽器工具處理的是逐行文字。編輯器與指令碼的行為也取決於所選指令，因此在採用結果前，請確認比較的內容，以及哪一次出現會保留。
如需應用程式專屬的步驟，請參閱如何在 Excel 工作表中移除重複行及如何在 Notepad++ 中移除重複行。
從貼上的文字中移除重複行
若只需貼上並處理一次，本機瀏覽器工作流程很簡單：
- 每行貼上一個值。 請使用列表、日誌摘錄、識別碼欄位、關鍵字集合或其他以行為主的文字。系統可辨識 Windows CRLF、傳統 CR 及 LF 作為行界限，而一組 CRLF 會算作一個界限。空白行是有效值，並依所選的比較規則處理。
- 選擇相等規則。 嚴格比較會逐字使用每一整行。「忽略英文字母大小寫」使用瀏覽器英文語系的小寫鍵進行比較。「忽略邊緣空白」會從比較鍵中移除開頭及結尾的空白。如果兩個選項都需要使用，會先去除空白，再轉為小寫。
- 處理並複製保留的第一次出現。 使用移除重複行時，每一行都會產生一個比較鍵，而Set會記錄已看過的鍵。只有第一次出現的未見行會附加至結果。結果會顯示輸入、輸出及移除的行數，以及保留行的確切內容，可直接複製。
- 取代前先驗證結果。 請閱讀各項數量、檢查保留的行，並查看大小寫變體、周圍空格、空白行及預期順序等敏感範例。編輯文字或任一選項後，先前的結果都會清除，避免將過時輸出與目前設定混淆。
- 檢視後再複製至目的地。 此工具會產生新的純文字結果；不會修改來源檔案、資料庫或貼上的原文。
使用正確的比較規則比對重複項目
應依資料的意義選擇規則，而不是依重複項目在畫面上的樣貌。下列四種組合只會變更用來判斷相等的鍵，皆不會改寫第一次保留的行。
| 設定 | 比較鍵 | 保留的輸出 | 重要差異 |
|---|---|---|---|
| 嚴格 | 逐字比對整行 | 第一次完全相符的行會原樣保留 | 大小寫、開頭及結尾空格、定位鍵、標點符號、Unicode 字元及內部空格都會影響比對 |
| 忽略英文字母大小寫 | 以英文語系轉為小寫的行 | 第一次相符的行會保留原始大小寫與拼字 | 這不是重音摺疊、轉寫、Unicode 正規化、模糊比對、詞幹提取或依語言排序 |
| 忽略邊緣空白 | 從鍵中移除開頭及結尾空白後的行 | 保留行本身不會去除空白 | 內部空格及定位鍵仍會影響比對 |
| 兩個選項 | 先去除邊緣空白，再以英文語系轉為小寫 | 第一次相符的行會完全依輸入內容保留 | 當周圍空白及英文字母大小寫都有差異時，請使用此選項 |
在嚴格比較下，Apple 與 apple 視為不同，而尾端空格也會使一行與相同但不含該空格的文字不同。使用邊緣去除時，帶空格的第一次出現與未帶空格的後續出現會共用同一個鍵，因此會保留帶空格的第一次出現，並移除後續行。去除選項只會影響鍵，不會改寫保留的文字。
不區分大小寫的配對也會保留第一次出現的原始拼字與大小寫。德文尖音 s 不會自動視為兩個字母 ss，而標點符號、空白及 Unicode 字元仍會參與比較。
妥善控制空白行、順序及行結尾符號
來源順序會保留，輸出絕不會排序。每個鍵都會保留第一次出現；此工具不會選擇最新、最長、最常出現或其他偏好的重複項目。
空白行是有效的。在嚴格模式下，第一個空白行會保留，之後的空白行則視為重複項目。使用邊緣去除時，僅含空白的行與空白行會共用同一個鍵，因此先出現者會保留。如果最終結果不應包含空白值，請在此步驟後使用移除空白行。
輸入界限可辨識 CRLF、單獨的 CR 及 LF，其中 CRLF 會視為一個界限。由於結果是重新產生的純文字字串，輸出界限會正規化為 LF。尾端界限在去重前會產生最後一個空白行，並遵循與其他界限相同的分割規則。保留行的文字維持不變；只有產生的分隔符號會使用 LF。
何時適合使用指令碼或結構化資料工具
此瀏覽器工具刻意僅限於以行為主的文字。它無法剖析 CSV 引號、JSON 陣列、程式碼語法或特定語系的記錄，也不會推斷標題、合併相似值、計算詞頻率，或再次搜尋輸出內容。如果複製的欄位含有結構化分隔符號或引號欄位，通常以瞭解試算表的工作流程更合適。
對於業務記錄，可見的行可能比穩定的資料庫識別碼更不適合作為身分識別。如果需要依日期、狀態、記錄長度或其他欄位來選取重複項目，請使用能夠表達該規則的查詢、指令碼或應用程式工作流程。此工具只能依所選的比較鍵保留第一次出現。
檢查限制並保護來源
本機瀏覽器工作流程最多接受 1,000,000 個 UTF-16 程式碼單位的非空輸入。剛好達到上限的輸入會被接受；若多出 1 個程式碼單元，則會在分割文字或配置比較鍵之前遭拒絕。空白輸入會被拒絕，而不會以容易造成誤解的單行結果回報。分割、鍵比較、計數及輸出產生作業皆在本機瀏覽器中執行，Lizely 不會上傳或儲存任何文字。
由於瀏覽器工具只會準備文字，而不會變更原始內容，因此請保留來源，直到檢查完結果為止。請依下列順序操作：
- 選擇符合資料的比較規則，而不是只依視覺外觀選擇。
- 確認第一次出現正是你想保留的那一次。
- 檢查輸入、輸出及移除的數量，並查看保留行的確切內容。
- 抽查大小寫、邊緣空格、定位鍵、空白值及來源順序。
- 只有通過上述檢查後，才取代下游資料。
如果需求是 API、最新記錄規則、模糊比對或結構化檔案剖析，請使用專為此目的設計的解決方案，不要強迫純文字行去重套用不符的模型。