只要將每行一個值貼到 移除重複行,選擇各行比較的方式,並在瀏覽器本機處理清單,即可線上刪除重複行。此工具會依來源順序保留每個比較鍵值的第一次出現,並在您複製結果前顯示輸入、保留及移除的行數。嚴格比較會將大小寫、標點符號、Unicode 字元、定位空白及所有空格視為重要差異。選用控制項可忽略英文大小寫、邊緣空白或兩者,但這些設定只會變更比較鍵值:保留的行仍維持原始拼寫、大小寫及間距。輸入內容不得為空,且不得大於 1,000,000 個 UTF-16 程式碼單位;剛好達到上限可以接受,但超過 1 個程式碼單位時,會在分行前遭拒絕。由於分行、比較、計數及產生輸出均在本機執行,且文字不會由 Lizely 上傳或儲存,因此您可將此工具用於貼上的清單、識別碼欄、關鍵字集合、檔案名稱、SKU 匯出內容或日誌值,同時讓來源檔案保持不變。結果具決定性、不會排序,也不會選擇重複項目中較新、較長或較常出現的版本。

刪除前先選擇比較規則
移除重複行是一種比較操作,而非一般相似性搜尋。只有當兩行在您選定的設定下產生相同的比較鍵值時,才算重複行。這項區別很重要,因為大小寫、外部空格、標點符號及內部間距都可能影響兩個可見行是否相符。此工具一律保留每個鍵值最先遇到的那一行。
| 模式 | 決定相等條件的因素 | 輸出保留的內容 | 適用情境 |
|---|---|---|---|
| 嚴格 | 整行必須完全相符,包括大小寫、標點符號、Unicode 字元、定位空白,以及內部或邊緣間距。 | 第一個完全相符的行,保留其原始大小寫及空白字元。 | 大小寫或間距可能具有意義的資料。 |
| 忽略英文大小寫 | 比較鍵值會套用瀏覽器的 en-US 小寫轉換。 | 不會改寫第一次出現的拼寫及大小寫。 | 不應以大小寫區分值的普通英文清單。 |
| 忽略邊緣空白 | 比較鍵值開頭及結尾的空格或定位空白會被移除。內部間距仍然重要。 | 保留的行完全不變,包括其中包含的所有邊緣空白。 | 含有不必要外部間距的貼上值。 |
| 兩個選項 | 先修剪鍵值,再以 en-US 小寫形式轉換。 | 第一個相符行的原始文字維持完整。 | 大小寫及周圍空白皆有所差異的清單。 |
在嚴格比較下,Apple 與 apple 彼此不同;而以一個尾隨空格結尾的行,也與不含該空格的相同可見文字不同。「忽略邊緣空白」只會變更比較鍵值。如果第一次出現的內容前後都有空格,而後續出現的相同可見值不含這些空格,則仍會完全依照輸入內容保留有空格的第一個出現項目,並移除後續行。
「忽略英文大小寫」刻意僅限於英文。它不會執行重音符折疊、音譯、Unicode 正規化、模糊比對、詞幹提取或依語言特性排序。例如,德文的尖音符 s 不會自動視為兩個字母「ss」。請將此設定用於英文大小寫差異,而非一般語言等價規則。
四個步驟移除重複行
當您想移除重複項目,並精確控制哪些行視為相符時,請依循以下順序。
- 每行貼上一個值。 請確保輸入內容不得為空,且不得大於 1,000,000 個 UTF-16 程式碼單位。剛好達到上限可以接受;若超過上限 1 個程式碼單位,輸入內容會在工具分行或建立比較鍵值前遭拒絕。空白輸入也會遭拒絕,而不會被回報成一行結果。
- 選擇比較行為。 若要嚴格比對,請保持比較選項停用;若要忽略英文大小寫、忽略邊緣空白或兩者皆忽略,請啟用對應選項。兩者皆啟用時,會先修剪,再轉換為 en-US 小寫。請選擇能反映清單中大小寫及周圍間距是否具有意義的規則。
- 執行「移除重複項目」操作。 此工具會依來源順序處理各行,為每行建立比較鍵值,僅在該鍵值先前未曾出現時附加該行。它不會排序各值,也不會依長度、年份或頻率選擇偏好的重複項目。
- 核對計數並檢查保留的行。 請檢視回報的輸入、輸出及移除行數,再確認保留的行確為您想要的第一次出現項目。檢查完成後再複製結果。編輯輸入內容或任一比較選項,都會清除先前的結果,避免將過期輸出誤認為目前結果。
瞭解清理作業保留的內容
每一行都會取得一個比較鍵值,但輸出不會以正規化後的鍵值取代該行。例如,忽略大小寫可能讓不同大寫形式的行成為重複項目,同時讓保留行維持原始大小寫。「忽略邊緣空白」也是以相同方式運作:衍生的鍵值可能經過修剪,但保留的來源文字不會。只有保留行之間由工具產生的邊界會正規化為 LF。
此演算法會對來源內容進行一次具決定性的處理。它不會再次搜尋結果、合併僅相似的值、計算詞頻,或推斷哪一行是標題。它也不會判定重複項目中最新、最長或最常出現的版本較佳。來源順序決定勝出項目,因此請檢視第一次出現的內容是否確實值得保留。
這是一項純文字行工具,而非結構化資料解析器。它不會解讀 CSV 引號、JSON 陣列、程式碼語法或特定語系記錄。每一個貼上的行都會視為一個完整值。如果記錄橫跨數行或含有具意義的結構標點符號,請先準備成預期的每行一個值形式,再進行處理。
處理空白行與不同的行結尾符號
此工具可辨識 Windows CRLF、單獨的歸位符號及換行邊界。一組 CRLF 會算作一個邊界,而非兩個邊界。產生的輸出使用 LF 邊界,因為結果是 newly created 的純文字字串。因此,保留行的內容會維持原始文字,而輸出分隔符號則使用此工具正規化的行結尾格式。
空白行是有效值,而不會自動忽略。結尾的行邊界會在去重前建立最後一個空白行,並遵循與其他所有邊界相同的分行規則。在嚴格模式下,第一個空白行會保留,後續空白行則視為重複項目。啟用「忽略邊緣空白」後,僅含空白的行與空白行會產生相同的空白比較鍵值,因此只會保留最先出現者。
如果完成的清單不得包含空白或僅含空白的值,請在之後將結果送入 移除空白行。去重與移除空白行是兩項不同的工作,依此順序套用,可讓您控制原本可能保留下來的空白項目。
選擇適合清單的方法
「移除重複行」適合逐行導向的資料,例如複製的試算表欄位、電子郵件活動標籤、關鍵字清單、允許清單、檔案名稱、SKU 匯出內容及日誌值。如果重複項目是因合併複製來源而產生,且期望結果必須保留來源順序,此工具尤其適用。嚴格比較可保護完全一致的識別碼;當重複項目僅因英文大小寫或外部間距而產生時,正規化比較會更適合。
對於業務記錄,可見行可能不是最佳識別規則。兩筆記錄可能在同一行包含不同的值,而相同的穩定識別碼則可能出現在多行中。因此,依完整可見行去重,效果可能不如依穩定資料庫識別碼去重。在將結果套用至來源資料前,請確認每一行都代表一個值,且其第一次出現的項目正是您想保留的內容。
此工具不會修改原始檔案或資料庫、選擇最新記錄或推斷記錄結構。在核對輸出前,請讓原始輸入內容維持可用狀態。這種分離方式可讓您將保留清單與來源內容比較,並在遺失資料時加以復原,而不必重新建構。
取代來源前先核對保留清單
請將結果視為新建立的文字版本。簡短的最後檢查,可在您重新使用清理後的清單前,發現不合適的比較規則或意外的空白行政策。
- 檢查三項計數。 輸入行數應等於保留的輸出行數加上移除行數。
- 檢查受正規化影響的行。 使用任一選用比較設定時,請特別留意混合大小寫、前導或尾隨空格、定位空白及標點符號。
- 檢視空白行。 請決定保留一個空白或僅含空白的行是否可以接受,或在另一個步驟中移除空白值。
- 確認第一次出現的項目。 輸出遵循來源順序,而非依年份、長度或頻率選取記錄。
- 保留來源副本。 此瀏覽器工具不會變更原始檔案或資料庫,因此在核對完成前,輸入內容仍可作為您的復原依據。
如需深入瞭解,請參閱 如何在 Google Docs 中移除重複字詞。
如需深入瞭解,請參閱 如何在線上移除空白行而不修剪內容。