Удаление дубликатов строк

Как работает сравнение

Сохраняется первое вхождение каждой строки, поэтому исходный порядок текста остаётся неизменным.

Типичные сценарии использования

• Очистка CSV. Вставьте один столбец (имена, e-mail, SKU) и уберите повторы, прежде чем снова присоединить его к остальным столбцам.
• Списки URL. Сведите списки, собранные с сайтов, где одна и та же страница встречается много раз.
• Исследование ключевых слов. Объединение выгрузок ключевых слов из нескольких инструментов неизбежно создаёт дубликаты.
• Списки e-mail. Перед импортом в CRM уберите точные дубликаты, чтобы избежать ошибок “уже существует”.
• Разбор журналов. Убирайте повторяющиеся строки предупреждений, чтобы видеть уникальные проблемы.

Чего инструмент не делает

• Не работает по столбцам. CSV с email,name, где e-mail повторяется, а имя отличается, сохранит обе строки, потому что строки целиком разные. Чтобы убрать дубликаты по одному столбцу, сначала извлеките его, удалите повторы и используйте его как ключ для фильтрации исходного файла.
• Не защищает заголовки. Каждая строка рассматривается как данные, поэтому повторяющийся заголовок удаляется, как любая другая строка.
• Не сравнивает по сходству. Строки, отличающиеся опечаткой, внутренними пробелами или знаками препинания, не объединяются.

Советы

• Нормализуйте перед сравнением. Приведите к нижнему регистру и уберите окружающие знаки препинания, чтобы “Apple, “, “ apple “ и “Apple” считались одной записью.
• Сохраните копию исходного текста перед большими чистками.
• Проверяйте статистику. Если вы ожидали 10 процентов дубликатов, а удалено 80, с входными данными что-то не так.