Softonic

CSV 중복 데이터 제거 도구

단계 1 / 2
중복 행 제거

중복 데이터는 CSV 내보내기 과정에서 여러 방식으로 잠재적으로 유입될 수 있습니다. 예를 들어 웹홀을 통해 반복적으로 데이터가 전달되거나, 두 보고서를 수작업으로 연결하거나, 예상치 못한 방식으로 행들이 분산되는 조인 처리 등이 있습니다. 이 중복 제거 도구는 각 데이터 행을 해시 처리하여 처음 나타나는 행만을 유지함으로써 원래의 행 순서를 그대로 유지하면서 중복 항목은 자동으로 제거합니다. 헤더 행은 선택 사항이며, 파일이 데이터로 바로 시작되는 경우 해당 옵션을 활성화하면 됩니다.

중복 제거가 작동하는 방식

  1. 1

    CSV 파일을 붙여넣으세요

    헤더 행을 포함하거나 제외할지 선택하세요. 체크박스를 사용하여 도구에 해당 여부를 지정합니다.

  2. 2

    각 행을 해시 처리

    행들은 배열로 파싱되며, 그 JSON 표현의 MD5 값이 고유성 키로 사용됩니다.

  3. 3

    처음 등장한 행이 우선

    동일한 해시 값을 가진 첫 번째 행은 유지되며, 같은 내용을 가진 이후의 행들은 아무 알림 없이 건너뜁니다.

  4. 4

    헤더 보존

    헤더 모드가 활성화된 경우, 1번 행은 데이터와의 중복 제거 처리 없이 항상 그대로 전달됩니다.

중복으로 간주되는 항목은 무엇인가

이 중복 제거 도구는 행 전체의 일치 여부를 기준으로 합니다. 표준 CSV 파싱을 거친 뒤 모든 셀이 위치별로 일치하는 경우, 두 행은 중복으로 간주됩니다.

그래도 서로 다른 것으로 간주되는 경우

행 A 행 B 판정
Alice,30,Paris Alice, 30, Paris 다름(공백이 추가됨)
Bob,25 Bob,25, 다름(끝에 빈 셀이 있음)
"Jane Smith",42 Jane Smith,42 동일(따옴표는 파서 단계에서 처리됨)
TRUE,1 true,1 다름(대소문자를 구분함)

열 단위 중복 제거가 더 적절한 경우

행 전체 일치는 엄격한 방식입니다. 대개는 이것이 원하는 동작이지만, 때로는 “다른 열과 관계없이 이메일당 한 행만” 남기고 싶을 때가 있습니다. 이런 경우에는 먼저 CSV 열 추출기로 파일을 키 열만 남기도록 줄이고 그 열에서 중복을 제거한 뒤, 그 결과를 조회용으로 사용하세요. 또는 SQL을 사용할 수도 있습니다. PostgreSQL에서는 SELECT DISTINCT ON (email) * FROM users ORDER BY email, created_at DESC;를, 다른 데이터베이스에서는 MIN() 집계를 사용하는 GROUP BY를 활용할 수 있습니다.

실용적인 팁

  • 중복을 제거하기 전에 정규화하세요. 먼저 키 열의 공백을 제거하고 대소문자를 통일하세요. 그렇지 않으면 ALICE@EXAMPLE.COM와 alice@example.com가 모두 남게 됩니다.
  • 정렬한 뒤 중복을 제거하면 결과를 추적할 수 있습니다. 어떤 복사본이 남았는지 확인해야 한다면, 중복 제거 도구를 실행하기 전에 원하는 우선순위 기준(가장 최근 타임스탬프, 가장 낮은 ID 등)으로 CSV를 정렬해 두세요.
  • 행 수를 확인하세요. 원본 파일과 출력 파일 모두에서 CSV 행 카운터를 사용해 중복이 몇 개나 제거되었는지 확인하세요.

자주 묻는 질문

아니요, 파싱된 행 전체를 해시 처리합니다. 단일 열의 고유성이 필요하다면 먼저 CSV 열 추출기로 CSV를 해당 열만 남기도록 좁힌 뒤 중복 제거 도구를 실행하세요.

파일 내에서 처음 등장하는 항목입니다. 특정 항목(최신 레코드, 가장 낮은 ID 등)을 우선적으로 선택하려면 CSV 파일을 미리 정렬하세요.

네. 행들은 표준 CSV 규칙에 따라 분석되므로 "Jane, Smith"는 단일 셀로 유지되어 그대로 비교됩니다.

중복 제거 계산을 위해 CSV가 당사 서버로 전송됩니다. 저장되거나 공유되지 않으며, 페이지 링크에도 추가되지 않습니다.

관련 도구

MP4를 MP3로 변환

MP4 영상에서 오디오 트랙을 뽑아 MP3로 저장합니다. 어디서나 듣고 싶은 뮤직비디오, 팟캐스트, 강의, 음성 클립에 적합합니다.

EPUB을 PDF로 변환

EPUB 전자책을 인쇄, 주석, 공유가 쉬운 고정 페이지의 PDF 파일로 변환합니다. 챕터, 이미지, 목차를 유지합니다. 업로드하고 다운로드하세요.

중복 파일명 감지기

파일명 목록을 붙여 넣으면 두 번 이상 나타나는 이름과 개수를 볼 수 있으며, 대소문자를 구분하지 않는 일치 여부도 선택할 수 있습니다.

CSV 뷰어

CSV 파일을 열거나 CSV 텍스트를 붙여넣어 표로 확인하세요. 쉼표, 세미콜론, 탭 구분자와 인코딩을 자동으로 감지하고 검색과 정렬도 할 수 있습니다.

MOBI를 EPUB으로 변환

MOBI 전자책을 Apple Books, Kobo, Google Play Books 등 대부분의 최신 앱이 읽는 개방형 표준 EPUB으로 변환합니다. .mobi 파일을 업로드하고 깔끔한 .epub을 다운로드하세요.

로그 파일 파서

서버 및 애플리케이션 로그 파일을 복사하거나 업로드하세요. 날짜 범위, 로그 수준, IP 주소 또는 메시지에 따라 필터링하여 강조 표시된 구조화된 출력 결과를 얻으세요.

이 도구는 다른 언어로도 제공됩니다