CSV 중복 데이터 제거 도구
중복 데이터는 CSV 내보내기 과정에서 여러 방식으로 잠재적으로 유입될 수 있습니다. 예를 들어 웹홀을 통해 반복적으로 데이터가 전달되거나, 두 보고서를 수작업으로 연결하거나, 예상치 못한 방식으로 행들이 분산되는 조인 처리 등이 있습니다. 이 중복 제거 도구는 각 데이터 행을 해시 처리하여 처음 나타나는 행만을 유지함으로써 원래의 행 순서를 그대로 유지하면서 중복 항목은 자동으로 제거합니다. 헤더 행은 선택 사항이며, 파일이 데이터로 바로 시작되는 경우 해당 옵션을 활성화하면 됩니다.
중복 제거가 작동하는 방식
-
1
CSV 파일을 붙여넣으세요
헤더 행을 포함하거나 제외할지 선택하세요. 체크박스를 사용하여 도구에 해당 여부를 지정합니다.
-
2
각 행을 해시 처리
행들은 배열로 파싱되며, 그 JSON 표현의 MD5 값이 고유성 키로 사용됩니다.
-
3
처음 등장한 행이 우선
동일한 해시 값을 가진 첫 번째 행은 유지되며, 같은 내용을 가진 이후의 행들은 아무 알림 없이 건너뜁니다.
-
4
헤더 보존
헤더 모드가 활성화된 경우, 1번 행은 데이터와의 중복 제거 처리 없이 항상 그대로 전달됩니다.
중복으로 간주되는 항목은 무엇인가
이 중복 제거 도구는 행 전체의 일치 여부를 기준으로 합니다. 표준 CSV 파싱을 거친 뒤 모든 셀이 위치별로 일치하는 경우, 두 행은 중복으로 간주됩니다.
그래도 서로 다른 것으로 간주되는 경우
| 행 A | 행 B | 판정 |
|---|---|---|
Alice,30,Paris |
Alice, 30, Paris |
다름(공백이 추가됨) |
Bob,25 |
Bob,25, |
다름(끝에 빈 셀이 있음) |
"Jane Smith",42 |
Jane Smith,42 |
동일(따옴표는 파서 단계에서 처리됨) |
TRUE,1 |
true,1 |
다름(대소문자를 구분함) |
열 단위 중복 제거가 더 적절한 경우
행 전체 일치는 엄격한 방식입니다. 대개는 이것이 원하는 동작이지만, 때로는 “다른 열과 관계없이 이메일당 한 행만” 남기고 싶을 때가 있습니다. 이런 경우에는 먼저 CSV 열 추출기로 파일을 키 열만 남기도록 줄이고 그 열에서 중복을 제거한 뒤, 그 결과를 조회용으로 사용하세요. 또는 SQL을 사용할 수도 있습니다. PostgreSQL에서는 SELECT DISTINCT ON (email) * FROM users ORDER BY email, created_at DESC;를, 다른 데이터베이스에서는 MIN() 집계를 사용하는 GROUP BY를 활용할 수 있습니다.
실용적인 팁
- 중복을 제거하기 전에 정규화하세요. 먼저 키 열의 공백을 제거하고 대소문자를 통일하세요. 그렇지 않으면
ALICE@EXAMPLE.COM와alice@example.com가 모두 남게 됩니다. - 정렬한 뒤 중복을 제거하면 결과를 추적할 수 있습니다. 어떤 복사본이 남았는지 확인해야 한다면, 중복 제거 도구를 실행하기 전에 원하는 우선순위 기준(가장 최근 타임스탬프, 가장 낮은 ID 등)으로 CSV를 정렬해 두세요.
- 행 수를 확인하세요. 원본 파일과 출력 파일 모두에서 CSV 행 카운터를 사용해 중복이 몇 개나 제거되었는지 확인하세요.
자주 묻는 질문
아니요, 파싱된 행 전체를 해시 처리합니다. 단일 열의 고유성이 필요하다면 먼저 CSV 열 추출기로 CSV를 해당 열만 남기도록 좁힌 뒤 중복 제거 도구를 실행하세요.
파일 내에서 처음 등장하는 항목입니다. 특정 항목(최신 레코드, 가장 낮은 ID 등)을 우선적으로 선택하려면 CSV 파일을 미리 정렬하세요.
네. 행들은 표준 CSV 규칙에 따라 분석되므로 "Jane, Smith"는 단일 셀로 유지되어 그대로 비교됩니다.
중복 제거 계산을 위해 CSV가 당사 서버로 전송됩니다. 저장되거나 공유되지 않으며, 페이지 링크에도 추가되지 않습니다.
관련 도구
자막 파일 변환기
SRT와 WebVTT 자막을 브라우저에서 변환하고 큐 시간을 검사하며 여러 줄 텍스트를 유지한 채 복사하거나 내려받으세요.
Word Markdown 변환기
Word DOCX 파일을 브라우저에서 깔끔한 Markdown으로 변환하세요. 제목, 목록, 링크, 간단한 표를 유지하고 편집 가능한 .md 파일을 복사하거나 다운로드할 수 있습니다.
Excel 시트 병합
XLSX, XLS, XLSM, XLSB, ODS 파일을 기기에서 병합하세요. 원본 시트를 따로 유지하거나 헤더가 일치하는 행을 추가한 뒤 XLSX를 내려받을 수 있습니다.
Excel 시트 분할기
브라우저에서 XLSX 또는 XLS 통합 문서를 워크시트 탭, 데이터 행 묶음 또는 열 값으로 분할하세요. 파일을 업로드하지 않고 XLSX 하나 또는 로컬 ZIP을 다운로드할 수 있습니다.
압축 파일 추출기
ZIP, JAR, XPI, DOCX, XLSX, PPTX, ODT 파일을 브라우저에서 바로 확인하고, 원본 압축 파일을 업로드하지 않은 채 내부 파일을 하나씩 내려받으세요.
M4A를 MP3로 변환기
M4A 오디오를 MP3로 변환해 더 넓은 재생 호환성을 확보하세요. .m4a 파일을 업로드하고 호환되는 .mp3 사본을 내려받으세요.