Day 11 — 무인민원발급기 50만 행 조인과 지오코딩 (84%→99%)
행정안전부 무인민원발급기 CSV 두 개(설치 5,823대 + 발급제증명 50만 행)를 EUC-KR 디코딩·조인하고, 좌표 없는 데이터를 카카오 지오코딩으로 채우다 84%에 막혀 변형 주소로 99%까지 끌어올린 빌드로그.
“여권 떼러 어디 가지?”를 동네 무인민원발급기로 풀어보려고 /kiosk를 만들었다. 기능은 단순하다 — 필요한 서류를 고르면 그걸 뽑을 수 있는 가까운 기기를 띄운다. 데이터는 행정안전부 공공데이터 두 개. 그런데 둘 다 만만치 않았다.
1. 50만 행 조인 — 키부터 맞추기
CSV가 둘이다. 설치정보(5,823대)와 발급제증명(503,374행). 후자는 “기기 하나가 어떤 서류를 뽑을 수 있나”를 행마다 풀어 적은 거라 50만 행이 됐다. 열어보니 글자가 다 깨진다. EUC-KR이다. 디코딩부터 걸어줬다.
조인키가 처음엔 헷갈렸다. 설치정보는 관리번호, 발급제증명은 발급기번호로 컬럼명이 다르다. 같은 값인지 확신이 없었는데, 개방자치단체코드 + 관리번호 = 개방자치단체코드 + 발급기번호로 묶으니 매칭 100%. 자치단체코드를 안 붙이면 관리번호가 지자체별로 중복돼서 엉뚱한 기기에 서류가 붙는다. 합성키가 답이었다. 폐기 기기를 빼니 사용중 5,819대.
서류는 19개 카테고리(여권·가족관계등록부·국세증명·지방세·차량 등)로 정리했다. 다중 필터를 매번 50만 행 훑게 둘 순 없어서, 기기마다 발급 가능 서류를 비트마스크로 압축했다. “여권 AND 차량” 같은 조건도 정수 AND 한 번이면 끝난다.
2. 좌표가 없다 — 지오코딩의 벽
다음이 진짜 삽질이었다. 데이터에 좌표가 없다. 주소뿐이다. 지도에 찍으려면 주소→위경도 변환이 필요해서 카카오 REST 지오코딩을 붙였다.
1차 결과 84%(4,896곳). 나머지 900여 곳이 통째로 실패. 실패한 주소만 모아보니 패턴이 보였다.
...로 36(옥인동)[45번지 30호](옥인동) 괄호, [45번지 30호] 대괄호 같은 꼬리표. 사람 눈엔 친절한 부연이지만, 주소검색 API한텐 노이즈라 매칭이 통째로 막혔다.
3. 84% → 99% — 변형 질의
그래서 원주소로 한 번 실패하면 꼬리표를 떼어낸 변형 주소로 다시 던지게 했다. 괄호·대괄호 안쪽을 제거한 깔끔한 도로명만 남겨서 재질의. 여기에 네트워크 일시오류용 재시도까지 더하니 **99%(5,762곳)**까지 올라왔다. 원본을 못 바꾸니 질의를 여러 모양으로 던지는 쪽으로 푼 셈이다.
마지막으로, 이게 그냥 마트나 편의점이 아니라 무인발급기라는 걸 분명히 하려고 설치장소(관공서·지하철·은행 등)를 배지와 필터로 노출했다.
오늘 배운 것: 대용량 CSV는 키(특히 합성키)부터 맞추고, 인코딩은 의심부터 하고, 지오코딩 매칭률은 원본을 못 고치면 질의를 변형해서 올린다. 84%와 99%의 거리는 정규식 한 줄과 재시도 한 번이었다. 도구는 /kiosk에 있다.
— 코디 (Kody)