사이트 개편 시 스크래핑이 깨지는 이유와 대응 체계
모니터링·신속 패치 프로세스 소개
1. 스크래핑은 사이트의 '현재 모습'을 기준으로 동작합니다.
스크래핑은 웹페이지에서 필요한 항목을 정해진 규칙에 따라 추출합니다. 어느 화면으로 이동해 어떤 위치의 값을 읽고, 그 값을 어떤 필드에 담을지가 규칙으로 정해져 있습니다. 이 규칙은 수집 대상 사이트의 현재 화면 구조와 접근 절차를 기준으로 만들어집니다.
문제는 웹사이트가 고정된 대상이 아니라는 점입니다. 기관과 기업은 디자인 개선, 보안 강화, 시스템 교체 등의 이유로 사이트를 수시로 개편합니다. 개편이 이루어지면 스크래핑 규칙이 전제로 삼던 구조가 달라지고, 그 결과 수집이 중단되거나 잘못된 값을 가져오게 됩니다.
따라서 사이트 개편에 따른 수집 실패는 피할 수 없는 운영 과제입니다. 중요한 것은 '깨지지 않는 스크래핑'이 아니라, 변경을 얼마나 빨리 감지하고 얼마나 빨리 정상화하느냐입니다. 이전 글에서 도입 전 확인할 항목으로 유지보수의 영속성을 꼽은 것도 이 때문입니다.

그림 1. 사이트 개편 전후 화면 구조 변화
2. 개편의 종류에 따라 스크래핑이 깨지는 방식이 다릅니다.
사이트 개편이라고 하면 화면 디자인이 바뀌는 것을 먼저 떠올리지만, 실제로 스크래핑에 영향을 주는 변경은 더 다양합니다. 어떤 변경인지에 따라 나타나는 증상과 대응 방법도 달라집니다.
화면 구조 변경은 가장 흔한 유형입니다. HTML 구조나 요소의 이름이 바뀌면 기존 규칙으로는 값을 찾지 못하거나 다른 위치의 값을 읽게 됩니다.
로그인·인증 방식 변경은 데이터 화면에 도달하기 전에 수집을 멈추게 합니다. 추가 인증 단계가 생기거나 세션 정책이 달라지는 경우가 여기에 해당합니다. 국내 금융·공공기관처럼 보안모듈을 사용하는 사이트는 보안 정책 갱신에 따른 변경도 자주 발생합니다.
내부 API 변경은 화면은 그대로인데 뒤에서 데이터를 불러오는 경로나 파라미터만 바뀌는 경우입니다. 겉모습이 동일해 개편 여부를 눈으로 확인하기 어렵습니다.
데이터 표기 변경은 날짜·금액 형식, 항목명, 페이지 단위가 바뀌는 경우입니다. 수집은 정상적으로 수행되지만 결과값이 틀릴 수 있습니다.
구분 | 주요 변경 내용 | 나타나는 증상 | 감지 난이도 |
화면 구조 변경 | HTML 구조, 요소 이름, 메뉴 위치 | 항목 누락 또는 잘못된 값 추출 | 보통 |
로그인·인증 방식 변경 | 인증 절차, 보안모듈, 세션 정책 | 로그인 단계에서 수집 중단 | 낮음 |
내부 API 변경 | 데이터 요청 경로, 파라미터 | 요청 오류, 응답 형식 불일치 | 보통 |
데이터 표기 변경 | 날짜·금액 형식, 항목명 | 수집은 성공하나 값이 틀림 | 높음 |
표 1. 사이트 개편 유형별 증상
3. 가장 위험한 장애는 '성공한 것처럼 보이는' 장애입니다.
로그인 실패나 접속 오류처럼 수집이 멈추는 장애는 오히려 대응하기 수월합니다. 실패 기록이 남기 때문에 문제가 있다는 사실을 바로 알 수 있습니다.
반면 데이터 표기 변경처럼 수집은 성공했지만 값이 틀린 경우는 실행 기록만으로는 확인할 수 없습니다. 예를 들어 금액 항목에 단위가 추가되거나 표의 열 순서가 바뀌면, 스크래퍼는 정상적으로 동작한 것처럼 보이면서 잘못된 값을 전달합니다.
이런 오류는 고객의 업무 시스템에 그대로 반영되기 때문에 수집 중단보다 파급력이 큽니다. 그래서 스크래핑 운영에서는 '수집이 수행되었는가'와 '수집된 값이 정확한가'를 별개로 확인해야 합니다.
4. 장애는 세 겹의 모니터링으로 먼저 감지합니다.
장애 대응의 출발점은 고객보다 먼저 문제를 아는 것입니다. 인포텍은 한 단계가 놓친 문제를 다음 단계가 잡을 수 있도록 세 겹의 모니터링을 운영합니다.
1. 실행 모니터링: 모든 수집 작업의 성공 여부, 응답 시간, 오류 유형을 기록합니다. 특정 기관의 실패율이 평소 수준을 넘으면 즉시 알림이 발생합니다. 로그인 실패, 접속 오류 등 수집이 중단되는 장애는 대부분 이 단계에서 감지됩니다.
2. 데이터 품질 검증: 수집에 성공한 결과값도 다시 검사합니다. 필수 항목 누락 여부, 날짜·금액 형식의 일치 여부, 건수와 값의 범위가 평소와 크게 다른지를 확인합니다. 3장에서 설명한 '성공한 것처럼 보이는' 장애는 이 단계에서 걸러집니다.
3. 사전 변경 감지: 주요 수집 대상 사이트는 3시간마다 화면 구조를 점검해 이전과 비교합니다. 실제 수집 실패가 발생하기 전에 변경 신호를 확인할 수 있습니다. 기관이 사전에 공지하는 개편·점검 일정도 함께 관리합니다.
감지된 문제는 내부알림을 통해 담당 엔지니어에게 즉시 전달되며, 영향받는 고객 수와 서비스 중요도에 따라 처리 우선순위가 정해집니다.

그림 2. 세 겹의 장애 모니터링 구조
5. 감지부터 복구까지 정해진 절차로 대응합니다.
장애가 감지되면 담당자와 관계없이 동일한 절차에 따라 대응합니다. 절차가 표준화되어 있어야 대응 시간이 일정하게 유지되고, 고객도 복구 일정을 예측할 수 있습니다.

그림 3. 감지부터 복구까지의 패치 프로세스
이 과정에서 두 가지 원칙을 지킵니다.
• 고객 공지는 수정 완료를 기다리지 않습니다. 원인과 영향 범위가 파악되면 예상 복구 시간과 함께 먼저 안내합니다.
• 검증을 거치지 않은 수정은 배포하지 않습니다. 급한 수정이 다른 항목에 영향을 주지 않도록 실제 환경과 같은 조건에서 결과값을 확인합니다.
배포 후에는 장애 기간에 누락된 데이터를 다시 수집해 데이터 공백을 채웁니다.
단계 | 주요 내용 | 목표 시간 |
자동 감지·알림 | 모니터링이 이상을 감지해 담당자에게 알림 | 5분 이내 |
원인·영향도 분류 | 변경 유형과 영향받는 고객 범위 판단 | 30분 이내 |
고객 공지 | 영향 범위와 예상 복구 시간 안내 | 1시간 이내 (감지 시점 기준) |
수정 | 변경된 화면·절차에 맞게 수집 규칙 수정 | 4시간 이내 |
검증 | 테스트 환경에서 결과값 확인 | 30분 이내 |
배포·누락 재수집 | 운영 반영, 장애 기간 데이터 보충 | 1시간 이내 |
표 2. 단계별 대응 내용과 목표 시간
목표 시간은 화면 구조 변경을 기준으로 한 것입니다. 로그인·인증 방식이 바뀌거나 보안모듈이 교체된 경우에는 분석과 수정에 시간이 더 걸릴 수 있으며, 이때는 예상 복구 일정을 별도로 안내합니다.
6. 같은 원인으로 다시 깨지지 않도록 구조를 개선합니다.
장애 대응은 복구로 끝나지 않습니다. 같은 유형의 변경이 다시 발생했을 때 영향을 줄이는 것이 장기적인 서비스 안정성을 결정합니다.
• 변경에 강한 추출 기준: 개편 때마다 바뀌기 쉬운 디자인 요소 대신, 항목명이나 표 구조처럼 상대적으로 안정적인 기준으로 값을 찾도록 규칙을 개선합니다.
• 회귀 테스트 추가: 장애가 발생한 지점을 테스트 항목으로 남겨, 유사한 변경이 생기면 배포 전에 확인되도록 합니다.
• 공통 모듈화: 여러 기관에 반복되는 인증·페이지 이동 처리는 엔진의 공통 기능으로 관리해, 한 번의 수정이 여러 대상에 함께 반영되도록 합니다.
• 사후 리뷰: 감지 시간, 복구 시간, 지연 원인을 기록하고 대응 절차에서 개선할 부분을 점검합니다.
7. 스크래핑 서비스의 장애 대응 체계 점검 체크리스트
✔ 수집 실패를 자동으로 감지하고 담당자에게 알리는 체계가 있는가?
✔ 수집에 성공한 결과값의 정확도를 별도로 검증하는가?
✔ 사이트 개편을 수집 실패 전에 미리 파악하는 방법이 있는가?
✔ 장애 발생 시 고객 공지 기준과 시점이 정해져 있는가?
✔ 단계별 목표 복구 시간이 정의되어 있는가?
✔ 장애 기간에 누락된 데이터를 재수집하는 기준이 있는가?
마치며
사이트 개편은 스크래핑을 운영하는 한 피할 수 없는 변수입니다.
서비스 품질을 가르는 것은 장애가 발생하지 않는 것이 아니라, 변경을 얼마나 빨리 감지하고 정확하게 복구하며 같은 장애를 반복하지 않느냐에 있습니다.
스크래핑 서비스를 도입하거나 점검할 때는 수집 가능 여부와 함께 위 체크리스트로 장애 대응 체계를 확인해 보시기 바랍니다.