웹크롤링 외주 비용은 어디서 갈리나

"전주 지역 인테리어 업체 목록이랑 연락처 좀 수집해주세요."

웹크롤링 외주 문의는 대개 이렇게 들어옵니다. 그리고 이런 요청은 몇만 원이 될 수도 있고 몇백만 원이 될 수도 있어요. 웹크롤링 외주 비용은 요청 문장만으로 정해지지 않습니다.

무엇이 금액을 가르는지 적어볼게요.

크롤링 비용 하나 — 어디서 가져오는가

같은 "업체 목록 크롤링"이라도 대상 사이트에 따라 난이도가 완전히 달라집니다.

• 정적인 페이지에 표로 정리돼 있으면 제일 쌉니다. HTML만 읽으면 되니까요.
• 자바스크립트로 그리는 화면이면 브라우저를 띄워야 해서 시간과 비용이 올라갑니다.
• 내부 API가 열려 있으면 오히려 다시 싸집니다. 화면을 긁는 게 아니라 데이터를 직접 받아오니까요.
• 로그인이 필요하거나 접근이 막혀 있으면 견적이 크게 뜁니다.

발주하실 때 "어느 사이트에서 가져올 건지"를 먼저 알려주시면 견적이 훨씬 빨리 나옵니다. 실제로 저는 문의가 오면 그것부터 물어봐요.

둘 — 대상 사이트가 크롤링을 얼마나 막고 있는가

수집을 어렵게 만들어둔 사이트가 있습니다. 요청 속도를 제한하거나, 구조를 자주 바꾸거나, 자동 접근을 걸러내는 식이죠.

방어가 강할수록 개발 시간보다 유지 시간이 늘어납니다. 한 번 만들어놓고 끝나는 게 아니라, 상대가 바꾸면 이쪽도 고쳐야 하니까요.

그래서 견적을 볼 때 "만드는 값"과 "유지하는 값"이 나뉘어 있는지 확인하세요. 한 덩어리로만 적혀 있으면 나중에 얘기가 달라질 여지가 큽니다.

여기서 하나 짚고 갈게요. 공개된 정보만 다루는 게 원칙입니다. 로그인을 우회하거나 이용약관이 금지한 걸 뚫는 작업은 저는 안 받습니다. 개인정보가 섞이는 건도 마찬가지고요. 이건 비용 문제가 아니라 받을 수 있는 일인지의 문제예요.

셋 — 크롤링할 데이터가 얼마나 되는가

건수가 늘어난다고 비용이 비례해서 늘지는 않습니다. 오히려 자릿수가 바뀔 때 계단식으로 올라가요.

규모	달라지는 것
수백 건	한 번 돌리고 끝. 개인 컴퓨터로 충분
수만 건	중간에 끊겨도 이어서 돌아가야 함. 실패 처리 필요
수십만 건 이상	서버가 필요하고, 그 비용이 별도로 붙음

제가 했던 작업 중에 문서 5,135건을 옮기는 건이 있었어요. 그중 294건이 실패했습니다. 성공률 94%인데, 남은 6%를 찾아 처리하는 데 걸린 시간이 앞의 94%보다 길었어요.

이게 크롤링 견적에서 제일 많이 빠지는 부분입니다. 잘 되는 건 빨리 되고, 안 되는 것들이 시간을 먹습니다.

넷 — 한 번인가 계속인가

이게 금액 차이를 제일 크게 만듭니다.

한 번만 받아보는 거라면 결과 파일만 드리면 끝입니다. 엑셀 하나 받고 종료예요.

매일이나 매주 갱신해야 한다면 얘기가 완전히 달라집니다. 돌려줄 서버가 필요하고, 실패하면 알려줄 장치가 필요하고, 사이트가 바뀌면 고쳐야 합니다. 이건 개발이 아니라 운영이에요.

견적 받으실 때 이것부터 정해서 알려주세요. "일단 한 번만"과 "계속 돌려주세요"는 다른 상품입니다.

웹크롤링 외주 견적 받기 전에 정리해둘 것

이 다섯 개만 적어서 보내시면 견적이 훨씬 정확하고 빨리 나옵니다.

• 대상 사이트 주소 (한 곳인지 여러 곳인지)
• 가져올 항목 (업체명, 전화번호, 주소 같은 식으로 구체적으로)
• 예상 건수 (대략이라도)
• 한 번인지, 주기적인지
• 결과 형태 (엑셀, CSV, 데이터베이스, API 중 무엇인지)

이걸 안 정하고 "그냥 다 긁어주세요"로 시작하면 범위가 계속 늘어납니다. 그러면 결국 양쪽 다 손해예요.

저는 이걸 정찰제로 바꿨습니다

예전에는 문의가 올 때마다 요구사항을 묻고, 애매한 답을 받고, 다시 묻고, 견적을 내고, "생각보다 비싸네요"를 듣고, 범위를 조정하는 절차를 반복했어요. 프로젝트가 시작되기도 전에 며칠이 녹았습니다.

그래서 지금은 데이터 수집도 가격을 공개해두고 씁니다. 기본형 기준 금액이 적혀 있고, 조건에 따라 어디서 올라가는지도 같이 적어놨어요.

가격표가 붙으면 흥정이 사라집니다. 고객은 "깎아주세요" 대신 "이 조건이면 얼마인가요"를 묻게 되고, 저는 밀고 당기기 대신 개발을 하게 돼요.

웹크롤링 외주 비용은 특히 이게 필요한 분야입니다. 같은 요청 문장에 견적이 열 배씩 차이 나니까, 받는 쪽은 늘 바가지의 공포를 안고 들어오거든요. 그 공포를 없애는 제일 확실한 방법이 숫자를 먼저 보여주는 거였습니다.