데이터 수집 프로그램 외주 견적이 안 나오는 의뢰

데이터 수집 프로그램 외주를 맡길 때, 견적이 안 나오는 의뢰가 있다.

받는 쪽에서 보면 답을 못 하는 게 아니라 답의 범위가 너무 넓다

다음에서 데이터 수집 프로그램 외주 개발을 검색한 결과

"업체 목록 좀 긁어주세요"로는 견적이 안 나온다

제일 많이 받는 형태가 이거다. 그리고 이 문장만으로는 하루짜리일 수도 있고 3주짜리일 수도 있다

같은 문장의 의뢰가 조건에 따라 전혀 다른 작업이 되는 구조

같은 "목록 수집"인데 금액이 갈리는 지점은 따로 정리해둔 적이 있다. 거기서는 비용이 왜 다른지를 썼고, 이 글은 그 정보를 어떻게 주면 되는지다

이 여섯 개면 견적이 나온다

데이터 수집 외주 견적에 필요한 여섯 가지 정보

① 대상 사이트 주소

제일 중요하다. 이거 하나로 난이도가 거의 정해진다

설명 말고 URL을 그대로 준다. "공공기관 사이트요"로는 아무것도 판단할 수 없다

② 가져올 항목

화면에서 보이는 그대로 적는다. 상호 / 주소 / 전화번호 / 업종 이런 식으로

항목이 상세 페이지에 있으면 목록만 볼 때보다 요청 수가 건수만큼 늘어난다. 목록 1페이지에 20개면 21번을 도는 것과 1번 도는 것의 차이다

③ 몇 건인가

건수는 비례해서 오르지 않고 자릿수가 바뀔 때 계단식으로 오른다

수백 건       한 번에 받아도 된다
수만 건       중간 저장 · 재시도 · 이어받기가 붙는다
수십만 건 이상  분산 · 속도 제한 관리가 따로 일이 된다

④ 한 번인가 계속인가

한 번이면 스크립트 하나로 끝난다. 매일 돌아야 하면 실행 환경·실패 알림·중복 제거가 붙는다

여기서 견적이 제일 많이 벌어진다. 발주하는 쪽은 같은 일로 보는데 받는 쪽에서는 다른 물건이다

⑤ 로그인이 필요한가

로그인 뒤 데이터면 계정을 누가 주는지까지 같이 정해야 한다

계정 없이 개발할 수는 없고, 남의 계정으로 대신 접속하는 건 약관 문제가 따로 생긴다

⑥ 결과물을 어떤 형식으로 받을 건가

csv인지 엑셀인지 DB에 바로 넣을 건지. 이걸 안 정하면 다 만들고 나서 다시 만든다

파일로 받을 거면 인코딩까지 같이 말해두는 게 좋다. 열었을 때 깨지면 그때부터 또 왕복이다

금액을 진짜로 바꾸는 건 ②번이 아니라 ①번이다

항목을 몇 개 더 가져오는 건 대체로 큰 차이가 아니다. 어디서 가져오느냐가 차이를 만든다

대상 사이트의 구조와 방어 수준에 따른 작업 난이도

정적 HTML          제일 싸다. 주소만 있으면 된다
자바스크립트 렌더링   브라우저를 띄워야 한다. 느려지고 서버가 든다
로그인 · 세션       계정 · 만료 처리가 붙는다
차단 · 캡차         여기서 금액이 계단으로 올라간다

차단이 걸려 있으면 그게 작업의 대부분이 된다. 데이터를 옮기는 건 금방인데 못 들어가서 시간을 쓴다

그래서 URL을 먼저 달라고 하는 것이다. 열어보면 대략 어느 칸인지 보인다

안 정하고 시작하면 생기는 일

요건이 비어 있으면 견적은 나온다. 다만 넓게 나온다

요건이 있을 때    금액이 좁게 나온다 · 일정이 붙는다
요건이 없을 때    범위를 크게 잡는다 · 착수 뒤에 조정이 생긴다

받는 쪽은 모르는 위험을 금액에 넣어둘 수밖에 없다. 정보를 주는 게 금액을 낮춘다

그리고 착수 뒤에 조건이 바뀌면 그때부터는 추가 협의다. 그 얘기를 미리 문서로 해두는 편이 서로 편하다. 계약서에 넣을 항목은 따로 적어놨다

그대로 복사해서 보내면 되는 양식

데이터 수집 외주를 요청할 때 그대로 쓸 수 있는 항목 목록

대상 사이트   (URL 그대로)
가져올 항목   상호 / 주소 / 전화번호 ...
예상 건수     약 ○○건
주기         1회 · 매일 · 매주 중
로그인       필요 여부 / 계정 제공 가능 여부
결과 형식     csv · 엑셀 · DB · API 중
쓰는 목적     (있으면 적는다)

마지막 줄을 왜 넣냐면, 목적을 알면 더 싼 방법이 보일 때가 있다

공개 API가 이미 있는데 화면을 긁으려는 경우가 실제로 있었다. 그건 굳이 만들 필요가 없는 일이다

견적을 잘 받는 방법은 값을 깎는 게 아니라 범위를 좁혀주는 것이다

정리하면

• "목록 좀 긁어주세요"로는 견적이 안 나온다. 하루짜리와 3주짜리가 같은 문장이다
• URL을 그대로 준다. 설명 말고 주소. 이게 난이도의 대부분을 정한다
• 건수는 계단식이다. 수백과 수만은 다른 물건이다
• 1회인지 반복인지 먼저 정한다. 여기서 금액이 제일 많이 갈린다
• 결과 형식을 미리 말한다. 다 만들고 다시 만드는 걸 막는다
• 목적을 적으면 더 싼 길이 나올 수 있다. 이미 API가 있는 경우가 있다

정보를 아껴서 견적을 받으면 금액에 모르는 몫이 얹혀서 돌아온다