스크래핑 크롤링이랑 뭐가 다른지부터 정하고 맡긴다

스크래핑과 크롤링을 같이 붙여서 검색하는 경우가 많다.

받는 쪽에서 보면 둘은 다른 작업이고, 어느 쪽인지에 따라 견적이 갈린다

다음에서 스크래핑을 검색한 결과

둘을 나누는 기준은 "찾기"다

크롤링     링크를 따라다니며 대상을 찾아낸다
스크래핑    이미 아는 페이지에서 값을 뽑아낸다

주소를 알고 있으면 스크래핑이고, 주소부터 찾아야 하면 크롤링이 앞에 붙는다

실무에서는 둘이 붙어 다닌다. 목록 페이지를 돌아 상세 주소를 모으고(크롤링), 각 상세에서 항목을 뽑는다(스크래핑)

아래에 이런 걸 적었다
· 둘을 나누는 기준은 "찾기"다
· 어느 쪽이냐에 따라 견적이 다르다
· 의뢰할 때는 이렇게 말하면 된다
· 금액을 크게 바꾸는 건 따로 있다
· 같이 보면 좋은 글
필요한 데로 내려가면 됨

어느 쪽이냐에 따라 견적이 다르다

robots.txt 에 적힌 수집 허용 범위 - 실제 조회 결과

스크래핑만 하면 뽑을 항목 수가 작업량이다. 비교적 계산이 쉽다

크롤링이 붙으면 이게 붙는다.

• 어디까지 돌 것인가 — 페이지 끝을 어떻게 알 것인가
• 중복 제거 — 같은 대상이 여러 경로로 나온다
• 이어받기 — 중간에 끊기면 어디부터 다시 하나
• 속도 조절 — 너무 빨리 돌면 막힌다

"목록 좀 긁어주세요"가 크롤링인지 스크래핑인지부터 안 적혀 있는 경우가 많다. 요건을 어떻게 적으면 되는지는 따로 정리했다

의뢰할 때는 이렇게 말하면 된다

소스에 값이 있는지 확인한 실제 출력

용어를 정확히 쓸 필요는 없다. 대신 이 세 가지를 적으면 된다

① 시작 주소가 있는가      있으면 그대로 준다 · 없으면 어떻게 찾는지 설명한다
② 대상이 몇 개인가        목록에서 몇 건쯤 나오는지
③ 각 건에서 뭘 뽑는가      화면에서 보이는 항목 그대로

이러면 받는 쪽이 알아서 크롤링이 필요한지 스크래핑만으로 되는지 판단한다

용어를 맞추려다 오히려 틀리게 전달되는 경우가 있다. 화면 기준으로 말하는 게 정확하다

금액을 크게 바꾸는 건 따로 있다

용어보다 대상 사이트가 어떻게 생겼느냐가 금액을 더 바꾼다.

정적 HTML           제일 싸다
자바스크립트 렌더링    브라우저를 띄워야 한다
로그인 · 세션        계정 처리가 붙는다
차단 · 캡차          여기서 계단으로 올라간다

비용이 어디서 갈리는지는 따로 적어놨다

그리고 받는 형식도 미리 말해두는 게 좋다. csv로 받을 거면 인코딩까지 같이 정하면 왕복이 줄어든다

용어를 맞추는 것보다 화면을 보여주는 게 빠르다

정리하면

• 크롤링은 찾는 것, 스크래핑은 뽑는 것이다. 주소를 아느냐로 갈린다
• 실무에서는 둘이 붙어 다닌다. 목록을 돌고 상세를 뽑는다
• 크롤링이 붙으면 중복·이어받기·속도 조절이 따라온다
• 용어를 맞출 필요는 없다. 시작 주소·건수·뽑을 항목만 적으면 된다
• 금액은 대상 사이트 구조가 더 크게 바꾼다. 차단이 있으면 계단으로 오른다
• 받는 형식을 미리 정한다. 다 만들고 다시 만드는 걸 막는다

둘을 섞어 써도 일은 된다. 다만 어느 쪽인지 안 적혀 있으면 견적이 넓게 나온다

같이 보면 좋은 글

• 데이터 크롤링 한 번인지 매일인지가 금액을 가른다
• 크롤링 차단 여기서 견적이 계단으로 올라간다
• 웹크롤링 외주 맡길지 툴로 할지 먼저 정한다