개발자 그런데 ADHD를 곁들인 개발자 그런데 ADHD를 곁들인

솔직히 말하면 크롤링 외주는 겉보기엔 단순해 보여요. "이 사이트에서 이 데이터 긁어주세요"가 끝인 것 같잖아요. 근데 실제로 프로젝트를 몇 번 돌려보면, 진짜 문제는 그 뒤에 터지더라고요. 오늘은 제가 직접 겪으면서 배운 것들 위주로 정리해볼게요. 수집할 데이터의 범위, 생각보다 애매합니다 외주를 맡길 때 "상품 정보 크롤링해주세요"라고만 하면 거의 100% 서로 다른 그림을 그리고 있어요. 상품명이랑 가격만 필요한 건지, 리뷰 텍스트까지 포함인지, 이미지 URL도 뽑아야 하는지. 이걸 처음에 확실히 안 잡으면 중간에 범위가 슬금슬금 늘어나거든요. 그래서 https://freesi.net/template/outsourcing-request를 미리 작성해두면 나중에 "이건 추가 작업이에요"라는 말이 ..