AI 자동화로 혼자 사업 돌리다가 깨진 것들

AI 자동화 이야기는 대체로 매끄럽습니다. 뭘 붙였더니 시간이 줄었고, 매출이 늘었고, 혼자서도 굴러간다는 식이죠.

저도 그런 글을 쓸 수 있어요. 실제로 견적, 계약, 청구, 진행 보고가 자동으로 돕니다. 그런데 그 얘기만 하면 절반입니다.

많이 깨졌거든요. 오늘은 그쪽을 적을게요.

AI 자동화 사고 하나 — 조용히 죽어 있던 기능

관리자 채팅이 통째로 안 되던 적이 있습니다. 에러도 안 났어요. 그냥 아무 일도 안 일어났습니다.

원인은 소켓 인증에 쓰는 비밀키 폴백이었어요. 다른 모든 파일에는 그 폴백이 있는데 딱 한 파일에만 빠져 있었습니다.

이게 제일 안 보이는 버그예요. "전부 같은 패턴인데 딱 한 군데만 다르다." 눈으로 훑으면 다 똑같아 보이고, 검색해도 대부분 걸려서 정상처럼 보입니다. 없는 걸 찾아야 하는데, 없는 건 검색이 안 되니까요.

AI에게 코드를 맡기면 이런 게 늘어납니다. 대체로 일관되게 짜주는데, 가끔 한 군데를 놓쳐요. 그리고 99%가 일관되면 나머지 1%는 더 안 보입니다.

전환율을 말할 수 없던 기간

한동안 퍼널 숫자가 전부 0으로 찍혔습니다.

이벤트는 백엔드에 정의돼 있었어요. 그런데 프론트에서 발화를 안 하고 있었습니다. 정의는 있는데 부르는 사람이 없던 거예요.

그래서 저는 "전환율이 몇 퍼센트다"라고 말할 수 없는 기간을 보냈습니다. 최근에야 이벤트를 심고 봇 필터를 붙여서 고쳤어요.

이 얘기를 굳이 쓰는 이유가 있습니다. 자동화 글에 나오는 숫자들이 실제로 측정된 건지 확인하기 어렵기 때문입니다. 저는 제 숫자가 안 찍히던 기간을 알기 때문에, 남의 글에 나오는 깔끔한 전환율도 이제 한 번 더 봅니다.

소스에 없는 숫자

홈 화면에 오래된 완료 건수가 박혀 있었습니다. 실제 숫자와 달랐어요.

그런데 소스를 아무리 뒤져도 안 찾아졌습니다. 숫자와 단위를 쪼갠 조각으로 화면을 그리고 있었거든요. 텍스트 검색으로는 절대 안 잡히는 구조였습니다.

누가 "아직도 그 숫자로 써 있는데요?" 라고 알려주고 나서야 찾았어요.

그때 배웠습니다. 화면에 뜨는 글자는 소스 검색이 아니라 렌더 결과로 봐야 한다는 것을. 지금은 배포하고 나면 실제 페이지에서 문자열이 제대로 떴는지까지 확인하는 단계를 넣어놨습니다.

광고 7일, 세션 62, 의뢰 0

릴스 부스트 광고를 7일 돌렸습니다. 결과는 이랬어요.

• 세션 62
• 견적 폼을 시작한 사람 0
• 의뢰 0

돈 쓴 광고가 구경만 시키고 전환은 하나도 없었다는 뜻입니다.

기분은 나빴는데, 그걸 데이터로 인정할 수 있었던 건 계측을 고쳐놓은 다음이었어요. 그래서 다음 광고 소재를 갈아엎었습니다. 감이 아니라 숫자가 결정을 바꿨습니다.

계측이 없었으면 저는 "광고가 좀 애매하네" 하고 그냥 더 태웠을 거예요.

AI 자동화, 아직 안 끝난 것들

정직하게 남겨둘게요.

• 무상보수 기간이 파일마다 다릅니다. 30일, 1개월, 3개월로 갈려 있어요. 통일이 필요합니다.
• 결제 경로 하나는 고아 상태입니다. 핸들러는 있는데 버튼이 없어요.
• 정부지원 서류 자동생성은 PoC까지만 갔습니다. 반나절 만에 "된다"는 걸 증명했지만 출시는 아닙니다.

이런 걸 적어두는 이유는, AI 자동화가 어디까지 왔는지를 스스로도 헷갈리기 때문이에요. "만들었다"와 "돌아간다"와 "출시했다"는 전부 다릅니다. 이걸 구분해서 적어두지 않으면 나중에 자기가 자기한테 속아요.

그래도 1인 개발로 자동화에 간 이유

저는 같은 일을 두 번 하는 걸 못 견딥니다.

회사에서는 이게 문제였어요. 일의 순서를 정하는 데 서툴렀고, 계획을 세워도 손은 늘 재미있는 쪽으로 먼저 갔습니다. 그래서 마감을 놓쳤고, 그건 아주 짧은 문장으로 요약됐어요. 성실하지 않다.

지금은 그 성향이 사업의 엔진입니다.

"여기까지 했으니 진행률 업데이트해줘"를 매번 손으로 치기 싫어서, 아예 명령 하나로 굳혀놨어요. 경쟁사 분석도 한 번 하고 끝내는 대신 워크플로로 만들었습니다. 반복을 견디는 대신, 반복을 시스템 밖으로 밀어낸 거예요.

깨지는 건 여전합니다. 그런데 깨진 걸 찾는 일은 제가 잘하는 종류의 일이더라고요. 새로운 문제니까요.

반복은 못 견디는데 새 문제에는 몰입하는 뇌. 1인 개발로 AI 자동화를 굴리기엔 오히려 맞는 조합이었어요. 회사에서는 결함으로 적혔던 게, 여기서는 그냥 일하는 방식입니다.