기획이 정책에 가로막혔다면, 여러분은 어떻게 하시겠습니까?

안녕하세요. 달팁(DalTip) 입니다.

개발자나 서비스 기획자라면 누구나 한 번쯤 겪는 딜레마가 있습니다.
"내가 밤새워 구현한 기능이, 외부 연동 플랫폼의 정책과 충돌한다면 어떻게 해야 할까요?"

※ 본 포스팅에 사용된 삽화 이미지들은 독자의 이해를 돕기 위해 생성형 AI로 제작되었습니다.

▲ 다 잘 될거야!

달팁은 사용자에게 더욱 풍성한 읽을거리를 제공하기 위해 'AI 뉴스 브리핑'이라는 자동화 섹션을 기획했었습니다. 🔗 바로가기
매일 아침저녁으로 봇(Bot)이 최신 이슈를 수집하고, AI가 핵심만 요약해 주는 기능이었죠.

하지만, 달팁이 간과한 건 그동안 업무 시스템 개발을 주로 해왔기 때문에 이렇게 오픈된 상용 서비스의 설계는 다소 모자람이 있었다는 점입니다.

처음엔 대중적인 방법으로 언론사 뉴스 정보를 크롤링했습니다.
하지만 이내 저작권 문제가 있음을 인지하였고(달팁은 저작권 보호를 중시합니다), 이를 피하기 위해 깊은 고민 후 합법적인 '공공데이터포털(korea.kr)'의 오픈 API 연동으로 우회하여 추가 신규 개발을 하였습니다.

하지만, 서비스 오픈 후 저는 이 기능을 곧 '전면 중단' 해야만 했습니다.
오늘은 기획의 실패를 인정하고, 검색엔진과 타협하며 끝끝내 서비스를 살려낸 생생한 '아키텍처 타협기'를 공유해 볼까 합니다.

▲ 이 기획은 나름 좋았...

📌 1. 기획의 암초: 구글 봇(Bot)은 스크래핑을 혐오한다

저작권 문제도 클리어했고 배치 로직도 문제 없었으나, 진짜 문제는 'SEO(검색엔진 최적화)와 애드센스 정책'에 있었습니다.

▲ 이번엔 될까...? (치열한 애드고시 현장)

📌 2. 딜레마: 검색이 안 되는 콘텐츠가 의미가 있을까?

가장 안전한 방법은 힘들게 구현한 해당 서비스를 모두 삭제하는 것이었습니다.
하지만 개발자로서 너무나 아까웠기에 여기서 깊은 딜레마에 빠졌습니다.

"검색엔진을 통한 외부 유입이 불가능하다면, 이 기능은 쓸모가 없는 걸까?"

▲ 트래픽인가, UX(사용자 경험)인가

며칠간의 저울질 끝에, 저는 서비스의 목적을 180도 바꾸기로 결심했습니다.
신규 트래픽을 끌어오는 '마케팅 도구'로서의 욕심을 버리고, 오직 달팁을 찾아와 주시는 '기존 방문자들의 경험(UX)'을 위한 인프라로 타협한 것입니다.

매번 멈춰있는 화면이 아니라, 유저가 방문할 때마다 최신 뉴스로 렌더링되며 살아 숨 쉬는 사이트를 보여주고 싶었습니다.
또한 누군가는 우연히 달팁에 방문하였다가 오늘 접하지 못한 뉴스를 접할 수도 있지 않을까?
그렇다면, 이 콘텐츠의 '트래픽'은 포기하되 UX를 높이자는 결론에 도달했습니다.

💡 3. 기술적 해결책: 로봇의 색인 제외 메타 태그

목표가 정해졌으니 기술을 적용할 차례입니다. (사실 딱히 기술이라고 할 것도 없습니다.)
검색엔진의 페널티를 피하면서 서비스는 정상적으로 오픈하기 위해, HTML 태그 한 줄을 해당 뉴스 게시판 헤더에 심었습니다.

"이 페이지는 우리 사이트 내부 방문자들만 볼 거니까, 검색 결과에 수집(Index)하지 마세요!"
결과적으로 검색엔진의 수집 정책을 회피하면서, 기획한 서비스는 오픈할 수 있었습니다.

구글 봇과 싸우느라 방전된 멘탈 급속 충전(당+카페인) 필수템

※ 이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.

🏁 마치며: 때로는 비워내야 채워집니다

개발을 하다 보면 내가 짠 로직에 매몰되어 '기능 자체'를 살리는 데 급급할 때가 많습니다.
하지만 결국 서비스의 종착지는 '사용자'입니다.
검색 수집(SEO)을 포기하더라도 우연히 방문한 유저가 이 섹션을 통해 유용한 뉴스를 얻어갈 수 있다면, 그것만으로도 이 코드는 충분히 존재 가치가 있습니다.

기획이 틀어졌다고 코드를 버리지 마세요.
관점을 바꾸면 새로운 해답이 보입니다.

이상, 달팁이었습니다.

🚀 본문 내용의 이미지 일부나 유튜브 영상은 쇼츠빌더를 통해 제작되었습니다.