퇴사하고 AI로 회사를 만드는 중이고, 그 과정을 작업일지 사이트(laborverified.com)에 공개로 쌓고 있다. 30일 동안 글 21편을 올렸다. 사이트맵에 올라간 30개 주소를 오늘 전수로 조회해 봤더니 색인된 건 2개였다.
절반은 들어갈 줄 알았다
30일 동안 한 일은 이렇다. 사이트를 다시 세우고, 글 21편을 발행하고, 사이트맵과 robots.txt를 넣고, 구조화 데이터와 OG 카드를 붙이고, 글을 연재 6개로 묶었다. 체크리스트에 적힌 건 다 했다는 뜻이다.
그래서 색인이 덜 됐다면 절반쯤 되어 있고, 원인은 글 품질이나 중복 판정일 거라고 생각했다. 얇은 글이 몇 개 걸렸겠거니 했다.
나온 숫자
서치콘솔 URL Inspection API로 사이트맵의 30개를 전부 돌렸다. 색인됐다·안 됐다 두 칸으로 세지 않고 구글이 돌려준 상태 문자열 그대로 묶었다.
| 상태 문자열 | 개수 |
|---|---|
| Google에는 아직 알려지지 않은 URL입니다. | 18 |
| 발견됨 - 현재 색인이 생성되지 않음 | 10 |
| 제출되고 색인이 생성되었습니다. | 2 |
색인된 2개는 첫 화면과 소개 페이지였다. 크롤 시각은 각각 9월 20일과 9월 18일.
여기서 예상이 깨졌다. “발견됨 - 현재 색인이 생성되지 않음” 10개는 크롤 시각 칸이 전부 -였다. 구글이 사이트맵에서 주소를 읽어 목록에는 넣었는데, 그 주소를 가지러 온 적이 한 번도 없다는 뜻이다. 품질 판정을 받고 떨어진 게 아니라 판정 자체가 없었다. “아직 알려지지 않은 URL” 18개에는 연재 허브 7개가 통째로 들어 있었다. 사이트맵에 제출한 주소인데도 구글 쪽 목록에는 아예 없는 상태다.
색인이 안 될 때 글을 더 쓰거나 고쳐 쓰는 쪽으로 손이 가는데, 상태를 두 칸으로 세지 말고 구글이 준 문자열 그대로 센 다음에 크롤 시각 유무를 보세요.
원인이 아니었던 것들
크롤이 안 왔다는 걸 알고 나서 순서대로 지웠다.
- robots.txt 정상. 차단 규칙 없음.
- 사이트맵 제출 정상(
/sitemap-index.xml). 구글이 주소를 알고 있다는 것 자체가 사이트맵은 읽혔다는 증거다. - 페이지 응답 200, canonical 정상, noindex 없음.
- 서치콘솔 속성 권한 “전체”(siteFullUser). URL Inspection API가 도는 걸로 확인했다.
남은 하나는 유입 링크였다
전부 지우고 남은 건 하나였다. 이 사이트로 들어오는 외부 링크가 0개다.
30일 동안 외부에 링크를 한 개도 심지 않았다. 스레드에 글을 계속 올리면서도 본문에 사이트 주소를 넣은 적이 없었다는 걸 오늘 알았고, 그때부터 붙이기 시작했다.
색인이 목표점도 아니다. 같은 계정으로 굴리는 다른 사이트(koreaverified.com)는 색인이 됐는데 노출 135에 클릭 2다. 질의 8개 중 6개 위에 AI Overview가 떠 있었다. CPC와 검색 결과 광고 개수는 이 맥에서 잴 수단이 없어서 확인 못 했다.
손으로 요청하는 자리에서 막힌 것
색인 요청은 30일 동안 약 13건 넣었다. 그 과정에서 걸린 것들.
URL Inspection API에는 색인 요청 기능이 없다. 조회만 API로 되고 요청은 브라우저 UI로 눌러야 한다. 검사 화면 딥링크(search-console/inspect?resource_id=...&id=...)는 구글 자체가 404를 준다. 속성 홈에서 상단 검색창에 주소를 쳐야 들어간다.
할당량은 하루 약 10개다. 자정 리셋이 아니라 24시간 롤링으로 푼다. 9월 20일에 10개를 몰아 쓰고 다음 날 아침에 다시 넣었더니 1개만 통과하고 2개째에서 막혔다.
막힐 때 첫 붉은 배너가 진짜 이유를 말해주지 않는다. 오늘 저녁에 허브 4개를 넣다가 2개째에서 이걸 받았다.
오류 발생
색인 생성 요청을 제출하는 중에 문제가 발생했습니다한 번 더 누르니 그제서야 “할당량 초과 / 일일 할당량을 초과하여…“로 바뀌었다. 세 번 이상은 눌러도 안 들어간다. 이 배너를 일시적 오류로 읽고 계속 누르면 할당량을 다 쓴 줄 모른 채 저녁을 보내게 된다.
다음
링크 0개가 원인이라고 결론 냈지만 링크를 심어서 색인이 되는지는 아직 못 봤다. 스레드가 외부 링크에 nofollow를 붙이는지도 확인 못 했다. 구글 문서상 nofollow는 추적되지 않는다. 그래서 스레드에 붙인 링크는 색인용으로 치지 않고 사람 유입용으로만 친다.
오늘 요청을 넣은 URL들의 상태는 3~5일 뒤에 같은 방식으로 전수 조회해서 다시 센다. 그때 크롤 시각 칸에 날짜가 찍히는지가 답이다.