지표란? 지표 올바르게 사용하기

💡지표 : 방향이나 목적, 기준 따위를 나타내는 표지

 

1. 지표의 분류

쉽게 말해 flow : 통장 잔고는 없지만 연봉 1억원 / stock : 벌이는 없지만 통장잔고(순자산) 1억원

 

☑️ 플로우(flow, 유량)

• 시작과 끝에 대한 시간 범위가 존재
• 일정한 시간 동안의 변화량을 나타내는 지표
• flow는 유입이 되는 in flow와 유출이 되는 out flow가 있다. ex) 1만원을 벌고(in flow), 5천원을 지출(out flow), 3천원(net inflow)은 저금(stock)
• 스톡 지표에 비해 더 많은 정보를 가지고 있음
  • 특정 기간의 변화 방향이나 추이 속도에 대해 더 많은 세부적인 정보를 줄 수 있음
  ex) 2022년도의 GDP(국내총생산) ⇒ 2022.01.01~2022.12.31의 기간 동안 대한민국 내에서 생산된 모든 최종생산물의 시장 가치

 

☑️ 스톡(stock, 저량)

• 특정 시점의 스냅숏(sanpshot)에 해당하는 지표
• 어떠한 시점 또는 현재

ex) 오늘 현재 집계된 코로나 확진자 수, 2022년 12월 9일 현재 미분양 주택수 1500가구 등

핵심 지표를 설정할 때 목표로 하는 지표가 스톡인지 플로우인지 명확히 구분!!!

 

 

2. 지표를 명확하게 정의하기

1️⃣ ‘우리 서비스의 **MAU**(Monthly Activity User)가 얼마인가요?🤔’

1. MAU가 최근 30일간 서비스에 로그인한 사용자일 경우
   1. 단순히 방문한 사람은 집계 X
   2. 회원 가입을 하지 않고 서비스만 둘러보다가 이탈한 사용자 집계 X
   3. 이전에 회원 가입을 하였으나 최근 한 달 사이에 방문만 하고 로그인하지 않은 사용자들은 집계 X
2. MAU가 로그인과 상관없이 사용자 전체일 경우
   1. 사용자가 앱과 웹 양쪽으로 방문했을 경우 이를 1명으로 세어야 할지, 로그인한 기기 수로 세어야 할지

2️⃣ 분석 툴에서 보여주는 활성 사용자 지표도 모두 다름

3️⃣ 서비스의 결제 전환율

1. 결제한 회원수 / 누적 가입자 수
2. 오늘 결제한 회원수 / 오늘 로그인한 회원수
3. 오늘 가입&결제한 회원수 / 오늘 가입한 회원수

지표에 대한 원칙을 세우기!!

 

3. 허무 지표에 빠지지 않기

좋은 지표의 조건 중 하나는 그 지표를 바탕으로 행동하는 것!

↔ 반대로 행동을 이끌어 내지 못하는 지표는 허무 지표(Vanity metric) ex) 누적 다운로드, 누적 앱 설치, 누적 방문자, 페이지 뷰

• 허무 지표는 쉽게 변화 시킬 수 있는 경우가 대부분이고 겉으로는 많은 일을 한 것처럼 포장할 수 있음
• 지표를 개선하기 위한 행동이 부분 최적화가 아닌 전체 과점에서의 최적화에 초점을 맞춰야 함

 

4. 심슨 패러독스(Simpson’s Paradox)

• 유의미한 인사이트를 찾아내는 방법들의 공통점은 데이터를 쪼개서 본다는 점
  • 전체 데이터를 놓고 보면 잘 드러나지 않는 특성들이 쪼개진 상태에서는 명확하게 드러남
  • 심슨 패러독스(Simpson’s Paradox)
    ⇒ 쪼개진 데이터에서 성립하는 관계가 합쳐진 데이터에서는 반대로 나타나는 현상

작은 결석과 큰 결석 모두에서 치료법 A의 성공률이 높게 나왔지만, 결석의 크기를 구분하지 않고 합친 경우에는 치료법 B의 성공률이 높은 결과가 나왔다. 이 사례에서는 결석의 크기라는 숨겨진 변수 또는 혼재변수가 각 치료법의 성공률에 영향을 미친 경우에 해당된다. 결석의 크기에 따라 성공률 자체가 달라지며, 결석의 크기 등과 같은 환자의 특성에 따라 선택하는 치료법이 달라진다.

 

심슨 패러독스를 피하는 방법은 연구자가 분석하는 데이터를 전반적으로 이해하고, 변수에 영향을 주는 모든 요인들을 고려해야함!!

 

 

5. 대푯값을 사용할 때 주의해야 할 점

분석 대상 데이터 세트에 아웃라이어가 있거나 분포를 알 수 없는 경우라면 중앙값(median)을 대푯값으로 사용하는 것을 적극적으로 고려

 

☑️ 산점도(Scatter Plot) 또는 상자수염(Box and whisker Plot)로 확인

⇒ 데이터 시각화는 분석을 막 시작하는 시점에 해당 데이터셋이 어떻게 구성되어 있는지 확인하는 탐색적 분석 과정에서 훨씬 더 유용하게 활용

---

OMTM(One Metric That Matters)

• 지금 우리 서비스에서 가장 중요한 지표는 무엇인가?
• OMTM의 가치는 구성원들이 바라보는 방향성을 일치시키고 자원을 집중하는데서 나온다.

 

☑️ OMTM vs KPI

• OMTM ⇒ 성장을 목표로 하는 지표로 이를 바탕으로 의사 결정을 하고, 행동할 수 있는 지표
• KPI ⇒ 일반적으로 평가를 위해 활용 또는 성과를 측정하는 지표, 달성 여부가 중요

OMTM (One Metric That Matters)	KPI (Key Performance Index)
성장	평가
협력	경쟁
모두가 공유하는 하나의 목표	팀이나 부서별로 서로 다른 목표
시간이 지나면서 계속 바뀜	한번 정해지면 평가할 때까지 바뀌지 않음
진짜 잘하고 있는지를 알려줌	달성되는 것과 서비스가 성공하는 것은 별개

 

☑️ OMTM vs OKR

OKR은 구글이 도입한 목표 관리 체계이다.

3 ~ 5개의 목표(Objectives)와 3 ~ 5개 정도의 핵심 결과(Key Results)

• 목표 (Objectives)
  ⇒ 주로 정성적인 언어로 표현되며, 구성원들의 가슴을 뛰게 할 수 있는 크고 담대한 목표를 설정
  ⇒ 매우 도전적인 목표
• 핵심 결과 (Key Results)
  ⇒ 객관적으로 측정하고 모니터링할 수 있는 지표
  ⇒ 하나의 목표에 연계된 핵심 결과는 3개 이하를 권장
  ⇒ 목표를 달성하기 위한 구체적인 결과 지표

OMTM은 중요한 지표 그 자체를 강조, OKR은 그 지표를 개선하기 위한 구체적인 액션 플랜에 가까움