1. 수집 계층
서비스와 단말에서 이벤트를 받습니다. 수집 게이트웨이는 초당 최대 1,240만건을 처리하며, 스키마가 맞지 않는 이벤트는 즉시 격리 큐로 보내 원본을 잃지 않게 합니다.
- 홈
- 기술과 서비스
- 데이터 플랫폼
데이터 플랫폼
하루 1,840억건의 이벤트가 들어옵니다. 이 데이터를 안전하게 모으고, 필요한 사람에게만, 필요한 형태로 내보내는 것이 데이터 플랫폼의 일입니다.
SCALE
데이터 규모
많이 모으는 것보다 쓸 수 있게 정리하는 일이 훨씬 어렵습니다.
링크허브에 하루 들어오는 이벤트는 1,840억건입니다. 메시지 전송, 화면 조회, 결제, 길 안내 요청처럼 서비스에서 일어나는 거의 모든 동작이 기록됩니다. 압축 전 기준으로 하루 640테라바이트, 1년이면 233페타바이트 분량입니다.
이 가운데 전부를 오래 보관하지는 않습니다. 원본 로그는 30일, 집계된 지표는 5년, 법정 보관 대상은 정해진 기간만 남기고 나머지는 자동으로 지웁니다. 그래서 누적 저장량은 412페타바이트에서 크게 늘지 않고 유지됩니다. 데이터를 버리는 규칙을 세우는 일이 모으는 규칙만큼 중요합니다.
데이터 플랫폼 조직은 186명입니다. 파이프라인 운영 62명, 데이터 엔지니어링 54명, 거버넌스 · 품질 38명, 분석 도구 개발 32명으로 나뉩니다.
1,840억건일 수집 이벤트
640TB일 신규 데이터
412PB누적 저장량
1,240만건/초실시간 처리 최대치
PIPELINE
파이프라인 4계층
수집 · 적재 · 가공 · 서빙, 네 단계를 지나야 데이터가 쓸모를 갖습니다.
같은 데이터를 두 번 만들지 않습니다
예전에는 팀마다 필요한 지표를 직접 계산했습니다. 같은 이름의 지표가 팀마다 값이 다른 일이 잦았습니다. 지금은 가공 계층에서 만든 표준 지표 집합을 모든 팀이 공유합니다. 표준 지표는 1,240개이며, 정의와 계산식이 문서로 고정되어 있습니다.
새 지표가 필요하면 등록 절차를 거칩니다. 기존 지표와 겹치는지 검토하고, 통과하면 표준 집합에 들어갑니다. 2025년 신규 등록 요청 418건 중 172건이 기존 지표로 대체 가능하다는 판정을 받았습니다.
- 표준 지표 : 1,240개 · 정의와 계산식 문서화
- 스키마 관리 : 변경 시 하위 호환 검사 자동 실행
- 데이터 품질 규칙 : 8,400개 · 위반 시 알림과 자동 격리
- 계보 추적 : 지표 하나가 어느 원본에서 왔는지 역추적 가능
2. 적재 계층
원본을 그대로 보관하는 영역과 정제본을 두는 영역을 나눕니다. 원본은 30일, 정제본은 용도에 따라 1~5년 보관합니다. 저장 시점부터 암호화됩니다.
3. 가공 계층
정제 · 결합 · 집계를 거쳐 표준 지표를 만듭니다. 배치 작업 9,400개와 실시간 스트림 작업 620개가 돌아가며, 실패한 작업은 자동으로 재시도합니다.
4. 서빙 계층
분석 도구 · 대시보드 · 추천 모델에 데이터를 내보냅니다. 조회 요청의 94.2% 가 1초 안에 응답하며, 권한이 없는 항목은 자동으로 가려집니다.
REAL-TIME
실시간 처리 성능
이상 거래 탐지와 실시간 추천은 초 단위 지연도 문제가 됩니다.
| 구간 | 처리량 | P50 지연 | P99 지연 | 유실률 |
|---|---|---|---|---|
| 수집 게이트웨이 | 초당 1,240만건 | 3ms | 18ms | 0.0000% |
| 스트림 버스 | 초당 980만건 | 8ms | 42ms | 0.0002% |
| 실시간 집계 | 초당 620만건 | 140ms | 780ms | 0.0011% |
| 피처 스토어 갱신 | 초당 210만건 | 62ms | 310ms | 0.0004% |
| 서빙 API 조회 | 초당 340만건 | 6ms | 34ms | 해당 없음 |
유실률은 0 이 아닙니다. 초당 수백만 건을 다루는 시스템에서 완전한 무유실을 보장하려면 지연이 크게 늘어납니다. 대신 유실이 허용되지 않는 데이터는 따로 분류합니다. 결제 · 정산 · 인증 관련 이벤트는 별도 경로로 흐르며, 처리 확인 응답을 받은 뒤에야 원본을 지우는 방식이라 유실률이 0 입니다.
P50 · P99 는 각각 요청의 50% · 99% 가 그 시간 안에 처리되었음을 뜻합니다.
GOVERNANCE
데이터 거버넌스
모든 데이터에 네 등급 중 하나를 붙이고, 등급에 따라 통제 수준을 다르게 적용합니다.
G1 · 공개
이미 공개된 정보이거나 집계되어 개인을 특정할 수 없는 데이터입니다. 서비스 이용 통계, 공개 게시물 지표 등이 해당합니다. 사내 누구나 조회할 수 있습니다.
G2 · 사내
업무상 필요한 조직에만 열립니다. 서비스별 상세 로그, 매출 세부 내역 등이 해당합니다. 조회 기록이 남고 대량 반출은 승인이 필요합니다.
G3 · 기밀
개인을 식별할 수 있는 정보를 포함합니다. 조회할 때마다 사유를 적고 상급자 승인을 받아야 하며, 승인 없이는 화면에 마스킹된 값만 보입니다.
G4 · 극비
결제 수단 · 신원 확인 정보 · 생체 관련 데이터입니다. 별도 격리 구역에 두고 2인 승인을 거쳐야 접근할 수 있으며, 원본 반출은 어떤 경우에도 허용되지 않습니다.
| 통제 항목 | G1 | G2 | G3 | G4 |
|---|---|---|---|---|
| 저장 암호화 | 선택 | 필수 | 필수 (필드 단위) | 필수 (필드 단위 + 토큰화) |
| 접근 승인 | 불필요 | 직무 권한 | 건별 승인 | 2인 승인 |
| 화면 마스킹 | 없음 | 부분 | 기본 적용 | 기본 적용 · 해제 불가 항목 존재 |
| 감사 로그 보관 | 1년 | 3년 | 5년 | 5년 + 실시간 이상 탐지 |
| 외부 반출 | 가능 | 승인 시 가능 | 가명처리 후에만 | 불가 |
DE-IDENTIFICATION
가명 · 익명 처리
분석에는 대부분 실제 이름이 필요하지 않습니다.
원본은 꺼내지 않는 것이 기본입니다
사내 분석 요청의 92.6% 는 가명처리된 데이터로 해결됩니다. 어떤 연령대가 어떤 기능을 많이 쓰는지 보는 데 실제 이름과 연락처는 필요하지 않기 때문입니다. 원본 접근은 장애 조사나 법적 의무 이행처럼 다른 방법이 없는 경우로 제한합니다.
- 가명처리 : 식별자를 되돌릴 수 없는 값으로 치환 · 결합키는 별도 보관
- 익명처리 : 특정 조합으로도 개인을 특정할 수 없도록 일반화 · 범주화
- 재식별 위험 평가 : 처리 결과에 대해 k-익명성 5 이상 확보 확인
- 결합 : 외부 데이터 결합은 전문기관을 통해서만 수행
- 2025년 가명처리 데이터셋 : 1,840건 생성 · 재식별 사고 0건
1단계 · 목적 확인
무엇을 알기 위해 어떤 항목이 필요한지 적습니다. 목적에 필요 없는 항목은 요청 단계에서 걸러냅니다.
2단계 · 처리 수준 결정
목적에 맞는 최소 수준을 정합니다. 통계만 필요하면 익명처리, 이용자 단위 추적이 필요하면 가명처리를 적용합니다.
3단계 · 처리 수행
자동화 도구가 식별자 치환과 일반화를 수행합니다. 수작업 처리는 허용하지 않습니다.
4단계 · 위험 평가
처리 결과가 다른 정보와 결합해 개인을 특정할 수 있는지 평가합니다. 기준 미달이면 처리 수준을 높여 다시 만듭니다.
5단계 · 이용과 파기
정해진 목적과 기간 안에서만 씁니다. 기간이 지나면 자동 파기되며 파기 기록이 남습니다.
TOOLS
사내 분석 도구
데이터 담당자가 아니어도 스스로 확인할 수 있어야 합니다.
분석 요청이 데이터팀에 몰리면 병목이 생깁니다. 링크허브는 직접 조회할 수 있는 도구를 사내에 열고, 데이터팀은 어려운 분석과 데이터 품질에 집중하도록 구조를 바꿨습니다. 2025년 사내 도구 월 활성 이용자는 3,240명으로 전 임직원의 78.6% 였고, 데이터팀에 들어오는 단순 조회 요청은 3년 전보다 68.4% 줄었습니다.
데이터 카탈로그
어떤 데이터가 어디에 있고 무슨 뜻인지 검색합니다. 표준 지표 1,240개와 테이블 4만 2천개의 설명 · 담당자 · 갱신 주기를 볼 수 있습니다.
셀프 대시보드
코드 없이 지표를 조합해 화면을 만듭니다. 권한이 없는 항목은 목록에서 아예 보이지 않으므로 실수로 열람할 위험이 없습니다.
쿼리 워크벤치
직접 질의를 작성합니다. 실행 전에 예상 비용과 대상 등급을 알려 주고, G3 이상 데이터가 포함되면 승인 절차로 연결합니다.
실험 플랫폼
A/B 실험을 설계하고 결과를 검정합니다. 2025년 진행된 실험은 2,840건이며, 통계적으로 유의한 개선이 확인된 것은 31.2% 였습니다.
API
데이터 요청 API
사내 시스템은 API 로 표준 지표를 가져다 씁니다.
- governance_level 이 G3 이상이면 승인 토큰이 없는 요청은 403 으로 거절됩니다
- 조회 결과는 5분 단위로 캐시되며 cached 값으로 확인할 수 있습니다
- 한 번에 가져올 수 있는 최대 행 수는 5만행이며 초과 시 커서로 나눠 받습니다
- 모든 조회는 요청자 · 목적 · 대상 지표와 함께 감사 로그에 기록됩니다
표준 지표 조회 요청과 응답
POST /v1/metrics/query HTTP/1.1
Host: data.linkhub.example.com
Authorization: Bearer lh_int_2d71f0ba
Content-Type: application/json
{
"metric": "daily_active_users",
"service": "linktalk",
"granularity": "day",
"from": "2026-03-01",
"to": "2026-03-07",
"dimensions": ["platform"],
"governance_level": "G1"
}
HTTP/1.1 200 OK
Content-Type: application/json
{
"metric": "daily_active_users",
"unit": "명",
"governance_level": "G1",
"series": [
{"date": "2026-03-01", "platform": "android", "value": 18420000},
{"date": "2026-03-01", "platform": "ios", "value": 12960000},
{"date": "2026-03-02", "platform": "android", "value": 18510000},
{"date": "2026-03-02", "platform": "ios", "value": 13040000}
],
"rows_returned": 14,
"cached": true,
"elapsed_ms": 212
}
Host: data.linkhub.example.com
Authorization: Bearer lh_int_2d71f0ba
Content-Type: application/json
{
"metric": "daily_active_users",
"service": "linktalk",
"granularity": "day",
"from": "2026-03-01",
"to": "2026-03-07",
"dimensions": ["platform"],
"governance_level": "G1"
}
HTTP/1.1 200 OK
Content-Type: application/json
{
"metric": "daily_active_users",
"unit": "명",
"governance_level": "G1",
"series": [
{"date": "2026-03-01", "platform": "android", "value": 18420000},
{"date": "2026-03-01", "platform": "ios", "value": 12960000},
{"date": "2026-03-02", "platform": "android", "value": 18510000},
{"date": "2026-03-02", "platform": "ios", "value": 13040000}
],
"rows_returned": 14,
"cached": true,
"elapsed_ms": 212
}
사내 API 이며 외부 공개 대상이 아닙니다.
링크허브의 기술을 먼저 써 보세요
Open API 신청부터 기업용 도입 상담까지 한 곳에서 진행됩니다.