Solutions · Evaluation
Human judgement for policy rollouts.
롤아웃 영상을 보내 주세요. 성공 · 실패 판정, 실패 원인 분석, 블라인드 A/B 비교를 고객사 평가 기준에 맞춰 제공하고, 배치마다 검수자 간 일치율을 보고합니다.
How it works
You run the policy. We judge the result.
정책 실행과 롤아웃 녹화는 고객사에서 진행하고, 평가는 KP Digital이 영상으로 합니다. 장비를 보내거나 로봇 접근 권한을 줄 필요가 없습니다.
-
01 · YOU SEND
Rollouts and rubric
롤아웃 영상, 평가 기준 또는 성공 기준, 롤아웃별 정책 정보를 보내 주세요. 정책 정보는 A/B 비교를 위해 검수자에게 공개하지 않습니다.
-
02 · WE GRADE
Two reviewers
모든 롤아웃을 검수자 2인이 교차 평가합니다.
-
03 · YOU RECEIVE
Verdicts and a report
판정 결과, 실패 원인, 배치 리포트를 받습니다.
Grading
What we grade
-
Verdicts
평가 전에 문서로 확정한 기준에 따라 모든 롤아웃을 성공 · 실패 · 재시도로 판정합니다.
-
Failure causes
롤아웃 실패 원인 분류 체계를 고객사와 함께 만들고, 모든 배치에 동일하게 적용합니다.
-
Blind A/B
검수자는 어떤 정책의 롤아웃인지 모르는 상태에서 정책 간 롤아웃을 비교합니다.
-
Benchmark runs
벤치마크 작업 수행 영상을 고객사 평가 기준으로 평가합니다.
Consistency
Consistent from batch to batch
Rubric first
첫 롤아웃 평가 전에 판정 기준과 예외 상황 처리 규칙을 함께 확정합니다.
Two reviewers, agreement reported
모든 롤아웃을 검수자 2인이 독립적으로 평가합니다. 배치마다 일치율을 보고하고, 판정이 엇갈린 롤아웃은 목록으로 드립니다.
What you receive
- 롤아웃별 판정 결과와 실패 원인 (JSON)
- 작업 · 조건별 결과, 검수자 간 일치율, 사유 코드를 담은 배치 리포트
Other stages
