[7] 성능 평가 방식

• Precision (정밀도) : 예측이 True인 경우에 실제도 True인 경우
• Recall (재현도) : 실제 True인 경우에 예측도 True인 경우

• IoU

• One-to-One | One-to-Many | Many-to-One Match

• Area Recall / Area Precision

• DetEval (2013)
  • recall > 0.8(threshold) and precision > 0.4(threshold) 면 1, 아니면 0 -> Binary Matching Matrix
  • 단, 스필릿 방지를 위해 one-to-many match 인 경우 0.8

• IoU (2015)
  • one-to-one matching 만 허용 ( 1 if IoU value > 0.5 else 0)
• TIoU
  • TIoU = IoU * penalty (penalty : 0~1 )
  • 부족한 영역인 경우 penalty = 부족한 영역 / 정답 영역 크기 ( TIoU Recall)
  • 초과한 영역인 경우 penalty = 초과한 영역 / 초과 영역 크기 ( TIoU Precision)
  • 단점 : 영역을 빽빽하게 잡은 경우와 글자 하나 빼먹은 경우 점수가 같다 -> 인식기 성능 판단 불가
• CLEval ( Character-Level Evaluation )
  • 인식이에 초점을 두어서 얼마나 많은 글자를 맞추고 틀렸는냐를 가지고 평가

• CLEval ( Character-Level Evaluation )
  • Score = ( CorrectNum - GranualPenalty ) / TotalNum
  • 정답 기준 -> 재현율, 예측 기준 -> 정밀도. 구하고 조화 평균 Matching Matrix
• Summary 각 평가 방법 비교