본문 바로가기

Learning/Measuring

(3)
F1 score 분류 모델을 만들어 성능을 평가해야할 때, 어떠한 모델이 더 성능이 좋은지를 판단하려면 기준이 되는 지표가 필요합니다. 이러한 지표 중 대표적인 것이 F1 score(F-measure)입니다. F1 score를 계산하기 위해서는 precision, recall, accuracy에 대한 개념을 알아야 합니다. 우선 다음과 같이 A,B,C,D가 있다고 합니다. 각각은 실험을 진행했을 때 결과의 True/False에 따라 나뉘어 집니다. A : 실제 정답이 True & 실험 결과 True (TT) B : 실제 정답이 True & 실험 결과 False (TF) C : 실제 정답이 False & 실험 결과 True (FT) D : 실제 정답이 False & 실험 결과 False (FF) precision 실험 결..
mAP IoU (Intersection over Union) Ground Truth 영역과 Prediction 영역이 있을 때, 아래와 같이 정의한다. (두 영역의 교집합) / (두 영역의 합집합) precision-recall curve (PR curve) threshold 조절에 따른 precision과 recall 값의 변화를 표현한 그래프. AP (Average Precision) 여러 알고리즘의 성능을 정량적으로 비교하기 위해 사용하는 값. threshold에 따라 precision과 recall은 변하게 되는데, threshold와 상관 없이 둘 다 좋으면 이 모델의 성능이 좋다는 것을 의미한다. 주로 컴퓨터 비전의 object detection의 성능 평가에 사용한다. IoU가 0.5 이상이면 물체..
평가지표 a. Macro & micro average macro average 클래스 별 f1 score에 가중치를 주지 않습니다. 클래스의 크기에 상관 없이 모든 클래스를 같은 비중으로 다룹니다. (학교의 각 반 성적) micro average 모든 클래스의 FP, FN, TP, TN의 총 수를 센 후 precision, recall, f1 score를 수치로 계산합니다. 전체적인 성능을 나타냅니다. (전체 학생들의 성적) 각 샘플을 똑같이 간주한다면 micro average, 각 클래스를 동일한 비중으로 고려하면 macro average 사 03. Edit distance 두 문자열의 유사도를 판단합니다. 문자열 A를 B로 바꾸기 위해 필요한 연산의 최소 횟수를 계산합니다. 비교할 두 문자가 같으면 : cos..