Machine Learning-ийн model сайн ажиллаж байна уу, үгүй юу гэдгийг зөвхөн гаднаас нь хараад дүгнэх боломжгүй байдаг. Зарим model нийтдээ өндөр үзүүлэлттэй мэт харагдавч үнэндээ хамгийн чухал тохиолдлууд дээр алдаа гаргаж байж болно. Ийм учраас model-ийн гүйцэтгэлийг хэмжихдээ Accuracy, Precision, Recall гэсэн гурван чухал үзүүлэлтийг өргөн ашигладаг.
Accuracy нь model нийт өгөгдлөөс хэдийг нь зөв ангилсан болохыг илэрхийлдэг. Өөрөөр хэлбэл бүх таамаглалаас зөв гарсан үр дүнгийн хувийг харуулна. Жишээлбэл, model 100 өгөгдлөөс 90-ийг нь зөв ангилсан бол accuracy нь 90 хувь байна. Энэ үзүүлэлт энгийн бөгөөд ойлгомжтой боловч дангаараа model-ийг бүрэн үнэлэхэд хангалтгүй.
Precision нь model эерэг гэж тодорхойлсон үр дүнгүүдийн ‘Хэд нь үнэхээр зөв байсан бэ’ гэдгийг харуулдаг. Хэрэв system 10 хүнийг “өвчтэй” гэж илрүүлсэн бөгөөд тэдгээрээс 8 нь үнэхээр өвчтэй байсан бол precision нь 80 хувь болно. Өөрөөр хэлбэл precision нь “тийм” гэж хэлэхдээ хэр найдвартай байгааг хэмждэг гэсэн үг.
Recall нь бодит эерэг тохиолдлуудаас хэдийг нь model зөв олж чадсан бэ гэдгийг илэрхийлдэг. Жишээлбэл, үнэндээ 10 өвчтэй хүн байсан боловч model тэдгээрээс зөвхөн 8-ыг нь илрүүлсэн бол recall мөн 80 хувь байна. Энэ үзүүлэлт нь олох ёстой зүйлсээ хэр алдалгүй илрүүлж байгааг харуулдгаараа онцлог.
Эдгээр ойлголтыг илүү сайн ойлгохын тулд confusion matrix гэсэн суурь ойлголтыг мэдэх хэрэгтэй байдаг. Confusion matrix нь model-ийн үр дүнг дөрвөн төрөлд хувааж харуулдаг.
- True Positive гэдэг нь зөв эерэг гэж таасан тохиолдол
- False Positive гэдэг нь буруу эерэг гэж таасан тохиолдол
- False Negative гэдэг нь эерэг мөртлөө model алдаж өнгөрөөсөн тохиолдол
- True Negative гэдэг нь зөв сөрөг гэж таасан тохиолдол юм. Precision болон Recall нь эдгээр утгуудаас тооцогддог.
Accuracy, Precision, Recall гурав хоорондоо төстэй мэт харагддаг боловч өөр өөр утгатай. Accuracy нь нийт зөв таамаглалд төвлөрдөг бол Precision нь эерэг гэж хэлсэн дундаа хэр зөв байгааг, Recall нь бодит эерэг тохиолдлуудыг хэр сайн олж байгааг харуулдаг. Тиймээс ямар асуудал дээр ажиллаж байгаагаас шалтгаалан аль үзүүлэлт нь илүү чухал вэ гэдэг өөрчлөгдөнө.
Жишээ нь өвчин оношлох систем дээр recall маш чухал байдаг. Учир нь үнэхээр өвчтэй хүнийг model анзааралгүй өнгөрөөвөл үр дагавар нь ноцтой байж болно. Харин spam email шүүх систем дээр precision илүү чухал байх тохиолдол олон. Учир нь буруу email-ийг spam гэж ангилбал хэрэглэгчийн чухал мэдээлэл алдагдаж магадгүй.
Иймээс Machine Learning-ийн model-ийг үнэлэхдээ зөвхөн нэг тоон үзүүлэлт харж дүгнэх нь учир дутагдалтай. Accuracy нь ерөнхий дүр зургийг өгдөг бол Precision болон Recall нь model-ийн бодит чадварыг илүү нарийн харуулдаг бөгөөд Accuracy, Precision, Recall нь Machine Learning-ийн үнэлгээний хамгийн суурь бөгөөд хамгийн чухал ойлголтуудын нэг юм Сайн model гэдэг нь заавал хамгийн өндөр accuracy-тай model байх албагүй. Харин тухайн асуудлын хэрэгцээнд тохирсон зөв үзүүлэлт дээр сайн ажиллаж байгаа model-ийг сайн model гэж үзнэ.
