ROC,AUC ялгаа

nomin-erdene

• 2025-01-08

ROC curve

1. ROC муруй(хүлээн авагчийн үйл ажиллагааны онцлогийн муруй) нь бүх ангиллын хязгаарт ангиллын загварын гүйцэтгэлийг харуулсан график юм. Энэ муруй нь хоёр параметрийг тодорхойлох шаардлагатай. Энэ нь 1. True Positive Rate 2. False Positive Rate
2. True Positive Rate(TPR) нь эргэн санах үйлийн синоним бөгөөд дараах байдлаар тодорхойлдог.

3. False Positive Rate(FPR) нь дараах байдлаар тодорхойлдог.

ROC муруй нь өөр өөр ангилалын босгон дээр TPR vs FPR-ийг тодорхойлдог. Ангилалын босгыг бууруулах нь илүү олон зүйлийг эерэг гэж ангилдаг бөгөөд ингэснээр Хуурамч эерэг болон Жинхэнэ эерэг зүйлсийн аль алиныг нь нэмэгдүүлдэг. Дараах зураг нь ердийн ROC муруйг харуулж байна.

AUC

Бид ROC муруй дахь цэгүүдийг тооцоолохын тулд өөр өөр ангилалын босготой логистик регрессийн загварыг олон удаа үнэлж болох боловч энэ нь үр дүнгүй байх болно. AUC гэж нэрлэгддэг энэ мэдээллийг бидэнд өгч чадах үр дүнтэй, ангилан ангилах алгоритм байдаг.

AUC нь боломжит бүх ангилалын босгыг хамарсан гүйцэтгэлийн нийт хэмжүүрийг өгдөг. AUC-ийг тайлбарлах нэг арга нь санамсаргүй эерэг жишээг санамсаргүй сөрөг жишээнээс илүү өндөр байр эзэлдэг магадлал юм. Жишээ нь: Логистик регрессийн урьдчилсан таамаглалыг дээшлэх дарааллаар зүүнээс баруун тийш зохион байгуулсан дараах жишээнүүдийг авч үзье. Үүнд:

Санамсаргүй эерэг (ногоон) жишээ санамсаргүй сөрөг (улаан) жишээний баруун талд байрласан байх магадлалыг AUC төлөөлдөг.

• AUC нь 0-оос 1 хүртэл утгатай. Урьдчилсан таамаглал нь 100% буруу байгаа загвар нь 0.0-ийн AUC -тэй; таамаглал нь 100% зөв байдаг нэг нь 1.0-ийн AUC -тэй.
• AUC нь дараах 2 шалтгааны улмаас хязгаарлалттай байна. Үүнд:
• AUC нь scale-invariant юм. Энэ нь урьдчилан таамаглалыг туйлын үнэт
  зүйлсээр нь биш, харин хэр зэрэг сайн зэрэгцдэгийг хэмждэг.
• AUC нь classification-threshold-invariant юм. Энэ нь ямар ангилалын босгыг сонгохыг үл хамааран загварын урьдчилан таамаглах чанарыг хэмждэг.

Гэсэн хэдий ч энэ хоёр шалтгаан нь агуйнуудтай хамт ирдэг бөгөөд энэ нь тодорхой ашиглалтын тохиолдолд AUC -ийн ашиг тусыг хязгаарлаж болох юм:

• Өргөн цар хүрээтэй scale-invariant байх нь тэр болгон хүсүүштэй зүйл биш ээ. Жишээ нь, заримдаа бидэнд сайн хэмжсэн магадлалын үр дүн үнэхээр хэрэгтэй байдаг бөгөөд AUC энэ талаар бидэнд хэлэхгүй.
• Classification-threshold-invariant нь тэр болгон хүсүүштэй зүйл биш юм. Хуурамч сөрөг болон хуурамч эерэг зүйлсийн үнийн хувьд маш их ялгаатай байгаа тохиолдолд нэг төрлийн ангилалын алдааг багасгах нь чухал ач холбогдолтой байж болох юм. Жишээ нь, имэйл спам илрүүлэх хийхдээ хуурамч эерэг зүйлсийг багасгахыг эрэмбэлэхийг хүсдэг байх (энэ нь хуурамч сөрөг талыг ихэсгэдэг ч болно). AUC нь энэ төрлийн оптимизацид ашигтай хэмжүүр биш юм.