Tempered Balanced Accuracy (tBA)

Abstrak

Tempered Balanced Accuracy (tBA) adalah metrik evaluasi klasifikasi berupa rata-rata berbobot dari recall setiap kelas, dengan bobot kelas $k$ berupa prevalensinya yang dipangkatkan dengan eksponen tempering $t$. Metrik ini diusulkan untuk mengatasi keterbatasan dua metrik yang umum digunakan pada data tidak seimbang. Akurasi standar memberi skor tinggi kepada pengklasifikasi yang mengabaikan kelas minoritas, sedangkan balanced accuracy (BA), yang merata-ratakan recall setiap kelas dengan bobot yang sama, menerapkan model biaya yang tetap: BA secara implisit mengasumsikan bahwa tingkat kepentingan suatu kelas berbanding terbalik secara tepat dengan prevalensinya, sehingga memberi penghargaan berlebih kepada kelas langka yang tidak kritis dan penghargaan yang kurang kepada kelas langka yang kritis. Parameter $t$ pada tBA melakukan interpolasi secara kontinu antara akurasi standar ($t=1$) dan BA ($t=0$), serta dapat diperluas melampaui BA ($t<0$) untuk kelas yang langka tetapi kritis. Kami menunjukkan bahwa tingkat peluang (chance level) tBA sama dengan $1/K$ untuk setiap $t$, bahwa skor pengklasifikasi kelas mayoritas memiliki bentuk tertutup yang naik secara monoton terhadap $t$, dan bahwa $t$ dapat ditentukan langsung dari rasio biaya salah klasifikasi yang diinginkan. Aturan pemilihan $t$ diberikan untuk kasus rasio biaya diketahui, untuk kasus tanpa informasi biaya ($t=0$ sebagai nilai aman terhadap keruntuhan kelas, $t=0{,}5$ sebagai kompromi simetris antara akurasi dan BA), serta sebagai estimasi berbasis data dari jumlah kelas efektif. Melalui delapan kasus perhitungan manual dari sampel berlabel dan sembilan kasus tambahan dari confusion matrix, yang mencakup masalah biner dan multikelas, kelas seimbang dan tidak seimbang dengan rasio 4:1 hingga 999:1, keruntuhan kelas, prediksi berlebih pada kelas minoritas, kelas yang absen, dan pemeringkatan pengklasifikasi, kami menunjukkan bahwa tBA mengungkap perilaku yang tersembunyi baik oleh akurasi maupun BA, termasuk pembalikan peringkat antara dua pengklasifikasi pada $t^{*}=0{,}786$ serta kemiringan kurva tBA yang mengidentifikasi apakah suatu pengklasifikasi lemah pada kelas besar atau kelas kecilnya. tBA tidak memerlukan komputasi tambahan selain confusion matrix dan tereduksi menjadi metrik yang sudah ada pada titik-titik ujungnya.