Macierz zamieszania w uczeniu maszynowym: Twoje kompleksowe rozwiązanie

W , zwykle mamy 2 różne typy przypadków użycia, , i problem. Macierz konfuzji pomaga w obliczeniu dokładności modelu klasyfikacyjnego, co pośrednio pomaga nam opisać działanie modelu klasyfikacyjnego. To najważniejszy krok, jeśli chodzi o ocenę modelu. W tym artykule omówię następujące tematy:

1. Co to jest macierz zamieszania?

2. Dokładność i składniki macierzy nieporozumień

3. Precyzja, przywołanie i pomiar F

4. Tworzenie macierzy zamieszania przy użyciu Pythona i Sklearn

Co to jest macierz zamieszania?

Z powyższego rysunku:
Mamy,

• Rzeczywista wartość klasy 1 = 1, która jest podobna do wartości dodatniej w wyniku binarnym.
• Rzeczywista wartość klasy 2 = 0, co jest podobne do wartości ujemnej w wyniku binarnym.

Indeks po lewej stronie macierzy pomyłki zasadniczo wskazuje rzeczywiste wartości, a górna kolumna wskazuje przewidywane wartości.

Kiedy tworzymy macierz nieporozumień, istnieją różne komponenty. Elementy są wymienione poniżej

Pozytywne (P): Przewidywany wynik jest pozytywny (przykład: obraz przedstawiający kota)

Negatywne (N): przewidywany wynik to Ujemny (przykład: obrazki nie przedstawiają kota)

Prawdziwie dodatni (TP): Tutaj TP zasadniczo wskazuje przewidywane i rzeczywiste wartości 1 (prawda)

Prawdziwie ujemny (TN): Tutaj TN wskazuje przewidywaną i rzeczywistą wartość 0 (Fałsz)

Fałszywie negatywny (FN): Tutaj FN wskazuje, że przewidywana wartość to 0 (ujemna), a rzeczywista wartość to 1. Tutaj obie wartości nie są zgodne. Dlatego jest fałszywie negatywny.

Fałszywie dodatni (FP): Tutaj FP wskazuje, że przewidywana wartość to 1 (dodatnia), a rzeczywista wartość to 0. Tutaj znowu obie wartości są niezgodne. Dlatego jest fałszywie pozytywny.

Dokładność i składniki macierzy nieporozumień

• Dokładność klasyfikacji

Z powyższego wzoru suma TP (prawdziwie dodatnia) i TN (prawdziwie ujemna) są prawidłowymi przewidywanymi wynikami. Dlatego, aby obliczyć dokładność w procentach, dzielimy przez wszystkie pozostałe składniki. Istnieją jednak pewne problemy z dokładnością i nie możemy na niej całkowicie polegać.

Weźmy pod uwagę, że nasz zbiór danych jest całkowicie niezrównoważony. W tym Scenariuszu dokładność 98% może być dobra lub zła na podstawie stwierdzenia problemu. Dlatego mamy więcej kluczowych terminów, które pomogą nam mieć pewność co do dokładności obliczeń. Warunki podano poniżej:

• TPR (True Positive Rate) lub czułość:

Wskaźnik prawdziwie dodatnich, znany również jako wrażliwość, mierzy procent prawdziwie pozytywnych wyników w odniesieniu do wszystkich rzeczywistych wyników pozytywnych, co jest wskazywane przez (TP + FN)

metody klasy skanera w java

• TNR (True Negative Rate) lub swoistość:

Prawdziwie ujemny współczynnik lub swoistość mierzy odsetek rzeczywistych wyników negatywnych w stosunku do wszystkich wartości ujemnych

TNR = prawdziwie ujemny / (prawdziwie ujemny + fałszywie dodatni)

• Współczynnik wyników fałszywie dodatnich (FPR):

Odsetek wyników fałszywie dodatnich to procent przewidywanych wyników fałszywie dodatnich (FP) do całkowitej liczby przewidywanych wyników dodatnich (TP + FP).

• Fałszywie ujemny współczynnik (FNR):

Odsetek wyników fałszywie ujemnych to odsetek przewidywanych wyników fałszywie ujemnych (FP) do całkowitej liczby przewidywanych wyników negatywnych (TN + FN).

Precyzja, przywołanie i F-Measure

• Odwołanie:

Przypomnienie jest podobne do wskaźnika prawdziwie dodatnich i jest to stosunek całkowitej liczby prawidłowo przewidywanych wartości dodatnich (TP) do wszystkich wartości dodatnich.

• Precyzja:

Precyzja w zasadzie wskazuje wszystkie punkty, które model przewidywał jako dodatnie i jaki procent z nich jest faktycznie dodatni.

Precyzja i Recall to wyniki metryk, które koncentrują się na klasie pozytywnej, jak pokazano z powyższych wzorów.

• F-Measure

F-Measure jest więc techniką, która łączy w sobie zarówno technikę precyzji, jak i przywołania i wykorzystuje średnią harmoniczną zamiast zwykłej średniej arytmetycznej, dzięki czemu wartości ekstremalne są karane. Miara F jest również nazywana wynikiem F1 i jest określana za pomocą poniższego wzoru.

Rozważmy przykład i zobaczmy, jak możemy obliczyć dokładność, precyzję, przywołanie i wynik F1.

• • Dokładność = (TP + TN) / (TP + TN + FP + FN) = (150 + 100) / (150 + 100 + 20 + 10) = 0.89
  • Przypomnijmy = TP / (TP + FN) = 150 / (150 + 10) = 0.93
  • Precyzja: TP / (TP + FP) = 150 / (150 + 20) = 0.88

jak używać iteratora w java

• F-Measure = (2 * Recall * Precision) / (Recall + Presision) = (2 * 0,93 * 0,88) / (0,93 + 0,88) = 0,90

Tworzenie macierzy zamieszania za pomocą Pythona i Sklearn

Teraz zobaczymy przykład, w jaki sposób możemy stworzyć macierz pomyłki za pomocą Pythona wraz z biblioteką sklearn.

jeden. Najpierw utworzymy listę rzeczywistych danych i prognoz, aby sprawdzić dokładność, jak pokazano poniżej

# Skrypt w Pythonie do tworzenia macierzy zamieszania. dane_aktualne = [1, 1, 0, 1, 0, 0, 1, 0, 0, 0,1,0,1] predicted_data = [0, 1, 1, 1, 0, 0, 1, 0, 1, 0, 1, 0, 1]

2. Musimy zaimportować macierz zamieszania z biblioteki sklearn, jak pokazano poniżej:

from sklearn.metrics import confusion_matrix

3. Następnie utworzymy macierz pomyłki, jak pokazano poniżej:

final_results = confusion_matrix (dane_aktualne, dane_przewidywane)

Cztery. Teraz możemy przejść dalej i obliczyć dokładność, importując bibliotekę, jak pokazano poniżej:

z importu sklearn.metrics, dokładność_score, dokładność = dokładność_score (dane rzeczywiste, dane przewidywane)

5. Na koniec obliczamy wynik F1 lub miarę F, jak pokazano poniżej:

from sklearn.metrics import klasyfikacja raport raport = klasyfikacja_report (dane_aktualne, dane_przewidywane)

Poniżej znajduje się pełny kod:

dane_aktualne = [1, 1, 0, 1, 0, 0, 1, 0, 0, 0,1,0,1] predicted_data = [0, 1, 1, 1, 0, 0, 1, 0, 1, 0,1,0,1] from sklearn.metrics import confusion_matrix final_results = confusion_matrix (dane rzeczywiste, predicted_data) print (final_results) from sklearn.metrics import ścisłość_score dokładność = dokładność_score (dane_aktualne, dane przewidywane) z raportu sklearn.metrics import klasyfikacja_report (raport = raport dane rzeczywiste, dane przewidywane) drukuj (dokładność) drukuj (raport)

Tak więc dochodzimy do końca tego artykułu. Mam nadzieję, że całe twoje zamieszanie związane z Matrycą Nieporozumień zostało rozwiązane.