0. Метрики

Метрика - функция на парах элементов множества, вводящая на нём расстояние, то есть, снабжающее его структурой метрического пространства.

$$ MSE= \frac{1}{n} \sum_{i=1}^n (\hat y_i - y_i)^2; $$

$$ MAE= \frac{1}{n} \sum_{i=1}^n |\hat y_i - y_i|; $$

$$ MAPE = \frac{100}{n} \sum_{i=1}^n \left |\frac{\hat y_i - y_i}{y_i}\right|; $$

$$ WAPE = 100 \cdot \frac{\sum_{i=1}^n|\hat y_t - y_t|}{\sum_{i=1}^n|y_t|}. $$

$Accuracy= \frac{TP + TN}{TP + TN + FP + FN};$

$Precision = \frac{TP}{TP + FP};$

$Recall = \frac{TP}{TP + FN};$

F-мера

$$ F_\beta = (\beta^2 + 1) \frac{Recall\cdot Precision}{Recall + \beta^2 Precision}; $$

$F (\beta=1):$

$$ F_1 = 2\cdot \frac{Recall\cdot Precision}{Recall + Precision} = \frac{TP}{TP + \frac{FP +FN}{2}}; $$

Cross Entropy Log Loss

$$ L (w)= -\frac{1}{n}\sum_{i=1}^n[y_i\log{(\hat{y_i})} + (1 - y_i)\log(1 - \hat{y_i})]. $$

Кросс-энтропия - минимизация негатив логлайлихуда в задаче мультиклассов.

1. Линейные модели

$$ y = w_1x_1 \ +\ \dots\ +\ w_Dx_D + w_0 $$

где $y\ -\$ целевая переменная (target), $(x_1, \dots, x_D)\ -\$ вектор признаков (features), $w_1 \dots w_D, w_0\ - \$ параметры модели.

Метод наименьших квадратов (ordinary least squares)