60 lines
6.9 KiB
Markdown
60 lines
6.9 KiB
Markdown
**Линейная регрессия*** - статистический метод, используемый для поиска взаимосвязи между переменными. В контексте машинного обучения линейная регрессия находит взаимосвязь между признаками и меткой.
|
|
***Пример*** - значения одной строки с признаками и подписью. Примеры в контролируемом машинном обучении делятся на 2 основные категории:
|
|
1. Подписанные примеры состоят из одного или более признака с подписью. Используются для обучения.
|
|
2. Не подписанные примеры состоят из одного или более признака, но без подписи. Используются для получения вывода.
|
|
Подписанные и не подписанные примеры:
|
|
![[Pasted image 20260104121346.png]]
|
|
***Признак (особенность)*** - вводная переменная машинного обучения. **Пример*** содержит в себе один или более признаков.
|
|
***Метка (подпись)*** - в контексте машинного обучения, показывает ответ для **Примера***.
|
|
Допустим. в случае обучения модели на фильтрацию спама, метка будет указывать, является ли данный пример спамом или нет.
|
|
|
|
## Уравнение линейной регрессии
|
|
В алгебраических терминах модель будет определяться как:
|
|
``` math
|
|
y = mx + b
|
|
```
|
|
где:
|
|
- y - значение, которое мы хотим предсказать
|
|
- m - наклон прямой
|
|
- x - входное значение
|
|
- b - точка пересечения с осью y
|
|
В машинном обучении мы записываем уравнение следующим образом:
|
|
```math
|
|
y' = b + w1*x1
|
|
```
|
|
где:
|
|
- y' - прогнозируемая метка (выход)
|
|
- b - смещение модели. (По сути пересечение с осью y в алгебраическом представлении.)
|
|
- w1 - вес признака. То же самое понятие что и наклон в алгебраическом уравнении.
|
|
- x1 - признак, входные данные
|
|
В процессе обучения модель рассчитывает вес и смещение, которые позволяют получить наилучшую модель.
|
|
![[Pasted image 20260104123038.png]]
|
|
|
|
А в случае если характеристик больше, уравнение будет иметь вид:
|
|
```
|
|
y = b + W1*X1 + W2*X2 + ... + Wn*Xn
|
|
```
|
|
где n - последний признак.
|
|
|
|
## Потеря
|
|
***Потери*** - числовая метрика, описывающая степень неточности предсказаний модели. Потери измеряют расстояние между предсказаниями модели и фактическими метками. Цель обучение модели - минимизировать потери, сведя их к минимальному возможному значению.
|
|
|
|
В машинном обучении потери измеряют разницу между предсказанным значением и фактическим, фокусируясь на расстоянии, а не направлении. ***То есть берется модуль разности фактической точки и предсказанной***
|
|
Два наиболее распространённых способа удаления знака:
|
|
- Абсолютное значение разности фактического значения и прогноза
|
|
- Квадрат разницы между фактическим значением и прогнозом
|
|
|
|
## Виды потерь
|
|
|
|
| Тип убытка | Определение | Уравнение |
|
|
| ------------------------------------------------ | --------------------------------------------------------------------------------- | ---------------------------------------------- |
|
|
| **Потеря L1** | Сумма абсолютных <br>значений разницы между <br>фактическим значением и прогнозом | $\sum\|факт - прогноз\|$ |
|
|
| **Средняя <br>абсолютная ошибка (MAE)** | Среднее значение потери L1 для набора <br>из N параметров | $\frac{1}{N}\sum\|факт - прогноз\|$ |
|
|
| **Потеря L2** | Сумма квадратов разностей между<br>фактическим значением и прогнозом | $\sum(факт - прогноз)^2$ |
|
|
| **Среднеквадратическая<br>ошибка (MSE)** | Среднее значение потерь L2 для набора из N параметров | $\frac{1}{N}\sum(факт - прогноз)^2$ |
|
|
| **Корень среднеквадратической<br>ошибки (RMSE)** | Корень для MSE | $\sqrt{\frac{1}{N} \sum \|факт - прогноз\|^2}$ |
|
|
Главная разница L1 и L2 - возведение в степень. Если потеря большая, возведение в степень сделает ее еще больше. Если же разница маленькая (меньше 1), то степень сделает её еще меньше.
|
|
Поэтому метрики такие как ***MAE или RMSE*** могут быть более подходящими в сравнении с L2 или MSE, так как они являются более понятными для людей, а так же они измеряют ошибку в той же шкале, что и значение прогноза модели.
|
|
==Примечание: MAE и RMSE могут существенно различаться. MAE представляет собой среднюю ошибку прогнозирования, тогда как RMSE представляет собой «разброс» ошибок и в большей степени искажается при больших ошибках.==
|
|
|