Files
2026-10-09 09:24:02 +05:00

280 KiB

In [21]:
import numpy as np
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import PolynomialFeatures
from sklearn.pipeline import Pipeline
from sklearn.metrics import mean_squared_error, r2_score

np.random.seed(42)

m = 100
X = np.sort(np.random.rand(m, 1) * 2 - 1, axis=0)

y = 3 * X**2 + 2 * X + 1 + np.random.randn(m, 1) * 0.3


plt.figure(figsize=(10, 6))
plt.scatter(X, y, color='blue', label="Исходные данные (с шумом)")
plt.xlabel("Признак X")
plt.ylabel("Целевая переменная y")
plt.title("Синтетические данные для регрессии")
plt.legend()
plt.grid(True)
plt.show()
In [22]:
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

model = LinearRegression()
model.fit(X_train, y_train)

y_train_pred = model.predict(X_train)
y_test_pred  = model.predict(X_test)

print("--- Линейная регрессия (степень 1) ---")
print(f"MSE на обучении: {mean_squared_error(y_train, y_train_pred):.4f}")
print(f"MSE на тесте:    {mean_squared_error(y_test, y_test_pred):.4f}")
print(f"R²  на обучении: {r2_score(y_train, y_train_pred):.4f}")
print(f"R²  на тесте:    {r2_score(y_test, y_test_pred):.4f}")

# Визуализация
plt.figure(figsize=(10, 6))
plt.scatter(X_train, y_train, color='green', alpha=0.5, label='Обучающая выборка')
plt.scatter(X_test,  y_test,  color='red',   alpha=0.5, label='Тестовая выборка')
X_plot = np.linspace(-1, 1, 100).reshape(-1, 1)
plt.plot(X_plot, model.predict(X_plot), color='black', linewidth=3, label='Модель (прямая)')
plt.legend()
plt.title('Линейная регрессия (недообучение)')
plt.grid(True)
plt.show()
--- Линейная регрессия (степень 1) ---
MSE на обучении: 0.8923
MSE на тесте:    0.7339
R²  на обучении: 0.6087
R²  на тесте:    0.4496
In [23]:
poly_model_2 = Pipeline([
    ('poly',   PolynomialFeatures(degree=2, include_bias=False)),
    ('linear', LinearRegression())
])
poly_model_2.fit(X_train, y_train)

print("\n--- Полиномиальная регрессия (степень 2) ---")
print(f"MSE на обучении: {mean_squared_error(y_train, poly_model_2.predict(X_train)):.4f}")
print(f"MSE на тесте:    {mean_squared_error(y_test,  poly_model_2.predict(X_test)):.4f}")

plt.figure(figsize=(10, 6))
plt.scatter(X_train, y_train, color='green', alpha=0.5, label='Обучающая выборка')
plt.scatter(X_test,  y_test,  color='red',   alpha=0.5, label='Тестовая выборка')
plt.plot(X_plot, poly_model_2.predict(X_plot), color='blue', linewidth=3, label='Модель (степень 2)')
plt.legend()
plt.title('Полиномиальная регрессия степени 2 (оптимальная)')
plt.grid(True)
plt.show()
--- Полиномиальная регрессия (степень 2) ---
MSE на обучении: 0.0768
MSE на тесте:    0.0624
In [24]:
poly_model_15 = Pipeline([
    ('poly',   PolynomialFeatures(degree=15, include_bias=False)),
    ('linear', LinearRegression())
])
poly_model_15.fit(X_train, y_train)

print("\n--- Полиномиальная регрессия (степень 15) ---")
print(f"MSE на обучении: {mean_squared_error(y_train, poly_model_15.predict(X_train)):.4f}")
print(f"MSE на тесте:    {mean_squared_error(y_test,  poly_model_15.predict(X_test)):.4f}")

plt.figure(figsize=(10, 6))
plt.scatter(X_train, y_train, color='green', alpha=0.5, label='Обучающая выборка')
plt.scatter(X_test,  y_test,  color='red',   alpha=0.5, label='Тестовая выборка')
plt.plot(X_plot, poly_model_15.predict(X_plot), color='purple', linewidth=3, label='Модель (степень 15)')
plt.legend()
plt.title('Полиномиальная регрессия степени 15 (СИЛЬНОЕ ПЕРЕОБУЧЕНИЕ)')
plt.grid(True)
plt.show()
--- Полиномиальная регрессия (степень 15) ---
MSE на обучении: 0.0685
MSE на тесте:    0.1426
In [25]:
print("Коэффициенты степени 2:")
print(poly_model_2.named_steps['linear'].coef_)

print("\nКоэффициенты степени 15:")
print(poly_model_15.named_steps['linear'].coef_)
Коэффициенты степени 2:
[[2.0421425  2.97880859]]

Коэффициенты степени 15:
[[ 1.25764791e+00  5.25155689e+00  9.73099905e+00 -9.06421627e+00
  -1.83747503e+01 -4.26438162e+01 -1.92129627e+02  2.62531162e+02
   1.06439785e+03 -4.51495145e+02 -2.13405635e+03  3.03343616e+02
   1.90716443e+03 -6.36614075e+01 -6.37030957e+02]]
In [26]:
degrees = range(1, 21)
train_errors = []
test_errors  = []

for d in degrees:
    model = Pipeline([
        ('poly',   PolynomialFeatures(degree=d, include_bias=False)),
        ('linear', LinearRegression())
    ])
    model.fit(X_train, y_train)
    train_errors.append(mean_squared_error(y_train, model.predict(X_train)))
    test_errors.append(mean_squared_error(y_test,  model.predict(X_test)))

plt.figure(figsize=(10, 6))
plt.plot(degrees, train_errors, marker='o', label='Ошибка на обучении (MSE)')
plt.plot(degrees, test_errors,  marker='s', label='Ошибка на тесте (MSE)')
plt.xlabel('Степень полинома')
plt.ylabel('Среднеквадратичная ошибка (MSE)')
plt.title('Зависимость ошибки от сложности модели')
plt.legend()
plt.grid(True)
plt.show()

# Момент начала переобучения
best_degree = degrees[np.argmin(test_errors)]
print(f"Оптимальная степень (минимальная тестовая ошибка): {best_degree}")
Оптимальная степень (минимальная тестовая ошибка): 5