Files
ai_lessons/pr01/task.ipynb
T
2026-10-09 09:19:41 +05:00

227 KiB

In [ ]:
import numpy as np
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import PolynomialFeatures
from sklearn.pipeline import Pipeline
from sklearn.metrics import mean_squared_error, r2_score

np.random.seed(42)

m = 100
X = np.sort(np.random.rand(m, 1) * 2 - 1, axis=0)

y = 3 * X**2 + 2 * X + 1 + np.random.randn(m, 1) * 0.3


plt.figure(figsize=(10, 6))
plt.scatter(X, y, color='blue', label="Исходные данные (с шумом)")
plt.xlabel("Признак X")
plt.ylabel("Целевая переменная y")
plt.title("Синтетические данные для регрессии")
plt.legend()
plt.grid(True)
plt.show()
In [12]:
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

model = LinearRegression()
model.fit(X_train, y_train)

y_train_pred = model.predict(X_train)
y_test_pred  = model.predict(X_test)

print("--- Линейная регрессия (степень 1) ---")
print(f"MSE на обучении: {mean_squared_error(y_train, y_train_pred):.4f}")
print(f"MSE на тесте:    {mean_squared_error(y_test, y_test_pred):.4f}")
print(f"R²  на обучении: {r2_score(y_train, y_train_pred):.4f}")
print(f"R²  на тесте:    {r2_score(y_test, y_test_pred):.4f}")

# Визуализация
plt.figure(figsize=(10, 6))
plt.scatter(X_train, y_train, color='green', alpha=0.5, label='Обучающая выборка')
plt.scatter(X_test,  y_test,  color='red',   alpha=0.5, label='Тестовая выборка')
X_plot = np.linspace(-1, 1, 100).reshape(-1, 1)
plt.plot(X_plot, model.predict(X_plot), color='black', linewidth=3, label='Модель (прямая)')
plt.legend()
plt.title('Линейная регрессия (недообучение)')
plt.grid(True)
plt.show()
--- Линейная регрессия (степень 1) ---
MSE на обучении: 147.7139
MSE на тесте:    304.1505
R²  на обучении: 0.4254
R²  на тесте:    0.5454
In [13]:
poly_model_2 = Pipeline([
    ('poly',   PolynomialFeatures(degree=2, include_bias=False)),
    ('linear', LinearRegression())
])
poly_model_2.fit(X_train, y_train)

print("\n--- Полиномиальная регрессия (степень 2) ---")
print(f"MSE на обучении: {mean_squared_error(y_train, poly_model_2.predict(X_train)):.4f}")
print(f"MSE на тесте:    {mean_squared_error(y_test,  poly_model_2.predict(X_test)):.4f}")

plt.figure(figsize=(10, 6))
plt.scatter(X_train, y_train, color='green', alpha=0.5, label='Обучающая выборка')
plt.scatter(X_test,  y_test,  color='red',   alpha=0.5, label='Тестовая выборка')
plt.plot(X_plot, poly_model_2.predict(X_plot), color='blue', linewidth=3, label='Модель (степень 2)')
plt.legend()
plt.title('Полиномиальная регрессия степени 2 (оптимальная)')
plt.grid(True)
plt.show()
--- Полиномиальная регрессия (степень 2) ---
MSE на обучении: 0.0802
MSE на тесте:    0.0770
In [ ]:
poly_model_15 = Pipeline([
    ('poly',   PolynomialFeatures(degree=15, include_bias=False)),
    ('linear', LinearRegression())
])
poly_model_15.fit(X_train, y_train)

print("\n--- Полиномиальная регрессия (степень 15) ---")
print(f"MSE на обучении: {mean_squared_error(y_train, poly_model_15.predict(X_train)):.4f}")
print(f"MSE на тесте:    {mean_squared_error(y_test,  poly_model_15.predict(X_test)):.4f}")

plt.figure(figsize=(10, 6))
plt.scatter(X_train, y_train, color='green', alpha=0.5, label='Обучающая выборка')
plt.scatter(X_test,  y_test,  color='red',   alpha=0.5, label='Тестовая выборка')
plt.plot(X_plot, poly_model_15.predict(X_plot), color='purple', linewidth=3, label='Модель (степень 15)')
plt.legend()
plt.title('Полиномиальная регрессия степени 15 (СИЛЬНОЕ ПЕРЕОБУЧЕНИЕ)')
plt.grid(True)
plt.show()
--- Полиномиальная регрессия (степень 15) ---
MSE на обучении: 22.3938
MSE на тесте:    69942577.6653
In [8]:
print("Коэффициенты степени 2:")
print(poly_model_2.named_steps['linear'].coef_)

print("\nКоэффициенты степени 15:")
print(poly_model_15.named_steps['linear'].coef_)
Коэффициенты степени 2:
[[0.97310248 2.99355626]]

Коэффициенты степени 15:
[[-5.08863913e-08  1.06061359e-07 -4.55482834e-07  1.07372888e-06
  -3.73711546e-06  8.88098583e-06 -2.70999308e-05  5.83574397e-05
  -1.50506332e-04  2.31843565e-04 -4.11713300e-04 -1.16818039e-04
   6.13366087e-05  2.34846121e-05  2.05042712e-06]]
In [9]:
degrees = range(1, 21)
train_errors = []
test_errors  = []

for d in degrees:
    model = Pipeline([
        ('poly',   PolynomialFeatures(degree=d, include_bias=False)),
        ('linear', LinearRegression())
    ])
    model.fit(X_train, y_train)
    train_errors.append(mean_squared_error(y_train, model.predict(X_train)))
    test_errors.append(mean_squared_error(y_test,  model.predict(X_test)))

plt.figure(figsize=(10, 6))
plt.plot(degrees, train_errors, marker='o', label='Ошибка на обучении (MSE)')
plt.plot(degrees, test_errors,  marker='s', label='Ошибка на тесте (MSE)')
plt.xlabel('Степень полинома')
plt.ylabel('Среднеквадратичная ошибка (MSE)')
plt.title('Зависимость ошибки от сложности модели')
plt.legend()
plt.grid(True)
plt.show()

# Момент начала переобучения
best_degree = degrees[np.argmin(test_errors)]
print(f"Оптимальная степень (минимальная тестовая ошибка): {best_degree}")
Оптимальная степень (минимальная тестовая ошибка): 2