280 KiB
280 KiB
In [21]:
import numpy as np
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import PolynomialFeatures
from sklearn.pipeline import Pipeline
from sklearn.metrics import mean_squared_error, r2_score
np.random.seed(42)
m = 100
X = np.sort(np.random.rand(m, 1) * 2 - 1, axis=0)
y = 3 * X**2 + 2 * X + 1 + np.random.randn(m, 1) * 0.3
plt.figure(figsize=(10, 6))
plt.scatter(X, y, color='blue', label="Исходные данные (с шумом)")
plt.xlabel("Признак X")
plt.ylabel("Целевая переменная y")
plt.title("Синтетические данные для регрессии")
plt.legend()
plt.grid(True)
plt.show()In [22]:
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
model = LinearRegression()
model.fit(X_train, y_train)
y_train_pred = model.predict(X_train)
y_test_pred = model.predict(X_test)
print("--- Линейная регрессия (степень 1) ---")
print(f"MSE на обучении: {mean_squared_error(y_train, y_train_pred):.4f}")
print(f"MSE на тесте: {mean_squared_error(y_test, y_test_pred):.4f}")
print(f"R² на обучении: {r2_score(y_train, y_train_pred):.4f}")
print(f"R² на тесте: {r2_score(y_test, y_test_pred):.4f}")
# Визуализация
plt.figure(figsize=(10, 6))
plt.scatter(X_train, y_train, color='green', alpha=0.5, label='Обучающая выборка')
plt.scatter(X_test, y_test, color='red', alpha=0.5, label='Тестовая выборка')
X_plot = np.linspace(-1, 1, 100).reshape(-1, 1)
plt.plot(X_plot, model.predict(X_plot), color='black', linewidth=3, label='Модель (прямая)')
plt.legend()
plt.title('Линейная регрессия (недообучение)')
plt.grid(True)
plt.show()--- Линейная регрессия (степень 1) --- MSE на обучении: 0.8923 MSE на тесте: 0.7339 R² на обучении: 0.6087 R² на тесте: 0.4496
In [23]:
poly_model_2 = Pipeline([
('poly', PolynomialFeatures(degree=2, include_bias=False)),
('linear', LinearRegression())
])
poly_model_2.fit(X_train, y_train)
print("\n--- Полиномиальная регрессия (степень 2) ---")
print(f"MSE на обучении: {mean_squared_error(y_train, poly_model_2.predict(X_train)):.4f}")
print(f"MSE на тесте: {mean_squared_error(y_test, poly_model_2.predict(X_test)):.4f}")
plt.figure(figsize=(10, 6))
plt.scatter(X_train, y_train, color='green', alpha=0.5, label='Обучающая выборка')
plt.scatter(X_test, y_test, color='red', alpha=0.5, label='Тестовая выборка')
plt.plot(X_plot, poly_model_2.predict(X_plot), color='blue', linewidth=3, label='Модель (степень 2)')
plt.legend()
plt.title('Полиномиальная регрессия степени 2 (оптимальная)')
plt.grid(True)
plt.show()--- Полиномиальная регрессия (степень 2) --- MSE на обучении: 0.0768 MSE на тесте: 0.0624
In [24]:
poly_model_15 = Pipeline([
('poly', PolynomialFeatures(degree=15, include_bias=False)),
('linear', LinearRegression())
])
poly_model_15.fit(X_train, y_train)
print("\n--- Полиномиальная регрессия (степень 15) ---")
print(f"MSE на обучении: {mean_squared_error(y_train, poly_model_15.predict(X_train)):.4f}")
print(f"MSE на тесте: {mean_squared_error(y_test, poly_model_15.predict(X_test)):.4f}")
plt.figure(figsize=(10, 6))
plt.scatter(X_train, y_train, color='green', alpha=0.5, label='Обучающая выборка')
plt.scatter(X_test, y_test, color='red', alpha=0.5, label='Тестовая выборка')
plt.plot(X_plot, poly_model_15.predict(X_plot), color='purple', linewidth=3, label='Модель (степень 15)')
plt.legend()
plt.title('Полиномиальная регрессия степени 15 (СИЛЬНОЕ ПЕРЕОБУЧЕНИЕ)')
plt.grid(True)
plt.show()--- Полиномиальная регрессия (степень 15) --- MSE на обучении: 0.0685 MSE на тесте: 0.1426
In [25]:
print("Коэффициенты степени 2:")
print(poly_model_2.named_steps['linear'].coef_)
print("\nКоэффициенты степени 15:")
print(poly_model_15.named_steps['linear'].coef_)Коэффициенты степени 2: [[2.0421425 2.97880859]] Коэффициенты степени 15: [[ 1.25764791e+00 5.25155689e+00 9.73099905e+00 -9.06421627e+00 -1.83747503e+01 -4.26438162e+01 -1.92129627e+02 2.62531162e+02 1.06439785e+03 -4.51495145e+02 -2.13405635e+03 3.03343616e+02 1.90716443e+03 -6.36614075e+01 -6.37030957e+02]]
In [26]:
degrees = range(1, 21)
train_errors = []
test_errors = []
for d in degrees:
model = Pipeline([
('poly', PolynomialFeatures(degree=d, include_bias=False)),
('linear', LinearRegression())
])
model.fit(X_train, y_train)
train_errors.append(mean_squared_error(y_train, model.predict(X_train)))
test_errors.append(mean_squared_error(y_test, model.predict(X_test)))
plt.figure(figsize=(10, 6))
plt.plot(degrees, train_errors, marker='o', label='Ошибка на обучении (MSE)')
plt.plot(degrees, test_errors, marker='s', label='Ошибка на тесте (MSE)')
plt.xlabel('Степень полинома')
plt.ylabel('Среднеквадратичная ошибка (MSE)')
plt.title('Зависимость ошибки от сложности модели')
plt.legend()
plt.grid(True)
plt.show()
# Момент начала переобучения
best_degree = degrees[np.argmin(test_errors)]
print(f"Оптимальная степень (минимальная тестовая ошибка): {best_degree}")Оптимальная степень (минимальная тестовая ошибка): 5