227 KiB
227 KiB
In [1]:
import numpy as np
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import PolynomialFeatures
from sklearn.pipeline import Pipeline
from sklearn.metrics import mean_squared_error, r2_score
np.random.seed(42)
m = 100
X = np.sort(np.random.randn(m, 1) * 2 - 1, axis=0)
y = 3 * X**2 + 2 + X + 1 + np.random.randn(m, 1) * 0.3
plt.figure(figsize=(10, 6))
plt.scatter(X, y, color='blue', label="Исходные данные (с шумом)")
plt.xlabel("Признак X")
plt.ylabel("Целевая переменная y")
plt.title("Синтетические данные для регрессии")
plt.legend()
plt.grid(True)
plt.show()In [5]:
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
model = LinearRegression()
model.fit(X_train, y_train)
y_train_pred = model.predict(X_train)
y_test_pred = model.predict(X_test)
print("--- Линейная регрессия (степень 1) ---")
print(f"MSE на обучении: {mean_squared_error(y_train, y_train_pred):.4f}")
print(f"MSE на тесте: {mean_squared_error(y_test, y_test_pred):.4f}")
print(f"R² на обучении: {r2_score(y_train, y_train_pred):.4f}")
print(f"R² на тесте: {r2_score(y_test, y_test_pred):.4f}")
# Визуализация
plt.figure(figsize=(10, 6))
plt.scatter(X_train, y_train, color='green', alpha=0.5, label='Обучающая выборка')
plt.scatter(X_test, y_test, color='red', alpha=0.5, label='Тестовая выборка')
X_plot = np.linspace(-1, 1, 100).reshape(-1, 1)
plt.plot(X_plot, model.predict(X_plot), color='black', linewidth=3, label='Модель (прямая)')
plt.legend()
plt.title('Линейная регрессия (недообучение)')
plt.grid(True)
plt.show()--- Линейная регрессия (степень 1) --- MSE на обучении: 147.7139 MSE на тесте: 304.1505 R² на обучении: 0.4254 R² на тесте: 0.5454
In [6]:
poly_model_2 = Pipeline([
('poly', PolynomialFeatures(degree=2, include_bias=False)),
('linear', LinearRegression())
])
poly_model_2.fit(X_train, y_train)
print("\n--- Полиномиальная регрессия (степень 2) ---")
print(f"MSE на обучении: {mean_squared_error(y_train, poly_model_2.predict(X_train)):.4f}")
print(f"MSE на тесте: {mean_squared_error(y_test, poly_model_2.predict(X_test)):.4f}")
plt.figure(figsize=(10, 6))
plt.scatter(X_train, y_train, color='green', alpha=0.5, label='Обучающая выборка')
plt.scatter(X_test, y_test, color='red', alpha=0.5, label='Тестовая выборка')
plt.plot(X_plot, poly_model_2.predict(X_plot), color='blue', linewidth=3, label='Модель (степень 2)')
plt.legend()
plt.title('Полиномиальная регрессия степени 2 (оптимальная)')
plt.grid(True)
plt.show()--- Полиномиальная регрессия (степень 2) --- MSE на обучении: 0.0802 MSE на тесте: 0.0770
In [7]:
poly_model_15 = Pipeline([
('poly', PolynomialFeatures(degree=15, include_bias=False)),
('linear', LinearRegression())
])
poly_model_15.fit(X_train, y_train)
print("\n--- Полиномиальная регрессия (степень 15) ---")
print(f"MSE на обучении: {mean_squared_error(y_train, poly_model_15.predict(X_train)):.4f}")
print(f"MSE на тесте: {mean_squared_error(y_test, poly_model_15.predict(X_test)):.4f}")
plt.figure(figsize=(10, 6))
plt.scatter(X_train, y_train, color='green', alpha=0.5, label='Обучающая выборка')
plt.scatter(X_test, y_test, color='red', alpha=0.5, label='Тестовая выборка')
plt.plot(X_plot, poly_model_15.predict(X_plot), color='purple', linewidth=3, label='Модель (степень 15)')
plt.legend()
plt.title('Полиномиальная регрессия степени 15 (СИЛЬНОЕ ПЕРЕОБУЧЕНИЕ)')
plt.grid(True)
plt.show()--- Полиномиальная регрессия (степень 15) --- MSE на обучении: 22.3938 MSE на тесте: 69942577.6653
In [8]:
print("Коэффициенты степени 2:")
print(poly_model_2.named_steps['linear'].coef_)
print("\nКоэффициенты степени 15:")
print(poly_model_15.named_steps['linear'].coef_)Коэффициенты степени 2: [[0.97310248 2.99355626]] Коэффициенты степени 15: [[-5.08863913e-08 1.06061359e-07 -4.55482834e-07 1.07372888e-06 -3.73711546e-06 8.88098583e-06 -2.70999308e-05 5.83574397e-05 -1.50506332e-04 2.31843565e-04 -4.11713300e-04 -1.16818039e-04 6.13366087e-05 2.34846121e-05 2.05042712e-06]]
In [9]:
degrees = range(1, 21)
train_errors = []
test_errors = []
for d in degrees:
model = Pipeline([
('poly', PolynomialFeatures(degree=d, include_bias=False)),
('linear', LinearRegression())
])
model.fit(X_train, y_train)
train_errors.append(mean_squared_error(y_train, model.predict(X_train)))
test_errors.append(mean_squared_error(y_test, model.predict(X_test)))
plt.figure(figsize=(10, 6))
plt.plot(degrees, train_errors, marker='o', label='Ошибка на обучении (MSE)')
plt.plot(degrees, test_errors, marker='s', label='Ошибка на тесте (MSE)')
plt.xlabel('Степень полинома')
plt.ylabel('Среднеквадратичная ошибка (MSE)')
plt.title('Зависимость ошибки от сложности модели')
plt.legend()
plt.grid(True)
plt.show()
# Момент начала переобучения
best_degree = degrees[np.argmin(test_errors)]
print(f"Оптимальная степень (минимальная тестовая ошибка): {best_degree}")Оптимальная степень (минимальная тестовая ошибка): 2