Wie können Bibliotheken wie scikit-learn verwendet werden, um die SVM-Klassifizierung in Python zu implementieren, und welche Schlüsselfunktionen sind dafür erforderlich?

/ / Veröffentlicht in Künstliche Intelligenz, EITC/AI/MLP Maschinelles Lernen mit Python, Unterstützung vektor maschine, Unterstützung der Optimierung von Vektormaschinen, Prüfungsrückblick

Support Vector Machines (SVM) sind eine leistungsstarke und vielseitige Klasse überwachter maschineller Lernalgorithmen, die sich besonders gut für Klassifizierungsaufgaben eignen. Bibliotheken wie scikit-learn in Python bieten robuste Implementierungen von SVM und machen sie für Praktiker und Forscher gleichermaßen zugänglich. Diese Antwort erläutert, wie scikit-learn zur Implementierung der SVM-Klassifizierung eingesetzt werden kann, und erläutert die beteiligten Schlüsselfunktionen detailliert und mit anschaulichen Beispielen.

Einführung in SVM

Support Vector Machines arbeiten, indem sie die Hyperebene finden, die die Daten am besten in verschiedene Klassen trennt. In einem zweidimensionalen Raum ist diese Hyperebene einfach eine Linie, in höheren Dimensionen wird sie jedoch zu einer Ebene oder Hyperebene. Die optimale Hyperebene ist diejenige, die den Abstand zwischen den beiden Klassen maximiert, wobei der Abstand als Abstand zwischen der Hyperebene und den nächstgelegenen Datenpunkten einer der beiden Klassen, den sogenannten Support-Vektoren, definiert ist.

Scikit-learn und SVM

Scikit-learn ist eine leistungsstarke Python-Bibliothek für maschinelles Lernen, die einfache und effiziente Tools für Data Mining und Datenanalyse bietet. Sie basiert auf NumPy, SciPy und matplotlib. Das `svm`-Modul in scikit-learn ermöglicht die Implementierung von SVM-Algorithmen.

Schlüsselfunktionen

1. `svm.SVC`: Dies ist die Hauptklasse zur Durchführung der Klassifizierung mit SVM. SVC steht für Support Vector Classification.
2. `passen`: Diese Methode wird verwendet, um das Modell anhand der gegebenen Daten zu trainieren.
3. `vorhersagen`: Sobald das Modell trainiert ist, wird diese Methode verwendet, um die Klassenbezeichnungen für die gegebenen Testdaten vorherzusagen.
4. `Punktzahl`: Mit dieser Methode wird die Genauigkeit des Modells anhand der Testdaten bewertet.
5. `GridSearchCV`: Dies wird zur Hyperparameter-Optimierung verwendet, um die besten Parameter für das SVM-Modell zu finden.

Implementierung der SVM-Klassifizierung mit scikit-learn

Betrachten wir die Schritte zur Implementierung der SVM-Klassifizierung mit scikit-learn.

Schritt 1: Bibliotheken importieren

Importieren Sie zunächst die erforderlichen Bibliotheken:

{{EJS9}}
Schritt 2: Laden des Datensatzes


Zu Demonstrationszwecken verwenden wir den Iris-Datensatz, einen in der Community des maschinellen Lernens bekannten Datensatz:


{{EJS10}}
Schritt 3: Aufteilen des Datensatzes


Teilen Sie den Datensatz in Trainings- und Testsätze auf:


{{EJS11}}
Schritt 4: Funktionsskalierung


Die Feature-Skalierung ist für SVM wichtig, da sie auf den Maßstab der Eingabe-Features reagiert:


{{EJS12}}
Schritt 5: Trainieren des SVM-Modells


Instanziieren Sie den SVM-Klassifikator und trainieren Sie ihn anhand der Trainingsdaten:


python
# Create an instance of SVC and fit the data
svc = SVC(kernel='linear', C=1.0)
svc.fit(X_train, y_train)

Hier haben wir einen linearen Kernel verwendet und den Regularisierungsparameter „C“ auf 1.0 gesetzt. Der Kernelparameter gibt den Typ der Hyperebene an, die zum Trennen der Daten verwendet wird. Gängige Kernel sind „linear“, „poly“ (polynomisch), „rbf“ (radiale Basisfunktion) und „sigmoid“.
Schritt 6: Vorhersagen treffen
Verwenden Sie das trainierte Modell, um Vorhersagen auf Grundlage der Testdaten zu treffen:
{{EJS14}}
Schritt 7: Bewertung des Modells


Bewerten Sie die Leistung des Modells anhand von Kennzahlen wie der Konfusionsmatrix und dem Klassifizierungsbericht:


python
# Evaluate the model
print(confusion_matrix(y_test, y_pred))
print(classification_report(y_test, y_pred))

Die Konfusionsmatrix bietet eine Zusammenfassung der Vorhersageergebnisse, während der Klassifizierungsbericht Präzision, Rückruf, F1-Score und Unterstützung für jede Klasse enthält.
Hyperparameter-Tuning mit GridSearchCV
Die Feinabstimmung der Hyperparameter ist für die Optimierung der Leistung eines SVM-Modells unerlässlich. Mit „GridSearchCV“ von Scikit-learn können Sie eine umfassende Suche über ein angegebenes Parameterraster durchführen:
python
from sklearn.model_selection import GridSearchCV

# Define the parameter grid
param_grid = {
    'C': [0.1, 1, 10, 100],
    'gamma': [1, 0.1, 0.01, 0.001],
    'kernel': ['rbf']
}

# Create a GridSearchCV instance
grid = GridSearchCV(SVC(), param_grid, refit=True, verbose=2)
grid.fit(X_train, y_train)

# Print the best parameters and the corresponding score
print("Best parameters found: ", grid.best_params_)
print("Best score: ", grid.best_score_)

# Use the best estimator to make predictions
grid_predictions = grid.predict(X_test)

# Evaluate the model with the best parameters
print(confusion_matrix(y_test, grid_predictions))
print(classification_report(y_test, grid_predictions))

In diesem Beispiel haben wir mithilfe des RBF-Kernels ein Werteraster nach „C“ und „Gamma“ durchsucht. Die Instanz „GridSearchCV“ passt das Modell mit den besten Parametern an, die während der Suche gefunden wurden.
Visualisierung der Entscheidungsgrenze
Um besser zu verstehen, wie der SVM-Klassifikator funktioniert, ist es oft hilfreich, die Entscheidungsgrenze zu visualisieren. Dies ist in einem zweidimensionalen Merkmalsraum einfacher. Nachfolgend finden Sie ein Beispiel mit einem synthetischen Datensatz:
python
from sklearn.datasets import make_blobs

# Generate a synthetic dataset
X, y = make_blobs(n_samples=100, centers=2, random_state=6)

# Fit the SVM model
svc = SVC(kernel='linear', C=1.0)
svc.fit(X, y)

# Create a mesh to plot the decision boundary
h = .02
x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, h), np.arange(y_min, y_max, h))

# Predict the class for each point in the mesh
Z = svc.predict(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)

# Plot the decision boundary
plt.contourf(xx, yy, Z, alpha=0.8)
plt.scatter(X[:, 0], X[:, 1], c=y, edgecolors='k', marker='o')
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')
plt.title('SVM Decision Boundary')
plt.show()

Der obige Code generiert einen synthetischen Datensatz mit zwei Klassen, passt ein SVM-Modell mit einem linearen Kernel an und visualisiert die Entscheidungsgrenze. Die Funktion „contourf“ wird verwendet, um die Entscheidungsgrenze darzustellen, und das Streudiagramm zeigt die Datenpunkte. Scikit-learn bietet eine umfassende und benutzerfreundliche Schnittstelle zur Implementierung der SVM-Klassifizierung in Python. Die Schlüsselfunktionen wie „svm.SVC“, „fit“, „predict“ und „score“ sind für die Erstellung und Auswertung von SVM-Modellen unerlässlich. Die Hyperparameter-Optimierung mit „GridSearchCV“ verbessert die Modellleistung weiter, indem die optimalen Parameter ermittelt werden. Die Visualisierung der Entscheidungsgrenze kann wertvolle Einblicke in das Verhalten des Klassifikators liefern. Durch Befolgen dieser Schritte kann die SVM-Klassifizierung mithilfe von scikit-learn effektiv implementiert und optimiert werden.
Weitere aktuelle Fragen und Antworten zu EITC/AI/MLP Maschinelles Lernen mit Python:
Weitere Fragen und Antworten finden Sie unter EITC/AI/MLP Machine Learning mit Python
Weitere Fragen und Antworten:
Tagged unter: , , , , ,