Nous pr�sentons un nouvel algorithme incr�mental et parall�le de S�parateur � Vaste Marge (SVM ou Support Vector Machine) pour la classification de tr�s grands ensembles de donn�es en utilisant le processeur de la carte graphique (GPUs, Graphics Processing Units). Les SVMs et les m�thodes de noyaux permettent de construire des mod�les avec une bonne pr�cision mais ils n�cessitent habituellement la r�solution d'un programme quadratique ce qui requiert une grande quantit� de m�moire et un long temps d'ex�cution pour les ensembles de donn�es de taille importante. Nous pr�sentons une extension de l'algorithme de Least Squares SVM (LS-SVM) propos� par Suykens et Vandewalle pour obtenir un algorithme incr�mental et parall�le. Le nouvel algorithme est ex�cut� sur le processeur graphique pour obtenir une bonne performance � faible co�t. Les r�sultats num�riques sur les ensembles de donn�es de l'UCI et Delve montrent que notre algorithme incr�mental et parall�le est environ 70 fois plus rapide sur GPU que sur CPU et significativement plus rapide (plus de 1000 fois) que les algorithmes standards tels que LibSVM, SVM-perf et CB-SVM.