L’équipe, composée de chercheurs et d’architectes système d’Intel, de Microsoft et de l’Université de Washington, a réussi cet exploit en fusionnant un code d’optimisation léger avec des périphériques réseau à haute vitesse, ce qui a quintuplé la vitesse de l’intelligence artificielle sur les systèmes informatiques paralysés.
Des progrès considérables ont été réalisés dans le domaine de l’intelligence artificielle ces dernières années, principalement dus aux améliorations de l’étape d’apprentissage automatique de l’IA. Dans cette phase, la technologie interagit avec le monde à travers de grandes quantités de données. Ici, le modèle est entraîné à l’aide d’ensembles substantiels de données d’entraînement étiquetées. Le modèle est susceptible de mieux fonctionner lorsqu’il est confronté à de nouvelles entrées s’il est rigoureusement testé par rapport à autant de données que possible.
Une étape cruciale
L’étape d’apprentissage automatique est cruciale pour l’évolution de l’intelligence artificielle ; cependant, du fait qu’il nécessite généralement un nombre considérable d’ordinateurs exécutant l’algorithme d’apprentissage en parallèle, les progrès, jusqu’à présent, n’ont pas été optimaux.
Ci-après une vidéo en anglais présentant le potentiel de l’IA :
Comment former des modèles d’apprentissage en profondeur à grande échelle est un problème très difficile. Les modèles d’IA peuvent comprendre des milliards de paramètres, et nous pouvons utiliser des centaines de processeurs qui doivent fonctionner efficacement en parallèle. Dans de tels systèmes, la communication entre les processeurs lors des mises à jour incrémentielles du modèle devient facilement un goulot d’étranglement majeur des performances.
Surmonter ces défis
Pour surmonter ce problème, l’équipe a intégré l’utilisation d’une nouvelle technologie de réseau développée par Barefoot Networks, une division d’Intel.
Au cours de la phase de mise à jour du modèle du processus d’apprentissage automatique, la plateforme SwitchMl de l’équipe permet au matériel du réseau d’effectuer des tâches d’agrégation de données, ce qui atténue la charge de calcul et minimise la quantité de transmission de données.