Conception et réalisation d'un noyau de communication bâti sur la la primitive d'écriture distante, pour machines parallèles de type "grappe de PCs"

A. Fenyö

LIP6 2001/019: THÈSE de DOCTORAT de l'UNIVERSITÉ PARIS 6 LIP6 / LIP6 research reports
294 pages - Juillet/July 2001 - French document.

Get it : 3480 Ko /Kb

Contact : par mail / e-mail

Thème/Team: Architecture des Systèmes Intégrés et Micro-Électronique

Titre français : Conception et réalisation d'un noyau de communication bâti sur la la primitive d'écriture distante, pour machines parallèles de type "grappe de PCs"
Titre anglais : Design and construction of a communication kernel on the hardware remote write primitive, for parallel computers based on clusters of workstations

Résumé : Cette thèse présente l'étude et la réalisation de MPC-OS, un noyau de communication pour machines parallèles de type grappe de PCs, bâti sur la primitive d'écriture distante. Plus particulièrement, elle présente un empilement de protocoles implémentés dans le noyau Unix et accessibles autant aux applications en mode utilisateur qu'aux modules internes du système d'exploitation. Basé sur une primitive de DMA matérielle rudimentaire sur réseau d'interconnexion Gigabit, MPC-OS fournit des services à forte valeur ajoutée : communications sur canaux virtuels, sécurisation des transmissions, échanges de données entre espaces de mémoire virtuelle et gestion mémoire avec garanties d'intégrité des tampons de communication. La difficulté a consisté à concevoir ces services sans copie de tampon, pour une efficacitée maximale. L'allocation dynamique des ressources est externalisée auprès d'un gestionnaire distribué, basé sur un coeur d'ORB multi-thread développé spécifiquement pour MPC-OS. Après une exploration détaillée des performances logicielles, on engage alors une approche nouvelle du problème de la sécurisation : une étude stochastique du phénomène de double-faute nous permet de montrer que, sous certaines conditions, un protocole de correction simpliste permet d'obtenir simultanément de bonnes performances et une sécurisation satisfaisante. MPC-OS équipe aujourd'hui plusieurs plate-formes MPC réparties dans différentes universités de France. Il a permis de développer des portages optimisés des environnements de programmation parallèle PVM et MPI sur la machine MPC, et a été utilisé par des industriels (GEC Marconi Aerospace Systems et Parsytec Computer) pour la validation des développements matériels de machines construites à partir des mêmes composants que la plate-forme MPC.

Abstract : This Ph.D Thesis presents the design and construction of MPC-OS, a communication kernel built on the remote-write primitive and dedicated to parallel computers made of clusters of workstations. Moreover, it discusses a stack of protocols implemented inside the Unix kernel, and available either to the user-level processes or to the operating system internal modules. Based on a simple Direct Memory Access hardware primitive for Gigabit interconnect networks, MPC-OS provides many value-added services : communications through virtual channels, reliable transmissions, data exchanges between virtual memory areas and memory management preserving the integrity of communication bu_ers. In order to get as much efficiency as possible, zero-copy mechanisms were used for all those services. This constraint represents the major difficulty of this work. The dynamic allocation of resources is handled by a distributed manager, based on a multi-threaded Object Request Broker specially designed for MPC-OS. After a detailed survey of the software performances, we studied the transmission reliability issue through a new approach : a probabilistic model in fault coupling allowed us to show that, if we fulfil some basic requirements, an elementary protocol may achieve both good performances and signi_cant reliability. Today, MPC-OS runs on various MPC clusters and is spread out over several French universities. It has allowed the optimised port of the major parallel programming environments such as PVM and MPI to the MPC computer. Some computer manufacturers (GEC Marconi Aerospace Systems and Parsytec Computer) have used it to validate their hardware developments based on hardware components from the MPC computer.

Mots-clés : machine parallèle, environnement de programmation, écriture distante, sécurisation, gestion mémoire, allocation dynamique de ressources

Key-words : parallel computer, cluster of workstations, programming environment, remote write, reliability, memory management, dynamic resource allocation

Publications internes LIP6 2001 / LIP6 research reports 2001

Responsable Éditorial / Editor :Francois.Dromard@lip6.fr