Performance Prediction and Evaluation Tools

La predicció és un concepte de recerca molt interessant. No es només predir el resultat futur, sinó que també cal predir el resultat conegut, a vegades anomenat validació. <br/><br/>L'aplicació de tècniques de predicció sobre el comportament de sistemes és sempre molt útil perquè ens ajuda a comprendre el funcionament del elements que estem analitzant.<br/><br/>Aquest treball va començar tot analitzant la influència de l'execució concurrent de diverses aplicacions de pas de missatges. Així, l'objectiu original era trobar i proposar uns algorismes de planificació de processos que obtinguessin un throughput màxim, equitatiu, i amb un rendiment adecuat del sistema.<br/><br/>Per a poder avaluar adecuadament aquestes polítiques de planificació, varem trobar que ens calien eines d'analisi. Dimemas i Paraver són les eines de l'entorn que anomenem DiP. Tot i que aqueste eines varem estar dissenyades fa més de deu anys, són vàlides i ampliables.<br/><br/>Dimemas es l'eina de predicció de rendiment. Tot fent ús de models senzills, pot predir el temps d'execució de les aplicacions de pas de missatges, fent servir un conjunt de paràmetres que modelitzen el funcionament del sistema. No és només una eina que prediu el temps d'execució, sinó que s'ha demostrat molt útil per entendre la influència dels diferents paràmetres del sistema en el temps de resposta de les aplicacions<br/><br/>L'eina d'anàlisi de l'entorn DiP s'anomena Paraver. Permet analitzar simultàniament moltes aplicacions i el sistema des de diferent punts de vista: analitzant els missatges, les contencions a la xarxa de comunicació, la planificació del processador.<br/><br/>Promenvir/ST-ORM és l'eina d'anàlisi estocàstic. Inclou utilitats que permeten analitzar la influència de qualsevol paràmetre del sistema, així com sintonitzar els paràmetres de simulació, per aconseguir que les prediccions s'aproximin a la realitat.<br/><br/>La qualitat i categoria de les decisions que varem prendre fa anys queda demostrada per la mètode de com cal utilitzar conjuntament totes les eines, i perquè són eines què es corresponen a l'estat de l'art actual.<br/><br/>Aquest treball inclou la descripció de les diferents eines, des de el punt de vista de disseny fins la seva utilització (en cert grau), la validació de Dimemas, el disseny conceptual de Promenvir, la presentació del mètode que cal emprar amb aquestes eines (incloent anàlisi d'aplicacions individuals fins a anàlisis més complex), i alguns dels nostres primers anàlisi sobre polítiques de planificació de processador. Prediction is an interesting research topic. It is not only to predict the future result, but also to predict the past, often called validation. Applying prediction techniques to observed system behavior has always been extremely useful to understand the internals of the elements under analysis.<br/><br/>We have started this work to analyze the influence of several message passing application when running in parallel. The original objective was to find and propose a process scheduling algorithm that maximizes the system throughput, fair, proper system utilization.<br/><br/>In order to evaluate properly the different schedulers, it is necessary to use some tools. Dimemas and Paraver, conform the core of DiP environment. These tools has been designed ten years ago, but still valid and extensible.<br/><br/>Dimemas is a performance prediction tool. Using a single models, it capable to predict execution time for message passing applications, considering few system parameters for the system. It is useful not only to predict the result of an execution, but to understand the influence of the system parameters in the execution time of the application.<br/><br/>Paraver is the analysis tool of DiP environment. It allows the analysis of applications and system from several points of view: analyzing messages, contention in the interconnection network, processor scheduling.<br/><br/>Promenvir/ST-ORM is a stochastic analysis tool. It incorporates facilities to analyze the influence of any parameter in the system, as well as to tune the simulation parameters, so the prediction is close to reality. <br/><br/>The methodology on how to use these tools as a group to analyze the whole environment, and the fact that all those tools are State of the Art, demonstrates the quality of the decisions we made some years ago.<br/><br/>This work includes description of the different tools, from its internal design to some external utilization, the validation of Dimemas, the concept design of Promenvir, the architecture for Promenvir, the presentation of the methodology used with these tools (for simple application analysis to complex system analysis), and some of our first analyses on processor scheduling policies.