Retour sur AWS Summit Paris 2023
Le 4 avril dernier s’est déroulée la grande messe AWS à Paris au Palais des Congrès. 1 journée, plus de 100 conférences, de très nombreux exposants et des Zenikas bien sûr 🙂
Voici une restitution des quelques conférences qui nous ont marquées, bonne lecture !
Automatisez l’observabilité de vos clusters Amazon EKS
Cette présentation, animée par Rodrigue Koffi, a démarré sur les rappels des piliers de l’observabilité :
- La collecte et l’exploitation des logs des applications et des équipements d’infrastructure
- Les métriques associées : autant des données techniques comme le nombre de requêtes traitées, mais également des données métiers : le coût d’un panier validé sur un site d’e-commerce
- La récupération et le suivi des traces distribuées des appels au travers des applications d’un parcours utilisateur.
2 grandes familles d’outils sont disponibles pour mettre en place cette collecte de données :
- Stack 100% AWS constituée de AWS Cloudwatch ServiceLens, AWS X-ray pour inspecter et capturer les différentes informations
- Stack Open Source nécessitant la mise en place de composants supplémentaires de notre choix en utilisant la collection d’outils et de bibliothèques fournie par le projet OpenTelemetry de la CNCF. L’ensemble peut s’appuyer sur AWS Managed Grafana, AWS Managed Prometheus et Amazon OpenSearch Service afin de persister les données dans les services managés respectivement Grafana, Prometheus et OpenSearch (fork AWS d’Elastic et Kibana)
OpenTelemetry est un ensemble de composants s’intégrant dans nos applications pour exposer des métriques / traces / logs de manière agnostique par rapport aux fournisseurs qui stockent la donnée et l’exploitent. AWS fournit une distribution de ce projet dédiée à ses produits nommée ADOT (AWS Distro for OpenTelemetry). En fonction du langage / du type de lancement des conteneurs (EC2 ou Fargate), ces composants peuvent être lancés en side-car conteneur ou doivent être inclus dans le code applicatif.
Optimisez l’élasticité et les coûts de vos environnements Amazon EKS
Sébastien Allamand a présenté les Blueprint disponibles pour EKS afin de monter plus rapidement un cluster fonctionnel. Ce qui a surtout retenu mon attention est la mise en œuvre de Karpenter : l’un des enjeux autour de la mise en œuvre de Kubernetes est l’élasticité des applications : aucun Pod ne tourne la nuit sur les environnements non critiques ou plusieurs réplicas sont nécessaires pour assurer de la haute disponibilité ou tenue à la charge. La première approche est d’instancier des VMs dans un Auto Scaling Group qui permettra d’ajouter ou de supprimer des nœuds en fonction de la charge CPU, du nombre de requêtes du Load Balancer ou de l’heure de la journée par exemple via des alarmes Cloudwatch. Un ASG “est long” à se déclencher : entre 2 et 5 min. De plus, toutes les VMs le composant sont de tailles identiques. Le service managé Kubernetes EKS prend en charge un ou plusieurs ASG pour pallier ce comportement.
Le projet Karpenter adopte une approche différente : c’est un Controller s’exécutant dans Kubernetes qui inspecte les Pods à l’état Pending et démarre immédiatement une VM dont la taille correspond à la somme des `request` CPU et mémoire des Pods en attente. Ainsi, en moins d’une minute, une nouvelle VM rejoint le cluster et les Pods en attente vont démarrer.
Cet autoscaler ne pilote pas un ASG mais crée directement un Launch Template avec notamment la taille de VM parmi un catalogue pré-configuré. Cela permet d’avoir un temps d’ajout de Node beaucoup plus court qu’avec le fonctionnement initial.
De plus, cet autoscale fait de la “consolidation” : lorsque des Pods sont supprimés, les VMs sous jacentes peuvent être sous utilisées, il va alors démarrer une nouvelle VM plus petite, faire un `cordon` + `drain` sur la première lorsque la nouvelle est prête puis laisser le `scheduler` déplacer les Pods sur le nouveau Node.
Un REX de la société Jump Technology a permis d’illustrer la mise en place de cet autoscaler sur un EKS exécutant notamment des jobs gitlab-ci : le nombre de VMs suit la courbe des demandes des développeurs et permet ainsi d’absorber les pics de lancement des pipelines tout en conservant une réactivité sur les périodes de creux.
Les nouveautés re:Invent pour détecter les biais dans l’IA
La conférencière débute sa présentation avec quelques exemples de cas où le recours à l’Intelligence Artificielle a mal tourné dont l’un des plus mémorables demeure le chatbot de Microsoft, Tay, ayant tenu des propos antisémite et raciste après environ 16 heures de discussion avec des utilisateurs de Twitter.
Plutôt que se concentrer sur l’utilisation de l’outil, ici, Amazon SageMaker Data Wrangler, qui permet de préparer rapidement des sets de données, les visualiser ou encore les extraire, la conférencière a surtout poussé l’assistance à la réflexion sur plusieurs aspects de la collecte de données tels que :
- Savoir se poser les bonnes questions sur la provenance des données et leur fiabilité : Comment ont-elles été obtenues ? La formulation des questions est-elle tendancieuse ?
- La répartition des données est-elle équilibrée? Courbe de Gauss, graphique à barres suivant une répartition gaussienne.
- Savoir éliminer des données non pertinentes : les données sont-elles “top” ou “flop” par rapport au contexte que l’on considère, sont-elles plausibles ?
Cette session était vraiment intéressante car elle faisait participer le public à plusieurs occasions (votes à mains levées pour répondre des questions, jeu des données “top” ou “flop” afin d’estimer la qualité d’une donnée rapportée au contexte). Une fois la présentation terminée, on se rend compte que ces interactions ont permis de parfaitement illustrer et confirmer ses propos par la démonstration comme par exemple la question lors d’un vote à main levée : “Combien d’entre vous sont cons?”, une question totalement subjective, soumise à la perception et à laquelle (presque) personne ne répondra par l’affirmative.
La session s’est conclue par un rappel: l’Intelligence Humaine doit prévaloir sur l’Intelligence Artificielle.
Lien utile :
Comment le HPC permet d’accélérer la recherche Médicale
Cette conférence portait sur l’apport du Calcul Haute Performance (High Performance Computing) rapporté à un cas d’application pratique au sein d’une unité de recherche médicale (UMR INSERM 1030) au centre de lutte contre le cancer Gustave Roussy. La présentation s’est divisée en 4 parties:
- Définition du HPC et présentation des services de Calcul Haute Performance AWS en place à Gustave Roussy et utilisés par les chercheurs par Makram Jenayah, Senior Solutions Architect chez AWS : AWS EC2 et AWS ParallelCluster.
- Présentation par Jean-Philippe Lamarque, DSI Recherche à Gustave Roussy, des enjeux et de l’infrastructure mise en place à Gustave Roussy. Dans les grandes lignes, des clusters d’instances AWS EC2 managées par AWS ParallelCluster associés à Slurm pour la programmation des jobs.
- Présentation par Julie Colnot, physicienne médicale, d’un cas d’application de Machine Learning sur des instances AWS EC2 organisées en clusters et managées par AWS ParallelCluster. Dans l’unité de recherche médicale, les jobs sont lancés par les chercheurs (pas de configuration, celle-ci a été réalisée par Jean Philippe Lamarque et Makram Jenayah). Les chercheurs utilisent le HPC afin d’établir des diagnostics prédictifs des réponses aux traitements de radiothérapie chez des patients. Les machines sont capables grâce un algorithme d’analyser des milliers de scanners et d’en extraire des informations biologiques et cliniques qui permettent à terme d’arriver à établir un score prédictif sur l’efficacité du traitement en fonction de la “signature” de la tumeur. Un autre exemple d’application des HPC à Gustave Roussy est l’utilisation du modèle de simulation de Monte Carlo (technique mathématique utilisée pour estimer les résultats possibles d’un événement incertain, voir les liens utiles listés à la fin de ce résumé) de traçage des particules afin d’estimer la distribution des doses de traitement chez les patients.
- Projection vers l’avenir avec des perspectives d’extension des cas d’application du HPC comme par exemple la médecine personnalisée c’est-à-dire des stratégies de traitements adaptées pour chaque patient.
Liens utiles:
- AWS aide les chercheurs en France à accélérer la recherche et à développer de nouveaux traitements | Amazon Web Services
- Predicting the response to immunotherapy with artificial intelligence
- Qu’est-ce que la simulation de Monte-Carlo ?
- Artificial Intelligence for Monte Carlo Simulation in Medical Physics
- Essai MAPPYACTS
Utilisez l’IA pour détecter les fake news
Cette session se concentrait sur sur la démonstration des outils à l’œuvre : Amazon Neptune, Amazon Neptune ML et Amazon SageMaker.
Il y a d’abord eu un rappel des notions fondamentales.
Qu’appelle-t-on hyperparamètres?
Les hyperparamètres sont des paramètres réglables qui permettent de contrôler le processus d’entraînement du modèle. Par exemple, avec des réseaux neuronaux, on détermine le nombre de couches masquées et le nombre de nœuds dans chaque couche. Les performances du modèle dépendent fortement des hyperparamètres.
Qu’appelle-t-on données hautement connectées ?
Qu’est qu’un graphe?
Que sont les Graph Neural Networks (GNNs)?
Tous les liens de définition de ces notions se trouvent dans les liens utiles pour aller plus loin que les images d’illustration.
Une fois ces rappels effectués et une rapide présentation des outils qui seront utilisés, la démonstration s’est déroulée en plusieurs étapes :
- Exploration de la base de données Neptune
- Choix de deux actualités de tests : une vraie (La France devient le premier pays à interdire les couverts en plastique) et une fausse (Changer les couches d’un bébé devient un crime.).
- Exporter les données vers Amazon S3 via NeptuneML Export
- Préparation des données via NeptuneML
- Entraînement de 30 modèles GNN via NeptuneML
- Sélection du meilleur modèle fourni par NeptuneML (précision > 60%)
- Déploiement du modèle
- Test du modèle sur les actualités sélectionnées
La démonstration était très dense et le temps imparti ne permettait pas de rentrer dans les détails. Le modèle a bel et bien permis de discerner la fausse actualité et la vraie actualité.
En conclusion :
Pour aller plus loin:
Liens utiles :
- Qu’est-ce que le réglage des hyperparamètres
- Qu’est-ce qu’une base de données orientée graphe ?
- A Gentle Introduction to Graph Neural Networks
- Detect social media fake news using graph machine learning with Amazon Neptune ML
- Amazon Neptune ML
- How to get started with Neptune ML
Women-in-Tech : Quelles initiatives avez-vous mises en place pour augmenter la mixité dans votre entreprise ?
Ce panel était l’occasion pour des dirigeantes dans différents domaines de l’industrie de faire part des initiatives mises en place dans leurs entreprises respectives afin de favoriser la mixité et faire progresser l’égalité des genres. En voici quelques uns:
- Être intentionnel(le) dans son recrutement
Dire clairement que l’on souhaite également étudier des candidatures de femmes pour un poste et dans la même veine, dans son annonce, clarifier le fait que le poste est ouvert autant aux hommes qu’aux femmes. - Les quotas fonctionnent
Bien que personne n’aime être recruté(e) en raison de son genre, les femmes du panel (dont certaines étaient fermement opposées à cette notion même de quotas au début), ont pu constater que ceux-ci sont néanmoins efficaces et pour une raison très simple : le changement intervient rarement à moins d’être provoqué. Ainsi, ont-elles pu constater une progression vers la parité dans leurs entreprises respectives. - Financer et encourager des groupes d’initiatives
Il s’agit ici de groupes de paroles ou d’autres ayant un rôle plus proactif qui seraient subventionnés par l’entreprise pour leurs coûts de fonctionnement. L’idée est de permettre de libérer la parole dans un cadre bienveillant et non-hiérarchisé, proposer des idées afin d’améliorer les conditions de travail en entreprise… - Mettre en place du “shadowing”
Pour les femmes occupant des postes de direction, permettre à d’autres femmes d’être leur ombre : assister aux réunions, aux prises de décisions et avoir la possibilité de discuter avec la personne qu’elles suivent en direct. - Empêcher les comportements visant à invisibiliser des femmes
Un exemple très parlant relaté lors de ce panel et que j’ai personnellement vécu à plusieurs reprises est le suivant : une femme va émettre une idée ou une opinion au cours d’une conversation au sein d’une équipe paritaire ou pas, il n’y aura pas forcément de réaction ou de suite. Au cours de cette même conversation, un homme émet la même idée ou opinion et récolte le crédit de celle-ci.
Les femmes du panel relatent que c’est une situation qui, hélas, se produit encore énormément en entreprise et l’initiative concrète mise en place afin de contrer celle-ci est l’idea attribution qui en bon français pourrait se traduire par “Rendre à César ce qui appartient à César” c’est-à-dire reconnaître et rétablir l’origine d’une idée et aider par là-même les femmes à se sentir légitimes et valorisées lorsqu’elles sont victimes de ces comportements. - Et bien sûr, les bases!
- Rémunérer des fonctions et des compétences, pas des genres. Autrement dit : “À travail égal, salaire égal.”
- Créer et favoriser un environnement de travail non pénalisant pour les femmes : des horaires de travail raisonnables permettant aux femmes d’assister à toutes les réunions, encourager leur progression, permettre la montée en compétence et l’accès à des postes de direction, etc.
À noter que cette session s’est déroulée en anglais, d’où la présence de certaines notions non traduites car l’équivalent parfait en français n’existe pas.
Pour résumer
Nous avons découvert pleins de nouvelles choses, rencontré de nombreux partenaire. Ce fut un moment très riche.
Notes personnelles :
- Guillaume regrette le niveau pas suffisamment élevé en terme de difficultés des conférences, la keynote était clairement à but commerciale pour satisfaire les décideurs mais rien pour les “clouders” 🙁
- Claudine a pu rencontrer des partenaires dont elle utilise les outils quotidiennement (Dynatrace et Splunk notamment) et a pu poser des questions afin d’avoir des pistes pour répondre à certains besoins spécifiques dans le cadre de ma mission. Si on sort du cadre des conférences, les stands des partenaires étaient vraiment un plus.
