Site icon Blog Zenika

Retour sur AWS Summit Paris 2023

  • Guillaume Membré et Claudine LAFINE

    • Le 4 avril dernier s’est déroulée la grande messe AWS à Paris au Palais des Congrès. 1 journée, plus de 100 conférences, de très nombreux exposants et des Zenikas bien sûr 🙂

    Voici une restitution des quelques conférences qui nous ont marquées, bonne lecture !

    Automatisez l’observabilité de vos clusters Amazon EKS

    Cette présentation, animée par Rodrigue Koffi, a démarré sur les rappels des piliers de l’observabilité : 

    2 grandes familles d’outils sont disponibles pour mettre en place cette collecte de données : 

    OpenTelemetry est un ensemble de composants s’intégrant dans nos applications pour exposer des métriques / traces / logs de manière agnostique par rapport aux fournisseurs qui stockent la donnée et l’exploitent. AWS fournit une distribution de ce projet dédiée à ses produits nommée ADOT (AWS Distro for OpenTelemetry). En fonction du langage / du type de lancement des conteneurs (EC2 ou Fargate), ces composants peuvent être lancés en side-car conteneur ou doivent être inclus dans le code applicatif.

    Optimisez l’élasticité et les coûts de vos environnements Amazon EKS

    Sébastien Allamand a présenté les Blueprint disponibles pour EKS afin de monter plus rapidement un cluster fonctionnel. Ce qui a surtout retenu mon attention est la mise en œuvre de Karpenter : l’un des enjeux autour de la mise en œuvre de Kubernetes est l’élasticité des applications : aucun Pod ne tourne la nuit sur les environnements non critiques ou plusieurs réplicas sont nécessaires pour assurer de la haute disponibilité ou tenue à la charge. La première approche est d’instancier des VMs dans un Auto Scaling Group qui permettra d’ajouter ou de supprimer des nœuds en fonction de la charge CPU, du nombre de requêtes du Load Balancer ou de l’heure de la journée par exemple via des alarmes Cloudwatch. Un ASG “est long » à se déclencher : entre 2 et 5 min. De plus, toutes les VMs le composant sont de tailles identiques. Le service managé Kubernetes EKS prend en charge un ou plusieurs ASG pour pallier ce comportement.

    Le projet Karpenter adopte une approche différente : c’est un Controller s’exécutant dans Kubernetes qui inspecte les Pods à l’état Pending et démarre immédiatement une VM dont la taille correspond à la somme des `request` CPU et mémoire des Pods en attente. Ainsi, en moins d’une minute, une nouvelle VM rejoint le cluster et les Pods en attente vont démarrer.

    Cet autoscaler ne pilote pas un ASG mais crée directement un Launch Template avec notamment la taille de VM parmi un catalogue pré-configuré. Cela permet d’avoir un temps d’ajout de Node beaucoup plus court qu’avec le fonctionnement initial.

    De plus, cet autoscale fait de la « consolidation » : lorsque des Pods sont supprimés, les VMs sous jacentes peuvent être sous utilisées, il va alors démarrer une nouvelle VM plus petite, faire un `cordon` + `drain` sur la première lorsque la nouvelle est prête puis laisser le `scheduler` déplacer les Pods sur le nouveau Node.

    Un REX de la société Jump Technology a permis d’illustrer la mise en place de cet autoscaler sur un EKS exécutant notamment des jobs gitlab-ci : le nombre de VMs suit la courbe des demandes des développeurs et permet ainsi d’absorber les pics de lancement des pipelines tout en conservant une réactivité sur les périodes de creux.

    Les nouveautés re:Invent pour détecter les biais dans l’IA

    La conférencière débute sa présentation avec quelques exemples de cas où le recours à l’Intelligence Artificielle a mal tourné dont l’un des plus mémorables demeure le chatbot de Microsoft, Tay, ayant tenu des propos antisémite et raciste après environ 16 heures de discussion avec des utilisateurs de Twitter.

    Plutôt que se concentrer sur l’utilisation de l’outil, ici, Amazon SageMaker Data Wrangler, qui permet de préparer rapidement des sets de données, les visualiser ou encore les extraire, la conférencière a surtout poussé l’assistance à la réflexion sur plusieurs aspects de la collecte de données tels que :

    Cette session était vraiment intéressante car elle faisait participer le public à plusieurs occasions (votes à mains levées pour répondre des questions, jeu des données “top” ou “flop” afin d’estimer la qualité d’une donnée rapportée au contexte). Une fois la présentation terminée, on se rend compte que ces interactions ont permis de parfaitement illustrer et confirmer ses propos par la démonstration comme par exemple la question lors d’un vote à main levée : “Combien d’entre vous sont cons?”, une question totalement subjective, soumise à la perception et à laquelle (presque) personne ne répondra par l’affirmative.

    La session s’est conclue par un rappel: l’Intelligence Humaine doit prévaloir sur l’Intelligence Artificielle.

    Lien utile :

    Comment le HPC permet d’accélérer la recherche Médicale

    Cette conférence portait sur l’apport du Calcul Haute Performance (High Performance Computing) rapporté à un cas d’application pratique au sein d’une unité de recherche médicale (UMR INSERM 1030) au centre de lutte contre le cancer Gustave Roussy. La présentation s’est divisée en 4 parties:

    1. Définition du HPC et présentation des services de Calcul Haute Performance AWS en place à Gustave Roussy et utilisés par les chercheurs par Makram Jenayah, Senior Solutions Architect chez AWS : AWS EC2 et AWS ParallelCluster.
    2. Présentation par Jean-Philippe Lamarque, DSI Recherche à Gustave Roussy, des enjeux et de l’infrastructure mise en place à Gustave Roussy. Dans les grandes lignes, des clusters d’instances AWS EC2 managées par AWS ParallelCluster associés à Slurm pour la programmation des jobs.
    3. Présentation par Julie Colnot, physicienne médicale, d’un cas d’application de Machine Learning sur des instances AWS EC2 organisées en clusters et managées par AWS ParallelCluster. Dans l’unité de recherche médicale, les jobs sont lancés par les chercheurs (pas de configuration, celle-ci a été réalisée par Jean Philippe Lamarque et Makram Jenayah). Les chercheurs utilisent le HPC afin d’établir des diagnostics prédictifs des réponses aux traitements de radiothérapie chez des patients. Les machines sont capables grâce un algorithme d’analyser des milliers de scanners et d’en extraire des informations biologiques et cliniques qui permettent à terme d’arriver à établir un score prédictif sur l’efficacité du traitement en fonction de la “signature” de la tumeur. Un autre exemple d’application des HPC à Gustave Roussy est l’utilisation du modèle de simulation de Monte Carlo (technique mathématique utilisée pour estimer les résultats possibles d’un événement incertain, voir les liens utiles listés à la fin de ce résumé) de traçage des particules afin d’estimer la distribution des doses de traitement chez les patients.
    4. Projection vers l’avenir avec des perspectives d’extension des cas d’application du HPC comme par exemple la médecine personnalisée c’est-à-dire des stratégies de traitements adaptées pour chaque patient.

    Liens utiles:

    Utilisez l’IA pour détecter les fake news

    Cette session se concentrait sur sur la démonstration des outils à l’œuvre : Amazon Neptune, Amazon Neptune ML et Amazon SageMaker.

    Il y a d’abord eu un rappel des notions fondamentales. 

    Qu’appelle-t-on hyperparamètres?

    Les hyperparamètres sont des paramètres réglables qui  permettent de contrôler le processus d’entraînement du modèle. Par exemple, avec des réseaux neuronaux, on détermine le nombre de couches masquées et le nombre de nœuds dans chaque couche. Les performances du modèle dépendent fortement des hyperparamètres.

    Qu’appelle-t-on données hautement connectées ?

    Qu’est qu’un graphe?

    Que sont les Graph Neural Networks (GNNs)?

    Tous les liens de définition de ces notions se trouvent dans les liens utiles pour aller plus loin que les images d’illustration.

    Une fois ces rappels effectués et une rapide présentation des outils qui seront utilisés, la démonstration s’est déroulée en plusieurs étapes :

    1. Exploration de la base de données Neptune
    2. Choix de deux actualités de tests : une vraie (La France devient le premier pays à interdire les couverts en plastique) et une fausse (Changer les couches d’un bébé devient un crime.).
    3. Exporter les données vers Amazon S3 via NeptuneML Export
    4. Préparation des données via NeptuneML
    5. Entraînement de 30 modèles GNN via NeptuneML
    6. Sélection du meilleur modèle fourni par NeptuneML (précision > 60%)
    7. Déploiement du modèle
    8. Test du modèle sur les actualités sélectionnées

    La démonstration était très dense et le temps imparti ne permettait pas de rentrer dans les détails. Le modèle a bel et bien permis de discerner la fausse actualité et la vraie actualité.

    En conclusion :

    Pour aller plus loin:

    Liens utiles : 

    Women-in-Tech : Quelles initiatives avez-vous mises en place pour augmenter la mixité dans votre entreprise ?

    Ce panel était l’occasion pour des dirigeantes dans différents domaines de l’industrie de faire part des initiatives mises en place dans leurs entreprises respectives afin de favoriser la mixité et faire progresser l’égalité des genres. En voici quelques uns:

    À noter que cette session s’est déroulée en anglais, d’où la présence de certaines notions non traduites car l’équivalent parfait en français n’existe pas.

    Pour résumer

    Nous avons découvert pleins de nouvelles choses, rencontré de nombreux partenaire. Ce fut un moment très riche.

    Notes personnelles :

    Retrouvez tous nos Meetup !

    Auteurs/autrices

    Quitter la version mobile