Microsoft Fabric Spark Native Engine

📌 Parcours : Avancé 🎯 Le moteur d’exécution natif (Spark Native Engine) est une amélioration révolutionnaire pour les exécutions de tâches Apache Spark dans Microsoft Fabric. Ce moteur vectorisé optimise les performances et l’efficacité de vos requêtes Spark en les exécutant directement sur votre infrastructure Lakehouse.

📢 Speakers :

• Sofiane Yahiaoui :   / sofiane-yahiaoui-7006b915  
• Amar Adghar :   / amar-adghar-22b300155  
• Romain Casteres :   / casteres  

🔥 Au programme :

0:16 – Coucou 🦉

0:41 – Spark Architecture

2:52 – Row vs Columnar and SIMD

5:01 – Velox, Gluten

13:14 – Spark Architecture with Native Engine

14:27 – Activation du Native Engine

15:19 – Fallbacks

15:33 – Monitoring

17:15 – Demo

17:52 – Conclusion

💡Ressources :

• https://blog.fabric.microsoft.com/en-…
• https://learn.microsoft.com/en-us/fab…
• https://velox-lib.io/blog/
• https://github.com/facebookincubator/…
• https://github.com/apache/incubator-g…

🔗 Data Chouette :

•   / 12963208  
• https://x.com/DataChouette