Databricks introduit Lakehouse//RT : une extension en temps réel du Databricks Lakehouse. La solution repose sur un nouveau moteur de calcul qui permet une latence très faible pour des dizaines de milliers d’utilisateurs simultanés et d’agents d’IA.
Databricks a annoncé Lakehouse//RT lors de son Data+AI Summit à San Francisco. La solution permet une analyse en temps réel avec une faible latence, mais à grande échelle, sur les environnements lakehouse existants. Le nouveau moteur de base de données Reyden est la force motrice de cette capacité.
Moteur de rêve
Reyden assure une faible latence et peut gérer une simultanéité élevée de requêtes d’analyse, sans que les requêtes ne pèsent sur les performances de la base de données de production. Le nom est un clin d’œil au cofondateur de Databricks, Reynold Xin, et signifie Reynolds Dream Engine.
Jusqu’à présent, les entreprises ayant besoin d’une faible latence avec une simultanéité élevée devaient mettre en place une couche de service en temps réel distincte à côté de leur lakehouse. Cela entraînait des coûts d’infrastructure plus élevés, une gestion fragmentée et des données qui n’étaient jamais vraiment à jour. Lakehouse//RT élimine cette nécessité en interrogeant directement les tables Delta et Iceberg au sein du lakehouse géré, sans copier ni déplacer de données.
Pour les entreprises qui souhaitent déployer des agents d’IA à grande échelle, cette possibilité est cruciale. Pour ces agents, un accès rapide aux données d’entreprise complexes est indispensable.
Performances et gestion
Sur les benchmarks analytiques, Lakehouse//RT atteint une latence inférieure à 100 millisecondes pour 12 000 requêtes par seconde. Sur des jeux de données plus restreints, le temps de réponse descend à dix millisecondes. Les clients ont constaté des performances jusqu’à seize fois supérieures à celles de leurs piles de service spécialisées existantes.
Chaque requête s’exécute dans le cadre de gouvernance d’Unity Catalog, incluant les droits et les journaux d’audit. Aucune couche de gouvernance distincte n’est requise, et aucun format propriétaire ou pipeline de synchronisation n’est utilisé.
Lakehouse//RT est désormais disponible en version bêta. Les utilisateurs peuvent déployer la solution directement sur les tables Delta et Iceberg existantes, sans configuration supplémentaire ni pipelines d’ingestion.