Avec Datastream, Snowflake introduit un nouveau service pour acheminer des données en temps réel directement vers sa propre plateforme, sans connexions externes.
Snowflake lance Datastream lors de son Summit à San Francisco. Avec Datastream, Snowflake souhaite donner aux utilisateurs les outils nécessaires pour connecter des données externes en temps réel à l’environnement Snowflake. Cela crée une base sur laquelle les organisations peuvent déployer des agents IA, qui peuvent ensuite exploiter ces données actualisées.
Compatible avec Kafka
Datastream est nativement intégré à Snowflake et compatible avec Kafka. Cela permet aux organisations de connecter des applications de streaming et des flux de données existants sans avoir à remanier leur environnement. Snowflake combine la compatibilité Kafka pour l’ingestion en continu avec la gestion et la sécurité de sa propre plateforme.
« Datastream est compatible avec le Kafka Wire Protocol, mais n’utilise pas Kafka sous le capot », précise encore Kleinerman. « La technologie est purement Snowflake et elle est profondément intégrée, mais avec beaucoup de soin et d’attention portés à la compatibilité. »
Les équipes peuvent ainsi diffuser des données directement dans les tables Snowflake. Elles n’ont plus besoin de maintenir un courtier (broker) ou une infrastructure de streaming distincte en plus de leur plateforme de données. Snowflake affirme que les données en streaming bénéficient automatiquement de la même gouvernance, des mêmes contrôles d’accès, du masquage et de la lignée que les autres données de la plateforme.
Base pour CoCo
Snowflake associe immédiatement le lancement de Datastream à l’assistant IA CoCo. Alors que Datastream assure l’approvisionnement continu de données actualisées, CoCo aide les développeurs à construire des applications par-dessus.
Grâce à une nouvelle intégration, les développeurs peuvent configurer et rendre opérationnels des pipelines en temps réel au sein de Snowflake via de simples invites (prompts). Datastream ouvre également la porte à des applications d’IA fonctionnant directement sur des données de streaming en direct. Snowflake positionne ainsi la combinaison de Datastream et CoCo comme une base pour l’IA en temps réel avec une charge de gestion réduite.
Opportunité
Avec Datastream, Snowflake souhaite simplifier la création d’IA en temps réel. Le service doit rassembler des données fragmentées, rendre superflue toute infrastructure de streaming séparée et, parallèlement, centraliser la gouvernance et la sécurité.
Cela devrait être particulièrement pertinent pour les organisations qui souhaitent maintenir leurs agents IA et autres applications d’IA à jour et précis. Avec CoCo, Snowflake fournit immédiatement les outils pour passer concrètement à l’action.
Selon Snowflake, l’opportunité est immense. Le marché de l’analyse en continu (streaming analytics) devrait atteindre 128 milliards de dollars d’ici 2030. Snowflake Datastream sera bientôt disponible de manière limitée en version préliminaire privée (private preview).