Tour d’horizon: Techniques BI sur SQL Server

Désolé pour les amateurs de la partie business du blog, mais je suis dans une période technique et ça se sent dans les articles. Promis j’équilibrerai bientôt 😉

Comme la dernière fois, je vous livre quelques articles qui m’ont bien plu chez les bloggeurs BI:

Bonne lecture 🙂

Journées SQL Server à Paris : inscriptions ouvertes!

Journées SQL Server

Les inscriptions viennent d’ouvrir pour les Journées SQL Server, l’événement gratuit organisé par le GUSS dont je vous avais parlé plus tôt.

Elles se dérouleront les 12 et 13 décembre (lundi et mardi), à Issy-les-Moulineaux chez Microsoft. Trois parcours sont ouverts: décisionnel, développement SQL et appliance/volumétrie (en attendant un meilleur nom?).

Si vous faîtes partie des lecteurs orientés BI, je vous encourage vivement à participer. Par contre pour ceux qui ne bossent pas dans l’informatique, cela risque d’être un peu trop technique comme première expérience.

De mon côté je vais me faire le parcours suivant:

Les inscriptions c’est par là. Comme vous pouvez le constater: y’aura du beau monde (plein de beau monde) donc viendez nombreux 🙂

PowerPivot, BISM, Analysis Services et Marco Russo

Comme je vous le disais tantôt, la semaine dernière j’ai assisté au séminaire de 2 jours de Marco Russo sur PowerPivot.

Ce n’est pas difficile, c’est la meilleure formation a laquelle j’ai eu la chance d’assister, quel que soit le sujet. Que ce soit sur le contenu (précis, clair et exhaustif) ou la présentation (pédagogie, connaissance du sujet, passion), Marco Russo a fait un score parfait. Jusqu’à présent je voyais PowerPivot comme un gadget futur remplaçant d’Access, il m’a bien ouvert les yeux sur ses énormes capacités et le fait que ce soit bien le futur de SSAS. Job well done 🙂

Et hasard du calendrier, c’est justement la semaine dernière que Microsoft a fait le point sur la roadmap de sa plateforme BI pour les années à venir:

En cherchant un peu vous trouverez surement beaucoup d’autres articles sur le sujet (certains en français) et tout autant de discussions.

Moi j’ai eu de la chance, Marco Russo a pris le temps de nous expliquer en direct ce qu’il allait se passer. Chouette non? 😉

Pour la faire en court: SSAS va changer d’architecture pour s’organiser autour d’un modèle dénommé « BISM » (Business Intelligence Semantic Model – Modèle sémantique décisionnel).

Ce BISM comprendra 3 niveaux, chaque niveau pouvant être implémenté de plusieurs façons différentes:

  • Un modèle de données : en multidimensionnel (cf SSAS actuel) ou tabulaire (cf PowerPivot ou une base SQL classique)
  • Un langage de requête : MDX ou DAX
  • Un moteur d’accès aux données : MOLAP (SSAS actuel), VertiPaq (cf PowerPivot) ou un accès direct aux données d’où qu’elles viennent

Notez que lorsqu’on parle ici de modèle de données, on parle de l’implémentation technique (de l’encodage dans une solution informatique) du modèle de données fonctionnel (schéma en étoile, en flocon, ou autre). Mon premier est une suite de 0 et de 1 qui répondent à des contraintes informatiques, mon second est un dessin sur un papier qui répond à des contraintes métiers. Je précise parce qu’au début j’étais perdu: je me demandais à quoi pouvait bien ressembler un modèle de données BI tabulaire? Marco Russo m’a donné la réponse : à un schéma en étoile!

En image, le BISM et ses 3 éléménts ça donne ça:

BISM : l'avenir de SSAS

BISM : l'avenir de SSAS

La première bonne nouvelle c’est que bien que pour la v1.0 les deux piles (Multidim/MDX/MOLAP et Tabulaire/DAX/Vertipaq) soient étanches – on choisit soit une pile soit l’autre, dans le futur on devrait pouvoir choisir de construire la pile que l’on veut avec n’importe quelle brique (Tabulaire/MDX/Vertipaq par exemple). Le choix se faisant alors uniquement en fonction des contraintes métiers / utilisateurs et non de contraintes techniques.

La deuxième bonne nouvelle c’est que si on peut requêter en MDX et en DAX les 2 modèles de données, alors on devrait pouvoir utiliser n’importe quel front end (SSRS, Crescent, PowerPivot…) indépendamment de l’architecture de stockage. Cela lève le doute sur la compatibilité descendante entre Crescent (futur SSRS en DAX) et les cubes SSAS actuels, ça rassure!

Evidemment reste la question de comment faire le choix entre les 2 architectures, et là aussi Marco Russo nous a donné quelques éléments de réponses:

  • Avant tout, que ce soit pour le multidim ou le tabulaire, le schéma en étoile reste la méthode de modélisation des données.
  • Le multidimensionnel sera l’outil de choix pour travailler sur des données fortement hiérarchisées, utilisant des calculs mathématiques sur ces hiérarchies (par exemple sur le temps), avec des relations complexes (many to many) et où l’importance des données réside dans les chiffres (qui a dit finance dans le fond?)
  • Le tabulaire (avec Vertipaq et la compression en colonne) est ultra efficace sur les calculs en distinct et distinct count, même sur des très très gros volumes de données, il manipule bien les chaînes de caractères et est beaucoup plus facile à comprendre pour les utilisateurs (on dirait Access!)

En terme de proportions, Marco Russo nous a dit qu’il voyait les futurs projets ventilés en:

  • 30% ne pouvant être réalisés qu’avec du Multidim
  • 10% ne pouvant être réalisés qu’avec du Tabulaire
  • 60% au choix, avec beaucoup de Tabulaire puisque plus facile à implémenter

Personnellement je retrouve l’enthousiasme sur le futur de la BI Microsoft. Même si on est encore un peu déshabillé point de vue reporting, l’offre Microsoft est vraiment très belle point de vue moteur. Entre le dB Engine SQL, MOLAP et Vertipaq, on a de très belles technologies, partiellement recouvrantes mais pas redondantes, qui ont du sens et qui pulsent point de vue performance. Avoir des bons outils c’est essentiel pour bien faire son job, là je me sens bien équipé. C’est cool 🙂

PowerPivot : Marco Russo à Paris!

Pour ceux qui ne connaissent pas PowerPivot, c’est le tout dernier add-in gratuit de Microsoft pour Excel 2010. Il permet de se monter son propre petit datawarehouse directement dans Excel, d’importer des données de plusieurs sources (Cubes OLAP, bases SQL, fichiers CSV, onglets Excel…), de les mélanger et de créer ses propres indicateurs calculés! La consultation des données se fait ensuite avec l’interface des tableaux croisés dynamiques qui a été bien améliorée dans Excel 2010.

C’est un bel outil, qui adresse des besoins utilisateurs jusqu’à présent ignorés par Microsoft. Et en plus le nouveau petit langage qui sert à créer ses propres indicateurs, le DAX, est le futur remplaçant du MDX dans les prochaines versions d’Analysis Services. Donc autant dire que c’est une très bonne première marche pour entrer dans le monde de la BI Microsoft!

Pour le moment il y a 3 bloggeurs de références sur PowerPivot: Rob Collie, Kasper de Jonge et Marco Russo. Ce dernier est italien, ce n’est pas un nouveau puisqu’il a déjà écrit avec Alberto Ferrari plusieurs bouquins de référence sur la BI Microsoft, et il s’est lancé à fond dans PowerPivot depuis sa sortie.

Je vous en parle parce qu’il vient faire un séminaire sur le sujet lundi et mardi (les 16 et 17) prochain au campus Microsoft à Issy les Moulineaux. Évidemment j’y serai, je sais que je préviens à la dernière minute, mais si vous vous intéressez à la BI, que vous savez ce qu’est un tableau croisé dynamique dans Excel, que vous avez toujours voulu savoir ce qu’était un schéma en étoile, je vous conseille vraiment de venir. N’hésitez pas à sauter le pas, c’est le genre de compétence qui peut être déterminante dans une carrière.

Nouveau boulot, PowerPivot

Comme vous le savez déjà, j’ai commencé mon nouveau boulot lundi. Les deux premiers jours se sont très bien passés, je suis content 😉

Ma première mission concerne une étude de faisabilité autour de PowerPivot (le fameux nouveau décisionnel self-service de Microsoft) pour une banque, et je dois dire que j’apprécie particulièrement le produit. Le nouveau langage qui accompagne le soft, le DAX, est relativement intuitif lorsqu’on connaît bien Excel. Le soft est bien foutu, bien intégré à Excel 2010, rapide, carré, c’est franchement une réussite. Ça me rassure sur la suite des opérations!

Au passage, je vous recommande l’excellent bouquin de Marco Rosso et Alberto Ferrari (recommandé par Rob Collie himself). C’est celui que j’utilise, et je le trouve très très bien écrit.

J’aurai un retour surement plus critique un peu plus tard, lorsque l’euphorie des premiers jours sera passée. En attendant, je profite 🙂

SQLPASS 2010 – Journées 2 et 3

Oh mon dieu! Il s’en est passé des choses en 2 jours! C’est la révolution 🙂

D’abord SSIS, qui d’après Jamie Thomson ne change pas beaucoup en dehors de la refonte de l’interface dans VS2010:

Ensuite SSAS, qui lui explose dans tous les sens:

Vous avez remarqué comme le powerpivotiste aime et le pro-mdx n’aime pas?

Pour voir pourquoi, il faut comprendre que désormais les deux fonctions du datawarehousing (stockage longue durée et analyse/restitution) sont vraiment séparées dans les produits Microsoft.

En stockage longue durée on a SSIS pour l’alimentation et SQL Server (dB Engine) pour le stockage. Les deux produits sont matures, de très bonne qualité et reconnus sur le marché. Pas de débat là dessus.

C’est point de vue analyse et restitution que ça change beaucoup. Avant (enfin maintenant quoi…) on avait trois possibilités pour faire le job:

  • Source SQL Server restituée dans SSRS: facile (SQL) mais pas optimisé pour 2 sous
  • Source SSAS restituée dans SSRS: complexe autant dans le langage de requête (MDX) que dans l’incapacité chronique des 2 softs à tourner ensemble, mais super performant
  • Source SSAS restituée dans Excel: sympa mais uniquement pour les gros joueurs d’Excel qui veulent jouer avec la donnée

Ce sont ces schémas qui évoluent pour passer à deux nouvelles manières d’organiser les données en source, que tous les outils de reporting devraient être capable de requêter:

  • La nouvelle vision, le BISM (BI Semantic Model), qui est une vue relationnelle des données, qui utilise le moteur VertiPaq et le langage DAX
  • La vision actuelle, l’UDM (Unified Data Model), qui est la vue multidimensionnelle qu’on connait déjà, utilisant le moteur SSAS « classique » et le langage MDX

En image ça donne ça:

Bon bin c’est super en fait! Ça nous donne une nouvelle corde à notre arc sans éclater l’existant, en fait c’est chouette!

Sauf que… Sauf que le nouveau SSRS (Project Crescent) est DAX only, tout comme l’est PowerPivot, et qui dit PowerPivot dit Excel et SharePoint à moyen terme. Ça ne laisse donc que l’éco-système hors Microsoft pour s’occuper du MDX à moyen terme. Juste quand le langage commence à gagner de la traction chez les autres vendeurs. Ça ressemble beaucoup à du fire and motion tout ça. C’est pas joli-joli!

On comprend donc que les experts SSAS tirent la tronche et les experts PowerPivot sabrent le champagne 😉

Et pour nous commun des mortels? Personnellement je suis plutôt optimiste, je cite Rob Collie (ancien program manager SSAS quand même) dans l’article que j’ai linké plus haut:

The SQL team at MS has long had three teams in the BI space:  SSAS, SSRS (Reporting Services), and SSIS (Integration Services).  Both AS and RS got along great with IS, but in all honesty, AS and RS have behaved more like rivals for as long as I can remember.

Well, a number of the personalities behind the scenes that were responsible for that competitive vibe have departed.  And the results are resoundingly positive – the two teams are now cooperating.  Fully.

Donc pour la première fois les équipes SSAS et SSRS bossent main dans la main. Vu le talent de ces équipes, personnellement j’ai confiance 🙂