Ça bosse dur chez Microsoft en ce moment: Azure Stream Analytics et Azure Data Factory

Juste un petit mot avant mon départ pour Seattle pour vous parler de 2 services Azure qui viennent tout juste d’être annoncés, et qui rejoignent le petit groupe de mes services Azure préférés (avec Machine Learning, HDInsight et le concept même de Blob Azure).

Mon premier c’est Azure Stream Analytics

Introduit par ici et par , déjà documenté, pour faire simple c’est un moteur de traitement d’événements temps réel, digne concurrent de Storm quoi (qui existe d’ailleurs aussi dans Azure maintenant!)…

Chaîne d'alimentation temps réel et outils associés

Ça en fait des outils…

Des messages sont émis en continu par des producteurs (capteurs, applications, machines…), collectés dans des queues, et doivent ensuite être traités pour l’analyse. Stream Analytics sert justement à cette partie. Son énorme avantage: sa syntaxe c’est du pseudo SQL! C’est pas beau ça?

Notez la syntaxe TumblingWindow pour gérer la fenêtre temporelle

Notez la syntaxe TumblingWindow pour gérer la fenêtre temporelle

Mon second c’est Azure Data Factory

Annoncé par et également déjà documenté, y compris un tutorial étape par étape.

Là c’est carrément un petit ordonnanceur qui débarque sur Azure, et qui permet de gérer ses pipelines de donnée de bout en bout. Evidemment la preview est plutôt humble en terme de features et composants, mais ça promet du lourd!

Capture d'écran d'Azure Data Factory - Tutorial par Microsoft

A nous les pipelines bien rangés et automatisés!

Il ne reste plus qu’à trouver du temps pour jouer avec tout ça… 😉

Boîte à outils d’un consultant/manager – Octobre 2014

Sans transition, la liste de mes outils de travail en Octobre 2014.

Hardware

Apple MacBook Pro Retina 13′ mi-2014
  • Celui là avec le Core i5 de base, 16Go de RAM et 256Go de SSD
  • Upgradé récemment depuis le MacBook Air 13’ mi-2011, Core i7 ULW, 4Go RAM, 256Go SSD. Je sens bien la montée en perf, mais également la montée en poids. Le Air est plus léger, mais aussi légèrement plus grand. Je vis avec. En écrivant je me rends compte que j’ai quand même gardé le Air 3 années complètes, en le trimballant partout, en moto, et qu’il ne m’a quasiment pas fait défaut (j’ai juste dû remplacer le trackpad une fois, mais avec iFixit c’est trop facile)
  • L’écran est une tuerie (3360×2100), et OS X gère très très bien les résolutions Retina
  • Le passage de 4 à 16Go de RAM me permet surtout de faire du Windows en VM plutôt qu’en BootCamp (dual boot), c’est beaucoup plus confortable à l’usage, et au final ça permet de quasiment toujours rester sur OS X
  • Pour la virtualisation j’utilise Parallels Desktop 10 (80€) pour 3 raisons : le clavier Mac et l’écran Retina fonctionnent sans aucune intervention de ma part sur la VM Windows, plus le partage natif du répertoire Dropbox inter-VM. Par contre je n’utilise pas du tout le mode intégré des applis, ça m’insupporte de mélanger les OS comme ça. Evidemment on parle de Windows 8.1, je passerai à 10 à la release mais pas avant
Apple iPhone 5s 32Go
  • Celui là. Je passe mon tour sur le 6 principalement pour des raisons financières, on verra l’année prochaine pour le 6s/7
  • iPhone pas tellement pour iOS en lui-même, mais plutôt pour les applications qui ont encore et toujours une longueur d’avance en terme d’ergonomie et de qualité de finish. A noter quand même la magnifique intégration entre OS X et iOS, toute récente, je m’y suis bien habitué
  • Un des plus gros apports sur ma productivité de ces 2 dernières années c’est la 4G et le partage de connexion avec le laptop. Pas spécifique à mes choix de machines puisque ça marche avec n’importe quel téléphone, opérateur et OS. Je recommande à 3000% pour les consultants
Microsoft Azure
  • J’en vois qui ricanent au fond, pensant que je suis un vendu à l’éditeur-providence (certes), mais Azure a vraiment changé la manière dont je gère mes serveurs (ou plutôt comment je ne les gère plus)
  • Si besoin d’un serveur, je ne m’embête plus, direction Azure. Pour moi c’est effectivement devenu une partie incontournable de mon SI personnel. Ça plus le partage de connexion, et je me retrouve à faire des démos en avant-vente sur un Mac, connecté en 3G à une ferme de clusters Hadoop sur Azure, je vous raconte pas la frime 😉
Et à la maison…
  • Oui j’ai un encore PC qui joue à domicile. Un desktop avec un écran 27’ assemblé sur materiel.net, pour les jeux et les séries
  • Evidemment à la maison le wifi est distribué via une Time Capsule d’Apple, mais ça n’étonnera plus personne à ce moment de l’article…
  • Et sinon vive la fibre optique

Applications

Dropbox : Sauvegarde de données dans le Cloud
  • Je paye les 10€/mois parce que c’est un service trop important pour moi pour que je sois le produit plutôt que le client
  • Les dernières controverses, à mon sens justifiées, ont failli me faire quitter le service, mais je n’ai pas trouvé mieux pour mes besoins. C’est une superbe appli, parfaitement intégrée à Windows et OS X. Snif
1Password : Gestionnaire de mots de passe
  • Troy Hunt et Brent Ozar m’ont définitivement convaincu d’utiliser 1Password. Maintenant chacun des sites et services que j’utilise dispose de son propre mot de passe de 20 caractères. Je ne crains plus les leaks qui se multiplient
  • Oui, le premier effort d’import est relou : j’y ai passé une soirée complète. Il faut retrouver/changer les mots de passe des sites les plus importants, déployer les nouveaux mots de passe sur les machines et téléphones (dont les boîtes mail…), et sur chacun des navigateurs : installer les add-in + vider les caches password + leur interdire de les restocker. Y’a du boulot…
  • J’utilise Dropbox pour partager le répository crypté qui contient les mots de passe, et des clients Windows, OS X et iOS pour couvrir chacun de mes appareils. Les licences s’entendent par OS, et le prix reste raisonnable à mon goût (50€ pour moi avec une machine de chaque)
  • Le concurrent principal de 1Password est LastPass, avec l’avantage de disposer d’une appli Windows Phone, et de stocker les mots de passe dans le Cloud (et donc d’être capable de profiter du service sur des machines sans avoir à installer quoi que ce soit, ce qui n’est pas possible pour moi). Mais ça veut dire que les mots de passe sont chez eux, donc encore une opportunité de tout leaker d’un coup
PipeDrive : Gestion du pipeline commercial
  • PipeDrive (9€/mois/utilisateur) c’est un service très spécifique dont j’ai besoin uniquement dans mon rôle de manager d’offre. Il permet de gérer visuellement mon activité commerciale, de la prospection à la signature du deal
  • L’interface est simple, bien construite. En plus il reste à sa place et ne cherche pas à se substituer à un CRM. Je recommande!
Trello : Todo list en mode Kanban
  • La référence du marché pour la gestion des todo-lists c’est définitivement Trello. Edité par la boîte de Joël Spolsky, autant vous dire que la qualité est au rendez-vous
  • A accompagner d’une lecture de Personal Kanban et ça sent la fin de la procrastination (et une bonne initiation au Lean en passant!)
  • En plus il est gratuit en usage de base donc…
Slack : Communication d’équipe
  • De 0 à 13$/utilisateur/mois – web et tous OS
  • Un outil de communication d’équipe qu’on a envie d’utiliser (leur marketing, mais c’est vrai). En fait une belle modernisation du concept de channel
  • Particulièrement pratique pour un pôle de consultants éparpillés chez les clients 😉
Pour les flux RSS
  • Feedbin (3$/mois – web) : mon remplacement de Google Reader, j’ai largement gagné au change! L’interface web est top, et il s’interface très bien à…
  • Reeder (5$ – iOS) : le meilleur lecteur de flux RSS iOS. Et si besoin de stocker du contenu à long terme alors je déverse vers…
  • Evernote (0 ou 5€/mois – web et tous OS) : j’ajoute un tag au contenu, et j’utilise le moteur de recherche pour retrouver les articles au besoin. En fait je me construis mon petit internet privé à moi comme ça
Spécial OS X
  • Caffeine (gratuit) – une petite tasse dans la menu bar, lorsqu’on clique dessus elle se remplit de café et la machine ne peut plus se mettre en veille. Ça n’a l’air de rien, c’est du vrai confort
  • iStat Menus (16$) – des petits graphs dans la menu bar qui montrent les statistiques de performance de la machine (CPU, temp, RAM, disque, réseau…)
  • Divvy (14$) – un gestionnaire de fenêtre, qui permet de choisir précisément la taille et la place d’une fenêtre sur l’écran**. Existe aussi sur Windows! Super utile quand on bosse avec 2 ou plus applications en même temps à l’écran
  • Bartender (13€) – permet de ranger sa menu bar sur 2 lignes dont une qui n’apparaît qu’à la demande. Il faut dire qu’à force d’ajouter des choses dedans…
  • Mou (Markdown) (gratuit pour le moment) – un éditeur de Markdown que j’utilise maintenant pour taper cet article. Cette syntaxe est vraiment pratique pour blogger, et WordPress et GitHub en mangent nativement, je n’en demande pas plus.

Là dessus il me manque un service VPN pour les wifi un peu crades qu’on peut utiliser en déplacement professionnel, si vous en avez un à me recommander c’est avec plaisir 🙂

Et vous sinon, quel choix des armes ?

Oyez, oyez l’appel de Redmond : Accélérez vos idées le 15 avril à 19h!

Update 2014-04-16 : Le retour c’est ici.

Version courte : Si on fait de la BI, on ajoute ce webcast à venir dans son calendrier!

Version longue :

Je vous avoue que je suis un peu déçu. En effet j’étais partie faire une traduction automatique de « Accelerate your Insights« , le titre original de l’événement dont je vais vous parler, dans l’idée d’obtenir une expression bien moche à mettre en titre de cet article. On aurait tous bien ri, ça m’aurait fait l’accroche de l’article, vous vous seriez exclamé « ce Fleid, quel mec cool et marrant ! ». Mais non. A la place j’ai eu « Accélérer vos idées », qui est finalement une bonne traduction. Je dois dire que je n’aurais jamais cru être déçu de la bonne qualité d’une traduction automatique. Tout arrive.

Satya Nadella annonce l'événement du 15 avril 2014

Pour revenir au sujet, si vous suivez ce blog pour la partie Business Intelligence, vous vous devez d’entendre l’appel de Microsoft du 15 avril à 19h. Parce que ce soit sur Twitter, Facebook, les newsletters ou les blogs MSDN, tous les 2 jours on a un rappel de la convocation. Et vu le beau monde autour de la table, ils doivent avoir quelque chose d’important à nous dire. Je vous donne : Satya Nadella, le président, Kevin Turner, le premier ministre, et Quentin Clark, le ministre de la Data (qui sort du bois en ce moment).

Ça va causer SQL Server 2014, Power BI, et certainement Azure. J’espère également des news côté Big Data avec HDInsight et PDW.

Donc direction vos calendriers : le 15 avril à 19h00, surement sur Channel 9.

Retours sur le Global Windows Azure Bootcamp 2014

Ou le GWAB pour faire court. Ou peut-être le GMAB, vu que Windows Azure devient Microsoft Azure (beaucoup mieux à mon sens) !

Logo GWAB 2014

Alors le GWAB c’est quoi ? C’est un événement international dédié à Azure (la plateforme Cloud de Microsoft), sur une journée (c’était samedi dernier), avec pas loin d’une centaine de relais locaux dans de nombreux pays. 2014 est la deuxième édition de cet événement, et cette année en France c’est Paris et Lyon qui ont participé.

L’instance parisienne de l’événement était évidemment organisée par les MVP Azure dont entre autres Aymeric Weinbach de Zecloud.fr (MVP | Twitter), Mickaël Mottet (MVP | Twitter), Jean-Luc Boucho (MVP | Blog ) et Wilfried Woivré (MVP | Twitter), une belle brochette vous en conviendrez 😉

Et je n’étais pas seul pour représenter la data, puisque mon copain Romain Casteres était également de la fête!

Le contenu était d’un bon niveau, mais je retiens particulièrement la super keynote de Blaise Vignon (Linkedin| Twitter), Responsable Business Dev pour Azure de Microsoft, avec une introduction unique et originale à Azure. Également au top, la session « Gérer facilement les identités dans le Cloud » par Jean-Luc, qui m’a ouvert les yeux sur Azure Active Directory – vraiment un beau produit.

GWAB Jean-Luc Boucho en session

En tout cas merci aux organisateurs pour cette belle journée de découverte, de mon côté l’objectif du GWAB est clairement rempli ! Mon prochain objectif : obtenir une session data pour le GUSS à la prochaine édition 😉

Des news de Redmond : Power BI et Quentin Clark

En ce moment Microsoft communique beaucoup autour de la BI (cf. pourquoi). Alors pour éviter d’être submergé, je vous ai fait une petite sélection avec mes commentaires:

Logo Power BI

  • Power BI passe en « General Availability »
    • Alors déjà GA ça veut dire quoi ? Mais qu’on va commencer à payer tiens donc! En toute honnêteté je ne trouve pas ça très cher pour les entreprises : 20€/utilisateur/mois si vous êtes en E3/E4 (ce qui devrait être le cas). Pour les particuliers le message est moins rose : si Office 365 Famille c’est vraiment pas cher (90€/an pour 5 machines), aucune possibilité d’avoir un petit morceau de Power BI avec. La version minimale d’Office pour y accéder semble être Office 365 ProPlus à 13€HT/utilisateur/mois, et avec ça on s’ouvre l’option Power BI à 40$/utilisateur/mois en plus. Ouch. Même combat pour les étudiants, qui touchent Office à 80€ pour 4 ans (c’est donné !), mais dont la version d’Office n’est pas éligible à Power BI (paf 52$/user/mois pour l’upgrade full…). Nul.
    • Une des conséquences du passage en GA est la clarification du destin de Power Map, qui rejoint la distribution Excel par défaut (dans les versions streamées – celles qui se mettent à jour toutes seules). Fini donc d’avoir à installer l’add-in en plus, c’est plutôt cool.
    • Alors oui, ça miaule dans les chaumières parce que Microsoft fait du gros forcing sur le passage en licence par abonnement (Office 365) plutôt qu’en boite. Mais de mon côté si d’une part je trouve les prix ultra agressifs (mais ok, rien ne nous met à l’abri d’une explosion des tarifs une fois que tout le monde aura signé… euh en fait si, la concurrence), d’autre part je trouve fantastique le principe des mises à jour continues, si possible via les Updates dans les applications. Ce dernier point on l’a vu à l’œuvre dans la preview de Power Query depuis le milieu de l’année dernière, avec des grosses mises à jour livrées tous les mois, et franchement c’est juste le top (de la même manière que Chrome ou Firefox se mettent à jour tout seul). Dans l’absolu je préfère largement avoir des cycles de release mensuels, plutôt que d’attendre 3 ans pour avoir à migrer de SQL Server 2005 à 2008 (ou pas).
Passage en GA de Power BI – Annonce sur le licensing

Passage en GA de Power BI – Annonce sur le licensing

  • Le deuxième gros sujet c’est les pontes de Microsoft qui prennent le micro, et celui qui nous intéresse c’est Quentin Clark, le grand patron de l’offre Data, sur la vision de Microsoft pour sa plateforme
    • En 2 mots, son message : « Cloud First »
      • Aujourd’hui : on rouille sur de l’IT à la papa, avec des bases OLTP, des DWH relationnels et de la BI opérationnelle. Tout ça c’est basé sur une approche, de construire des « systèmes d’enregistrement », comme les ERP et tous les autres applicatifs LoB, qui sont designés spécifiquement pour enregistrer ce qu’il se passe sur un flux métier de l’entreprise (une interface pour enregistrer une vente, un échange client, un recrutement)
      • Demain on pourra construire des « systèmes d’observation », complémentaires, qui auront l’approche inverse, soit observer les événements dans tout l’écosystème (et pas seulement dans l’entreprise) pour en déduire de l’information
    • A mon sens c’est encore très flou, mais pour Microsoft l’objectif devient alors de nous construire l’outillage nécessaire à cette vision, autour des briques suivantes:
      • Modern Transaction Processing : la communication inter-applications dans le cloud, et non plus on-premise, en fait c’est la cloudification des EAI – le concept est excellent
      • Modern Business Intelligence : Self-Service, Machine Learning, Data Viz, tout ce qui concerne la modernisation du rôle et de l’usage de la BI
      • Modern Data Warehouse : tout ce qui doit se faire en back office pour permettre la Modern BI, soit pour le moment principalement le traitement des hautes volumétries via Big Data
      • Le tout en cloud et PaaS, pour la scalabilité, et effacer les problèmes d’infrastructure afin de se concentrer sur les problématiques métier
  • On entend donc bien le message « Cloud First », à tous les niveaux, qui au-delà du changement de mentalité technologique, avec ses avantages et ses inconvénients, va surtout permettre à l’éditeur de terminer la transition de son business modèle de la vente de boîtes à la location de services
    • Et là moi je suis à 100% pour, puisque vous le savez j’ai un avis assez tranché sur l’économie numérique, et autant payer pour un .exe ça me pose un problème, autant payer tous les mois pour un service, qui m’apporte de la valeur, qui s’améliore dans le temps, je suis complétement d’accord
    • Maintenant si MS a fait la preuve de sa compétence Cloud (Azure c’est juste énorme), et si ça commence à sentir bon côté Modern Data Warehouse (HDInsight c’est top, StreamInsight c’est bien, manque plus que des IDE avec des IHM dignes de ce nom), on est encore léger côté Modern BI : toujours à poil sur le Machine Learning (le nouveau nom du Data Mining), et pas complétement convaincu par les capacités de Data Viz de la plateforme (mais c’est un point d’attention de leur côté). D’ailleurs sur ce dernier point, vous noterez dans l’article que le sujet est retourné du côté des équipes Office (cf les titres des auteurs à la fin) plutôt que Data Platform (chez Quentin). Est-ce positif ? Sincérement, vu SSRS, à mon avis oui…
    • Dans tous les cas, respect à Quentin Clark de faire l’effort de nous exprimer sa vision, même si c’est un exercice qui va devenir strictement nécessaire pour établir une vraie relation de confiance avec nous, les utilisateurs de ces services.
Ça va, c’est clair ?

Ça va, c’est clair ?

N’hésitez pas à réagir dans les commentaires 😉

Le futur du décisionnel? Pas forcément là où on veut nous le faire croire…

Via Jason Kottke, cette jolie vidéo qui présente la chaîne d’assemblage de Tesla pour produire le Model S :

Prenez le temps de la regarder, elle est courte et elle vaut vraiment le coup d’œil.

Pour donner un peu de contexte, Tesla Motors est un constructeur automobile américain récent, spécialisé dans les voitures 100% électriques, lancé par Elon Musk, un Nikola Tesla moderne. Comme on le voit dans la vidéo, ils sont au somment niveau innovation.

Et un peu plus tôt, toujours via Kottke, il y a cette vidéo de l’usine d’assemblage NeXT, le constructeur informatique qu’avait lancé Steve Jobs avant de revenir chez Apple.

Ce qu’on peut voir dans ces vidéos, c’est pour une chaîne de fabrication le top en termes d’organisation, de flux de production, d’automatisation, d’intégration logistique, d’amélioration continue… (de lean manufacturing en sorte) qui mènent au top en terme de qualité et de temps de construction (3 jours pour une voiture, combien de temps pour un projet décisionnel?).

Et de là on peut faire le parallèle à notre activité de développement en décisionnel, sur SQL Server ou pas. Chez nous, pas d’usine logicielle, très peu de frameworks – ou qui ne font pas franchement rêver – le tout début de la génération automatique de code (il faut que je m’y mette), surtout des Best Practices transmises via savoir tribal et quelques Design Patterns (SSIS oui, SSAS et SSRS sont bien vides).

Ça c’est sur la conception, mais côté industrialisation on est aussi à la ramasse. Entre autres: un déploiement de toute une solution en un clic c’est encore trop risqué, un build complet ça n’est pas possible et ça ne sert surtout pas à grand chose, et si les tests automatisés fonctionnent bien en SQL OLTP, c’est encore dur de comparer des données en provenance de sources hétérogènes (SQL vs MDX vs DAX, à voir si ça n’est pas en train de changer).

On présente le futur de la BI comme étant un mix de Big Data, de Data Visualisation, d’in-memory, d’analyse prédictive, de stockage verticale ou encore de Cloud. Certes, mais je crois qu’avant cela il faudrait déjà qu’on rejoigne le présent du monde du développement logiciel. Ce serait déjà pas mal.

Deux points positifs cependant : on se rattrape sur les cycles d’amélioration continue : côté plateforme (base de données des bugs, templating, reporting sur l’usage et les performances…) et côté équipe (revue de code, plan de formation, plan de carrière, suivi des objectifs…). Et également avec la verticalisation, à savoir : on construit une fois, le plus proprement possible, et on réutilise sur d’autres projets qui utilisent les mêmes applicatifs sources. Mais ça ne marche que dans les marchés où les progiciels utilisés sont toujours les mêmes (compta d’entreprise, RH, CRM…), marchés qui sont finalement assez rares.

A nous donc d’arrêter de courir après les dernières modes, et de nous concentrer sur ce qui est vraiment important pour la croissance de notre « science » (dit-il tout en préparant un article sur Azure – spoiler : le IaaS c’est trop bien ;)).