Je tenais à faire un article sur un sujet bien précis qui reflète un retour d’expérience sur le déploiement d’applications Play! Framework en production. Je vais prendre l’exemple de ce site Web e-commerce : www.labottegardiane.com que j’ai développé from scratch à l’aide de Play! framework et jQuery en 2009 pour le compte d’un de mes clients. Il a été mis en production fin 2009, soit il y a plus de deux ans à l’écriture de cet article et ce sur un serveur Gandi. Il faut savoir qu’à l’époque c’était « osé » car l’offre ne proposait que des parts de 0,5 CPU et 128Mo de mémoire vive. Ces quota ont été doublé pour une part seule depuis mais la puissance disponible reste malgré tout un peu juste pour déployer du Java.
Donc comment faire pour héberger une application Java avec un minimum de performance ? Les premiers tests ont été désastreux avec uniquement quelques requêtes par secondes… J’ai donc effectuer du profiling du front avec notamment Firebug et YSlow afin d’apporter les optimisations nécessaires à mon code source. Ensuite, j’ai optimiser la configuration de mon application et mis en place un cache applicatif avec ehCache afin de soulager la base de donnée MySQL.
Cependant, la meilleur des optimisations a été de mettre en place un frontal Nginx avec une configuration des headers pour le cache et une compression zip adaptée couplés à la mise en place d’un webcache avec Memcached. Les performances sont désormais au rendez vous et le serveur ne pâti plus de pic de charges CPU sous mes agressions avec l’outil que j’utilisait à l’époque pour simuler la charge : apache-benchmark. Ainsi sur la page des produits, on obtient encore 124 requêtes par seconde aujourd’hui (je ne me rappel plus du score de l’époque qui était du même ordre) :
Concurrency Level: 10
Time taken for tests: 8.049 seconds
Complete requests: 1000
Failed requests: 0
Write errors: 0
Total transferred: 5478000 bytes
HTML transferred: 5245000 bytes Requests per second: 124.25 [#/sec] (mean)
Time per request: 80.485 [ms] (mean)
Time per request: 8.049 [ms] (mean, across all concurrent requests)
Transfer rate: 664.67 [Kbytes/sec] received
L’application n’a pas été redémarré depuis plus d’un an et demi et les performances, comme le bon vin, ne font que s’améliorer. On remarque que le débit obtenu est très proche du débit théorique fourni par Gandi (5Mb). Pour preuve de l’ancienneté de l’application :
Aucun problème à signaler depuis malgré l’arrêt des mises à jour des logiciels suite à l’arrêt de la collaboration avec le commerçant pour le moment. Comme quoi performances et disponibilité ne sont pas si difficile a obtenir … même en environnement « hostile ». Cela dit, aujourd’hui je ne proposerais pas une telle solution à un client qui n’a pas de gros besoins de performances. Il faut savoir que la société derrière Play! framework (Zenexity) propose une plateforme d’hébergement d’applications : www.playapps.net Pour 10€, les résultats sont au rendez vous et c’est clef en main… pourquoi se priver ! Par ailleurs, d’autres plateformes « cloud » proposent de plus en plus une compatibilité avec Play! framework comme par exemple Heroku. Peut être qu’un jour je ferais un article sur le sujet…
Cela fait quelques temps que je devait écrire un billet sur le sujet du développement d’applications Web pour les TV. Je vais donc vous raconter l’aventure de ce mois de mai 2011 durant lequel avec quelques collègues et en collaboration avec IBM nous avont réussi à développer une application en 1 mois pour le compte de France Télévision.
Le développement Web sur TV
Chez Wiztivi, nous sommes des pionniers de la télé connectée et forcément ça aide. Nous sommes en contact permanent avec les constructeurs et les différents acteurs de l’IPTV, y compris (bien sûr) notre principal actionnaire : SFR. L’environnement de développement classique d’un développeur d’applications TV, c’est un PC et pleins de TV : différentes marques, différents modèles, différents firmwares mais aussi quelques box ADSL et consoles de jeux
Du point de vue des technologies, ça reste du standard : HTML, CSS, Javascript. La plupart des TV intègre aujourd’hui WebKit ce qui nous facilite le travaille mais il reste malgré tout de nombreuses différences entre TV ce qui nécessite un effort particulier d’intégration et de tests. Il y a aussi les spécificités de chaque marque : API propriétaire et lecteurs vidéo différents. Finalement, l’environnement n’est pas plus contraignant que de réaliser une application Web classique qui soit fonctionnelle sur la majorité des navigateurs du marché (Firefox, Chrome/Safari, Internet Explorer, Opera).
En terme d’usage des applications, tout se pilote depuis la télécommande ce qui a notamment des impacts sur la gestion de la navigation et du focus. Il nous arrive également de devoir gérer des widgets spécifiques à la TV comme un clavier virtuel ou des players video.
La technologie HbbTV
Jusqu’à présent la solution la plus utilisée pour déployer des applications Web sur TV et box étaient d’héberger celles ci sur un serveur. Le constructeur intégrait le lien vers l’applications via son firmware. De ce fait, les communications passent par la prise ethernet de la TV/Box. HbbTV est une nouvelle approche qui permet au contraire de diffuser l’application dans le flux TV. L’idée est d’ajouter des informations au niveau de la TNT. Ainsi ce sont les chaînes qui peuvent désormais diffuser des applications.
HbbTV propose deux modes de fonctionnement : broadband et broadcast. La première approche est assez classique : on va définir une URL dans le flux. Lorsque l’utilisateur arrive sur une chaîne, l’application est chargée depuis cette URL. La communication passe donc par la prise ethernet et fonctionne (presque) comme une application standard : on peut notamment faire des requêtes XHR. La seconde approche est différente. Elle permet de diffuser l’application dans son intégralité dans le flux. Les performances sont donc tributaire du débit TNT et nous oblige à restreindre la taille des images et la quantité d’informations à envoyer à la TV. L’application peut malgré tout se mettre à jour par des informations qui sont mise à jour au niveau du flux (le carousel et les stream events). Développer une application broadcast est donc très contraignante pour le développeur et ça on s’en rend compte quand on développe, pas en lisant les spécifications du standards qui de toute façon ne sont pas respectées à la lettre.
Les TV qui supportent cette technologie ont commencé à apparaître sur le marché français en début d’année. Elles devraient se démocratiser en 2012. On peut dors et déjà acheter, par exemple, cet TV Toshiba de 42 pouces (800€).
France Télévision et HbbTV
France Télévision avait déjà effectué une démonstration à l’IFA. Cette application sera prochainement diffusée au niveau national mais pour la chaîne public le vrai grand test se déroulait en ce printemps 2011. L’idée du projet Roland Garros était de montrer que l’usage de l’HbbTV permet un usage enrichie de la TV. On parle d’ailleurs souvent de « télétexte HD ». France Télévision fait partie du consortium qui développe HbbTV et souhaite réellement devenir leader sur ce thème sur le plan national.
L’application Roland Garros
Les internationaux de Tennis intéressent énormément de monde et chaque jour France 2 et France 3 diffusaient de nombreux matchs. Le but de l’application est d’apportée le maximum d’information aux utilisateurs : résultats en direct (y compris pour les matchs qui ne sont pas en cours de diffusion), les fiches des joueurs et un album photo. Il y a différents modes d’affichages et on peut basculer à volonté entre le live et l’application grâce à la télécommande. L’application était disponible uniquement en broadband. Une popup « Veuillez connecter votre TV » apparaissait si nécessaire. Voici une vidéo de démonstration :
Architecture nosql
Les données nous ont été mise à disposition par IBM. De notre coté nous avons donc développé une application HTML/CSS full javascript. Pour les besoins de mise en forme des informations et de performances, nous avons mis en place un serveur d’application avec une application Spring connectée à la fois au backend IBM et à une instance MongoDB hébergée localement. Ainsi nous avons mis en place un batch qui régulièrement importait et mettait en forme les données (XML) dans notre base. Il faut savoir que nous recevions énormément d’information pour tout les matchs en cours. En fin de tournois, nous avions plusieurs giga de base de donnée. Mongo nous a permis de construire un modèle de donnée prêt à l’emploi notamment pour le résultat des matchs et la construction du tableau de classement. Nous avons utilisé Morphia afin de conserver une approche objet au niveau de notre code Java. Nous utilisions Spring ensuite pour sérialiser ces données en JSON au travers de webservices directement exploitable par les frontend par requêtes Ajax.
Nos outils
Personnellement, je travaille sous Ubuntu. Nous avons utiliser Eclipse et essentiellement Chrome couplé à ses outils de développement pour le développement des interfaces Web. J’ai apprécié l’iPad et l’application France Télévision qui permet d’avoir le live sur mon bureau. C’est appréciable de voir que l’interface de notre application se rafraîchis plus vite que la plupart des sites Web en ligne publiant les résultats de Roland Garros.
Conclusion
Au final, développer une application HbbTV demande surtout d’être en contact avec les constructeurs et d’être alaise techniquement en dehors des technologies Web. En interne, nous utilisions une carte de diffusion (Dektec) ainsi que la solution bien connu dans le milieu : OpenCaster. Heureusement que Karl s’y connait bien Sans lui ça aurait été difficile !
A noté que Wiztivi a également développé l’application HbbTV pour NRJ12. De mon coté, le prochain article sur la thématique TV parlera de Google TV mais je suis de près aussi Apple TV.
Le jeudi 31 mars a eu lieu à La Cantine Numérique de Nantes une conférence menée avec brio (comme d’habitude ) par le créateur du Play! Framework : Guillaume Bort. Cet article dresse un résumé de la soirée pour ceux qui n’ont pas eu la chance d’être parmi nous. La salle était pleine et pas mal de monde ont eu dû rester debout (dommage que la Cantine n’est pas de salle plus grande). L’ambiance était très studieuse malgré quelques questions mal posées par certains mais rapidement taclées en touche avec humour par notre orateur !
Guillaume a commencé par nous a présenter Play! framework. En bref, il s’agit d’un framework pour le développement d’applications Web en Java mais en s’affranchissant de l’API servlet et donc en proposant une solution réellement stateless. Au delà d’avoir une architecture propre, cela provoque des effets de bords intéressant dont les principaux restent quand même le grand respect du protocole HTTP (et donc un comportement parfait du navigateur lors d’un back ou d’un refresh sur un formulaire par exemple), le (re)chargement du code à chaud et la précision des logs d’erreurs.
Pour appuyer ce discours, on a eu le droit à une démo en live. Dans le désordre, nous avons eu des explication création d’un formulaire avec binding vers un objet, mise en place d’Hibernate, internationalisation avec i18n, validation de formulaire, redirections… et pour finir : les tests !
Le public était conquis. Cela montre que Play! commence à devenir une solution de plus en plus connue et de plus en plus acceptée et utilisée. C’est de bon augure pour les projets Web et surtout pour les projets d’entreprise. Trop souvent JEE est préféré encore aujourd’hui et cela pour des résultats souvent mitigés…
Guillaume nous a aussi présenté brièvement l’avenir proche de Play! avec la sortie de la 1.2 release candidate dans les prochains jours. Il en a profité également pour nous rassurer sur l’avenir de Play! : le framework a atteint sa maturité et il ne devrait plus y avoir de grands changements à l’avenir : Keep It Simple ! Et ça, ça fait plaisir Pour résumer, voici les nouvelles fonctions de la prochaine version:
Meilleur support des requêtes asynchrones dans le nouveau package play.libs.F (promises, continuations, WebSockets, streaming…)
Gestion des dépendances avec intégration de Ivy via un fichier de configuration dependency.yml
Passage à la base de donnée H2 pour les modes mem et fs avec en bonus l’accès à une interface d’administration sur http://localhost:9000/@db
Bien sûr comme à chaque release, le framework gagne en performance et en stabilité. Pour rappel, il est possible de suivre la roadmap du projet.
Cela fait bien longtemps que je n’ai pas écris sur mon blog. L’année 2010 fut chargée et je n’ai eu que peu de temps à consacrer à ce blog et encore moins à l’idée que j’avais en tête: faire un moteur de blog avec mes petites mains. L’objectif affiché est de réinventer la roue. Mais contrairement à mon métier de tout les jours qui impose un certain pragmatisme pour mener à bien des projets réels: ici tout est expérimental. N’ayant ni contrainte de temps ni de cadre technique imposé, je me suis lâché. En revanche, tout est très conventionnel du point de vue fonctionnel. Je m’inspire beaucoup des plateformes Blogger et Eklablog mais également de l’outil WordPress dont la réputation n’est plus à faire.
Le blog sur lequel j’écris possède donc le strict nécessaire: publication d’articles, commentaires et flux RSS. A l’avenir viendront s’ajouter la gestion des tags et un workflow de publication plus élaboré (brouillon, auteur, gestion multi-langue) ainsi que l’hébergement d’images (dans le cloud). Une version mobile et TV seront également de la partie.
Concernant la technique, j’ai fait le choix de partir sur des technologies innovantes encore peu utilisées dans le monde de l’entreprise bien que cela devienne de moins en moins vrai maintenant. Pour commencer, l’application est développée avec le framework Play! Il s’agit d’un framework Web sur lequel j’ai déjà écris sur mon ancien blog en 2008. Je reviendrais dessus: il y a beaucoup à dire et de nombreuses nouveautés ont fait leur apparition depuis.
Pour faire (très) court, il s’agit d’un framework Java (non J2EE) apportant tout le nécessaire pour développer des applications Web selon le modèle MVC. Sa grande force est d’augmenter la productivité du développeur s’appuyant sur REST pour bâtir des applications stateless réellement scalable et a maintenabilité augmentée. Je l’utilise dès que j’en ai l’opportunité.
Pour l’hébergement, j’ai opté pour le cloud computing avec Google App Engine. La grande force de Play! sur ce sujet est de fournir un module GAE apportant une solution clef en main pour déployer n’importe quelle application Play! dans le nuage de la compagnie de Mountain View. Il y a bien quelques contraintes à respecter dont la plus impactante est l’absence de base de données relationnels. En effet, Google nous propose un datastore basé sur sa solution Big Table. J’ai choisis de me baser sur la librairie Siena qui propose une couche ORM implémentant également la solution cloud concurrente SimpleDB d’Amazon. Un module est également disponible pour Play!. Je ferais un article détaillé sur GAE datastore et Siena. La syntaxe est vraiment plaisante et finalement pas si éloignée de l’API que propose Play! (qui ne fait qu’étendre JPA en proposant des méthodes plus intuitives). Google App Engine a également quelques restrictions concernant Java, notamment l’absence de support de la librairie AWT. Cela m’a empêcher dans un premier temps de réutiliser un mécanisme de captcha que j’avais développé pour la validation des commentaires. Finalement pour ce besoin précis, j’ai préférer me baser sur la solution SaaS Disqus et je ne le regrette pas.
Le code source de ce projet est disponible sur la plateforme GitHub. Il est loin d’être parfait mais évoluera à l’avenir et notamment des tests fonctionnels et unitaires seront écrits et une plateforme d’intégration basée sur Jenkins (RIP Hudson) sera mise en place. Si vous avez des questions ou des suggestions, n’hésitez pas à laisser un commentaire.
Petite note aux courageux qui auront lu le billet jusqu’au bout, je serais présent à la soirée Play! framework organisé par le JUG de Nantes le jeudi 31 mars prochain. Elle sera présenté par l’auteur du framework, Guillaume Bort. Venez nombreux!
Sans lui ça aurait été difficile !
