Si comme moi vous avez un meilleur niveau en Python qu'en Erlang, vous serez sûrement intéressé(e) par les possibilités offertes par Disco :
Disco is an open-source implementation of the Map-Reduce framework for distributed computing. As the original framework, Disco supports parallel computations over large data sets on unreliable cluster of computers.
The Disco core is written in Erlang, a functional language that is designed for building robust fault-tolerant distributed applications. Users of Disco typically write jobs in Python, which makes it possible to express even complex algorithms or data processing tasks often only in tens of lines of code. This means that you can quickly write scripts to process massive amounts of data.
Un peu de concurrence à Hadoop ne fait pas de mal. Le couple Python/Erlang a de longs jours devant lui, si c'est pas top délire méga groove ça !
3 Commentaires
mmm... je suis tombé dessus aussi.
Erlang est réputé pour sa fiabilité (mises à jour sans interruption dans les systèmes téléphoniques Ericsson).
La programmation distribuée étant notoirement complexe, ça fait du bien de tomber sur un framework aussi "simple" à utiliser, et permettant de recycler un bon paquet de machines facilement (et surtout gérer les pannes !).
à explorer.
1 | sebsauvage, le 15 September 2008 à 21h
On dit la même chose sur Ruby/Erlang. A croire que l'avenir c'est Erlang/* :)
2 | Nicolas Mérouze, le 16 September 2008 à 09h
>A croire que l'avenir c'est Erlang/* :)
Jamais pratiqué Erlang, mais Ericsson fait des mises à jour à chaud du code sur leur infrastructure GSM. Ça doit pas être si mauvais que ça... quand on maîtrise :-)
Et très franchement, si on peut éviter d'avoir à réinventer la roue (distribution/contrôle d'exécution/collecte/reprise sur erreur...), c'est toujours ça de pris.
Un bon développeur est un développeur feignant. :o)
3 | sebsauvage, le 16 September 2008 à 11h
Ajouter un commentaire