Scalable webapps: sharding, memcached en “shared nothing architecture” 29 april 2007
Posted by futtta in Web development, java, links, other (php/ ruby/ python), quickie.trackback
Web2.0 brengt ons naast de hype (met als exponent de twitter-onzin), nieuwe inzichten in usability en natuurlijk ajax, ook heel wat kennis over webapp-scalability. Interessante info (presentaties over scalability van de mensen van digs, flickr, twitter, bloglines, …) op Peter Van Dijcks blog en specifiek over sharding (technologie om 1 grote table over meerdere db’s te verspreiden; Google heeft code daarvoor aan het Hibernate-project gegeven) op Data Center Knowledge.
Hadoop is een Java implementatie gebaseerd op de Google structuur waar algoritmes worden opgesplitst in taken die aan verschillende servers worden gegeven (map-reduce).
Er is ook een distributed filesystem met failover. Ziet er wel cool uit, ik heb Nutch (de search engine die hiervan gebruik maakt) eens geïnstalleerd en hiermee kun je (redelijk) eenvoudig servers toevoegen en instellen over hoeveel servers het filesystem moet verdeeld worden en hoeveel backup servers er moeten zijn. Voor sites die veel opslagruimte nodig hebben lijkt me dit een goedkope en vooral scalable oplossing.
Amazon heeft me vandaag (na betaling uiteraard) het boek Building Scalable Web Sites” toegestuurd, geschreven door de lead developer van flickr. Heb ik weer wat wc-lectuur ;-)
Nu enkel nog een site vinden waar ik dit kan gebruiken…