Reacties op: Scalable webapps: sharding, memcached en “shared nothing architecture” http://webwerkers.wordpress.com/2007/04/29/scalable-webapps-sharding-memcache-en-shared-nothing-architecture/ "want gedeelde kennis is vermenigvuldigde kennis" Fri, 13 Jul 2007 05:33:17 +0000 http://wordpress.com/ hourly 1 Door: pcoucke http://webwerkers.wordpress.com/2007/04/29/scalable-webapps-sharding-memcache-en-shared-nothing-architecture/#comment-38 pcoucke Wed, 09 May 2007 21:05:35 +0000 http://webwerkers.wordpress.com/2007/04/29/scalable-webapps-sharding-memcache-en-shared-nothing-architecture/#comment-38 Amazon heeft me vandaag (na betaling uiteraard) het boek <a href="http://www.amazon.com/Building-Scalable-Web-Sites-applications/dp/0596102356/ref=pd_bbs_1/102-8276416-6201754?ie=UTF8&s=books&qid=1178744435&sr=8-1" rel="nofollow">Building Scalable Web Sites"</a> toegestuurd, geschreven door de lead developer van <a href="http://www.flickr.com" rel="nofollow">flickr</a>. Heb ik weer wat wc-lectuur ;-) Nu enkel nog een site vinden waar ik dit kan gebruiken... Amazon heeft me vandaag (na betaling uiteraard) het boek Building Scalable Web Sites” toegestuurd, geschreven door de lead developer van flickr. Heb ik weer wat wc-lectuur ;-)

Nu enkel nog een site vinden waar ik dit kan gebruiken…

]]> Door: pcoucke http://webwerkers.wordpress.com/2007/04/29/scalable-webapps-sharding-memcache-en-shared-nothing-architecture/#comment-37 pcoucke Mon, 30 Apr 2007 08:21:56 +0000 http://webwerkers.wordpress.com/2007/04/29/scalable-webapps-sharding-memcache-en-shared-nothing-architecture/#comment-37 <a href="http://lucene.apache.org/hadoop/" rel="nofollow">Hadoop</a> is een Java implementatie gebaseerd op de Google structuur waar algoritmes worden opgesplitst in taken die aan verschillende servers worden gegeven (map-reduce). Er is ook een distributed filesystem met failover. Ziet er wel cool uit, ik heb Nutch (de search engine die hiervan gebruik maakt) eens geïnstalleerd en hiermee kun je (redelijk) eenvoudig servers toevoegen en instellen over hoeveel servers het filesystem moet verdeeld worden en hoeveel backup servers er moeten zijn. Voor sites die veel opslagruimte nodig hebben lijkt me dit een goedkope en vooral scalable oplossing. Hadoop is een Java implementatie gebaseerd op de Google structuur waar algoritmes worden opgesplitst in taken die aan verschillende servers worden gegeven (map-reduce).

Er is ook een distributed filesystem met failover. Ziet er wel cool uit, ik heb Nutch (de search engine die hiervan gebruik maakt) eens geïnstalleerd en hiermee kun je (redelijk) eenvoudig servers toevoegen en instellen over hoeveel servers het filesystem moet verdeeld worden en hoeveel backup servers er moeten zijn. Voor sites die veel opslagruimte nodig hebben lijkt me dit een goedkope en vooral scalable oplossing.

]]>