Yahoo hjälper IIT Bombay Konfigurera Hadoop Cluster Lab

Yahoo har hjälpt indiska Institute of Technology Bombay att inrätta ett Hadoop-klusterlaboratorium i Mumbai genom att donera ett kluster av servrar som kör Open Source-Hadoop-programvaran.

Apache Hadoop är ett open source-distribuerat dataprojekt av Yahoo stöder ett stort antal av sina kritiska operationer genom att använda Hadoop, och det kan inte göra all den forskning som krävs kring Hadoop inom företaget, säger Prabhakar Raghavan, senior vice president och chef för Yahoo Labs, i en telefonsamtal på torsdag.

Yahoo tillkännagav i juni förra året sin egen distribution av Hadoop och citerade intresse från Apache Hadoop-samhället att den publicerar versionen av Hadoop det testar och utövar på sina egna stora kluster. lab på M umbai kommer att hjälpa forskare vid institutets studieområden som sökning och rankingstekniker, informationsutvinning och naturligt språkbehandling.

Akademiska forskare som vill undersöka webbrelaterade problem har vanligtvis inte kunnat få tillgång till beräkningsresurser och terabyte av data som krävs för att undersöka "Web-scale problem", säger Raghavan.

Med början av att tillhandahålla Hadoop-forskare vid Carnegie Mellon University med en 4000-processors superdator 2007 har Yahoo hjälpt andra universitet i USA att sätta upp Hadoop Clusters, sa han.

Raghavan gav inte mer information om det kluster som installerades på IIT, bara att säga att servrar med hundratals CPUer och förmåga att hantera terabyte data har använts där.

Förutom IIT Bombay, Yahoo hjälper till att skapa liknande kluster vid akademiska institutioner i Tyskland och Singapore, sade Raghavan. Det här är de tre första akademiska institutionerna utanför USA där Yahoo hjälper till att skapa sådana kluster, lade han till.

Yahoo planerar senare att nätverkera några av kluster runt om i världen för att skapa ett "större verktyg". Innan detta måste Hadops systemadministrationsmöjligheter stärkas för att förhindra att en student i en institution kraschar arbetet vid en annan institution, säger Raghavan.

Yahoo samarbetade 2008 med Computational Research Laboratories (CRL), ett laboratorium som drivs av Indiens Tata Group, att erbjuda supercomputing-anläggningar gratis till akademiska institutioner i Indien som forskar storskalig databehandling, särskilt kring Hadoop. Samarbetet fortsätter, men är inriktat på högpresterande superdatorer, säger Raghavan.

Samarbete med akademiska institutioner på Hadoop hjälper Yahoo att bygga en pool av ingenjörer som är bekanta med Hadoop-plattformen, enligt Raghavan. Några av dem har till och med blivit anställda av Yahoo, tillade han.

Yahoo har också gynnats av idéer som har kommit upp från akademiska institutioner som gör forskning med hjälp av Hadoop, sade Raghavan. Han gav emellertid inte specifika instanser av idéer som hämtades från detta samarbete med akademiska institutioner.