Car-tech

Facebook förbereder sig för att använda "cold storage" för att hantera stora mängder data

Cold Storage

Cold Storage

Innehållsförteckning:

Anonim

Facebook omprövar hur det lagrar data för att klara de 7 petabyten nya bilder som sociala nätverkets användare laddar upp varje månad. När antalet foton växer, behöver Facebook-behov hitta billigare, mindre kraft-hungrig sätt att lagra dem alla, enligt företagets vice ordförande för infrastrukturteknik.

Användare laddar upp cirka 300 miljoner bilder om dagen, mer vid speciella tillfällen, Facebook: s Jay Parikh berättade för konstruktions-Europakonferensen i Amsterdam onsdag. "Halloween är en av våra största bilduppladdningsdagar på året. Vi kommer att få någonstans mellan förmodligen 1 och 2 miljarder bilder som laddas upp bara på en enda dag," sa han.

Bilder som de som tagits på Halloween förlorar snart deras intresse, ingen tittar på dem efter några dagar eller veckor, men "Vårt avtal med våra användare är att vi inte kan radera data när det inte är tillgängligt, vi måste behålla det," sa han. Det ledde till idén att sätta bilderna i ett slags "kallförvaring", säger Parikh.

[Läs vidare: De bästa TV-streamingtjänsterna]

För att göra det planerar Facebook att bygga ett nytt datacenter med olika typer av lagring, serverhårdvara och nätverksutrustning som förbrukar mindre ström och kostar mindre än befintliga datacentraler, allt utan att ändra servartidstider, säger han. Men hur effektivt kan Facebook göra sitt kyllager? När kostnader och strömförbrukning i datacenter sänks sker det vanligen på bekostnad av åtkomsthastigheter.

Lagring av data på band, till exempel sänker strömförbrukningen men sämre sänker dataåtkomsten.

Amazon Web Services följer en mellersta väg med sin Glacier Cloud Storage Service, som den ställer som ett alternativ till tejp. Tjänsten är optimerad för data som sällan är tillgänglig och för vilka återhämtningstider på flera timmar som är acceptabla.

Det är mycket för långsamt för Facebook, enligt Parikh. "Jag kan inte få ett foto som du går åt för fem eller tio år sedan och för mig att visa en banner för användaren som säger:" Hej, varför försöker du inte igen om 24 timmar? " Det måste fortfarande vara relativt realtid, säger han.

Lägre strömbehov

Bild: Courtesy of Data Center KnowledgeFacebook-datacenter i Oregon

De flesta datacenter som används idag är optimerade för att använda en hel del makt att hantera uppgifter som kräver stor datorkraft. Den "cold storage" -tekniken Facebook tänker på är på andra sidan, sa Parikh. "Du behöver mycket och mycket utrymme, men du behöver inte så mycket makt," sade han och tillade att allting om datacenteret måste omprövas för att hantera problemet vid skala Facebook-ansikten.

På hög nivå, Facebook arbetar med programvara som kommer att ta reda på hur och var för att lagra en bit av innehåll i infrastrukturen när det åldras, sa Parikh. "Det betyder att kopiorna av data kommer att flytta över tiden och utnyttja de olika infrastrukturen som vi kommer att ha optimerat för innehållets ålder." Några av uppfinningarna i mjukvarulagen gör det möjligt för Facebook att reagera snabbt men att lagra data mer kostnadseffektivt, sa han.

Kallförvaring kommer att vara en del av Facebook: s infrastruktur under det närmaste året eller två, sa han. Facebook planerar att avslöja och dela de delar som den anser är relevanta genom Open Compute Project, ett initiativ som startats av Facebook för att tillämpa programvarans samarbetsmodell för öppen källkod till världen av datacenterhårdvara.