Hadoop får mer sökning med MapR, Cloudera-utgåvor

Användare av Hadoop-databehandlingsplattformen har nu två verktyg som hjälper dem att sortera igenom sina berg av information.

MapRs nya M7-distribution avlägsnar Hadoop JVM-lagren för att öka prestanda

Hadoop distributör MapR har integrerat LucidWorks Search i sin egen distribution. Cloudera har under tiden lanserat den första fullständiga versionen av sin open source Impala SQL-sökmotor för Hadoop.

[Vidare läsning: De bästa TV-streamingtjänsterna]

"Att använda sökning som användargränssnitt för stora data är mycket intressant. Sökningen är väl lämpad för att utnyttja många olika typer av information, särskilt ostrukturerad information, säger Jack Norris, marknadschef för MapR. "Vi ser några väldigt intressanta applikationer med sökmotorer som kärnan, även om en typisk användare inte skulle tänka på dem som sökmotorer."

LucidWorks Search är den kommersiella versionen av den öppna källan Apache Lucene / Solr full -text sökmotor. Med den nya MapR-integrationen kan LucidWorks Search söka igenom antingen data på Hadoop File Systems (HDFS) eller på filer på andra filsystem.

LucidWorks Search erbjuder snapshots och speglar för hög tillgänglighet och eliminerar mycket av det arbete som krävs för att installera Lucene / Solr från början. Det erbjuder också inbyggt stöd för fler datakällor, ett grafiskt användargränssnitt och en säkerhetsram.

Sökmotorn kan användas i en dynamisk webbapplikation för att snabbt hämta bilder, reklam, produktrekommendationer och annan information som kan användas att fylla i webbplatser på flyg. "Detta är inte ett billigare alternativ för datalager. Det handlar om att utnyttja nya datakällor och göra några saker som har en dramatisk inverkan på verksamheten, säger Norris.

MapR och LucidWorks har arbetat tillsammans för att koppla samman sina tekniker sedan 2011 när de bildade ett gemensamt marknadsföringsavtal. Tidigare i år släppte de ett kontaktdon som gör det enkelt att använda Lucene / Solr med MapR Hadoop-distributionen.

LucidWords Search fungerar med MapRs nyutgivna M7-distribution, i betaversion. Förutom att stödja LucidWorks Search har M7-utgåvan blivit ombyggd för att eliminera komplikationer eller kontroll av bakgrundsbestämmelser, hastighetsprestanda.

Även denna vecka Cloudera släppte version 1.0 av Cloudera Impala, en SQL-kompatibel sökmotor med öppen källkod för Hadoop. SQL är det databasgränssnittsspråk som används i relationsdatabashanteringssystem (RDMS) och är välkänt av databasadministratörer.

Impala utformades för att utföra frågor snabbare än Hadops Hive, eftersom det inte använder MapReduce-ramen som kräver sökresultat som ska skrivas till disken. I stället kan användarna fråga data som är lagrade i HDFS och HBase direkt. Användare kan fråga data antingen interaktivt eller genom satsvisa processer.

Cloudera släppte först en version av den här motorn i oktober i oktober som en beta. Sedan dess har mjukvaran testats av företag som 37signaler och Expedia.

Impala är kärnkomponenten i Cloudera Enterprise RTQ (Real-Time Query) kompletterande paket för Cloudera Hadoop-plattformen. Impala kan laddas ner utan kostnad.

Uppdaterad 6 maj för att korrigera information om Cloudera Impala-tekniken.