Vad krafter openai bot som slog dendi

Förra veckan skapades historia i riket Dota 2 och AI. På The International slogs Dendi, en av spelets bästa spelare, nådelöst i en 1v1, av en bot, två gånger i rad. Botten i fråga gjordes av OpenAI, en start av Elon Musk.

Nu kanske du har några frågor. Vad är Dota? Vad är OpenAI? Och varför är detta till och med viktigt? Till att börja med är Dota ett gratis-att-spela MOBA-spel där du kontrollerar hjältar och ditt mål är att förstöra motståndarna Ancient. Många Dota-fans kanske missnöjer sig till den sista meningen eftersom det är så mycket för Dota då jag har sammanfattat.

Spelet är mycket komplicerat med en mycket brant inlärningskurva. Jag hade påbörjat ett uppdrag att lära mig Dota för en tid sedan och det tog mig en vecka bara för att gå igenom en grundläggande How To- video, där de förklarar spelets strategi, vilka vapen, trollformler, hjältar gör och hur man kan mina kryp. Och detta gör hela AI vs Dendi- striden viktigt eftersom den illustrerar hur avancerad AI och ML har blivit. Så låt oss se vad som driver den botten och behöver vi bli rädda för AI-uppror.

Rise Of The Planet Of The AI

AI att bli Skynet är ett diskutabelt problem. Elon Musk anser att om det inte hålls i kontroll kan ett Skynet- liknande scenario sannolikt hända. Å andra sidan säger Mark Zuckerberg att AI är ofarligt och inte kommer att orsaka Doomsday Scenario. Elon Musk startade OpenAI med detta mål.

För att förhindra missbruk av AI och forskning om AI som inte kommer att vända sig mot oss. Och jag är på hans sida.

Men det är inte det vi är här för att diskutera. Huvudämnet är att veta vad som driver botten från OpenAI. För att få en förståelse av det, läste jag några forskningsuppsatser och bloggar om ämnet och kontaktade också min vän Anmol Sharma som är AI & ML-forskare.

Förstärkningslärande

Detta är namnet på tekniken bakom OpenAI: s Dota bot. Men innan vi fördjupar det, måste vi förstå hur allmän AI, eller specifikt AI i videospel, fungerar. AI är en mycket styrelsetermin och innehåller många ämnen som Machine Learning, Deep Learning och Neural Networks för att nämna några. För att på ett grovt sätt definiera AI kan vi säga att det är en dators förmåga att lära av information och fatta beslut baserat på lärandet. Ju mer det lär sig, desto mer ökar beslutets korrekthet.

Hur skiljer det sig från vanliga bot?

Bots i allmänhet videospel kan se ut som om de är intelligenta men det är inte en riktig form av AI. Nästan alla dessa bots i spel är programmerade baserat på inställda If..Detta.. Då.. Dessa uttalanden. De följer bara uttalanden och vidtar åtgärder baserat på villkoren skrivna i uttalandet.

Ovan har jag visat ett mycket enkelt exempel. Uttalanden i riktiga spel är mycket mer komplexa med förhållanden inom villkor. Ju mer väl definierade och detaljerade dessa uttalanden är, desto mer verkar botten vara intelligent.

Belöningar och straff

I AI-lingo kallas det vi kallar bot som Agent. Målet är att få agenten att lära sig vad vi vill att den ska lära sig. Agenten lär sig på samma metod som din hund lär sig, genom belöningar och straff. När agenten gör ett misstag straffas den och när den gör rätt gissning eller ger rätt svar belönas den. Genom detta system lär agenten att associera de handlingar som den inte borde göra för att undvika straff och utföra åtgärden (eller liknande åtgärder) som ger belöningar.

Om du tänker noga på det, är det precis som att fatta beslut baserat på vissa villkor, precis som algoritmer gör det. Som jag har visat ovan kommer en spelbot, som kommer på en explosiv fat, att vidta åtgärder enligt algoritmen. Algoritmer i AI är uppenbarligen oerhört komplexa än detta, vilket gör hela systemet intelligent.

När vi kom till vår OpenAI-bot lärde det sig enligt utvecklarna hela spelet under två veckor. Under hela 2 veckors tid var det online 24 × 7 och spelade mot en kopia av sig själv. Det är en anmärkningsvärd milstolpe med tanke på spelets komplexitet och det faktum att det kan slå Dendi.

Varför är fortfarande inte förare-mindre bilar här?

Detta var en av de första frågorna som dök upp i mitt sinne när jag hörde talas om hela denna händelse. Om en bot kan lära sig ett sådant spel och träna sig till en punkt att slå toppspelare, varför bemannar vi fortfarande ratten. Och det var samma fråga som jag sköt mot min vän, Mr. Anmol Sharma, som också har forskat på drivlösa bilar. Det var vad han hade att säga.

I ett spel, som utvecklats av en människa, är antalet variabler mindre. Dessutom, om agenten (bot) gör ett misstag, är den värsta straffen en rundförlust. I den verkliga världen är ett misstag döden.

Trots att Dota är ett komplext spel, är de möjliga kombinationerna av drag, trollformer och taktik, även om de fortfarande är absurde stora, fortfarande begränsade. Och misstag är tillåtna utan någon verklig straff. Men i händelse av en förare-mindre bilagent, kan misstag leda till farliga olyckor och till och med dödsfall.

I den verkliga världen är antalet variabler som agenten måste övervaka oändliga och situationer inträffar på grund av dessa variabler, som en annan bil som plötsligt byter spår, fotgängare hoppar framför bilen, är också oändliga. Som Jeremy Clarkson uttryckte det, kommer de att behöva fatta moraliska och etiska beslut när de är på gränsen till en omedelbar olycka (även om hans teori inte är giltig).

Framtiden

Vi känner redan till mänsklig kontrollerad robot som utför egentliga operationer. Nästa steg är AI-kontrollerade robotar som utför det. Och detta är bara inom medicinskt område. AI kommer säkert att vara den dominerande nya tekniken under det kommande decenniet inom många områden. Men AI kan också missbrukas för besvärliga syften som DDoS-attacker, Ransomware Bots och hacking av andra datorer eller system för företag.

När det gäller Dota och andra spel kan vi förvänta oss att se sådana intelligenta bots också för andra spel, mot vilka spelare kan träna för att prestera ännu bättre. Och nämnde jag att OpenAI kommer att göra en 5v5 på nästa års International? Så jag ska börja mina Dota-färdigheter för att åtminstone besegra de inbyggda dumma bots. Divine Rapier här kommer jag!