En modell av möjliga lägen

I AI kan sökning betyda att en agent undersöker möjliga handlingsföljder. Det är något annat än att söka efter en webbsida. Anta att en simulerad robot ska flytta en låda från start till mål. Agenten behöver inte lagra varje repa i golvet. Den behöver en representation som räcker för att avgöra vilka handlingar som är möjliga och om målet har nåtts.

Ett tillstånd kan till exempel innehålla robotens ruta, lådans ruta och batterinivån. Starttillståndet beskriver läget innan agenten agerar. En handling kan vara gå norrut eller lyft lådan. En övergång beskriver vilket nytt tillstånd handlingen leder till. Ett måltest svarar ja eller nej på frågan om uppgiften är klar.

Alla tillstånd som kan nås med tillåtna handlingar bildar ett tillståndsrum. Det kan ritas som en graf: noder är tillstånd och pilar är handlingar. Världskartan och grafen är inte samma sak. Två platser på kartan kan ge flera grafnoder om batterinivå eller last också påverkar nästa beslut.

Kostnaden uttrycker vad som räknas

En väg genom grafen är en följd av handlingar. Vägkostnaden summerar kostnaden längs vägen. Om varje förflyttning kostar ett steg är kortast väg den med minst antal förflyttningar. Om brant terräng kräver mer batteri kan två lika långa vägar ha olika kostnad.

I aktiviteten jämför du kartan med två tillståndsbeskrivningar. Kontrollera start, tillåtna handlingar, övergångar, måltest och kostnad. Förklara sedan vilket fält som måste läggas till för att agentens nästa handling ska kunna väljas.

Fronten bestämmer nästa undersökning

När starttillståndet har öppnats lägger sökningen möjliga nästa tillstånd i en front. Strategin är regeln för vilket tillstånd som tas från fronten härnäst. En separat besökt mängd hindrar sökningen från att fastna i cykler som A → B → A.

Bredden-först-sökning undersöker först alla tillstånd ett steg från start, sedan alla två steg bort och så vidare. Om grafen har ändligt många grenar och varje steg har samma kostnad hittar den en väg med minst antal steg. Djupet-först-sökning följer i stället en gren så långt det går och backar när grenen tar slut. Den kan använda mindre minne, men kan nå en lång omväg innan den prövar en kort väg.

Fullständighet betyder här att strategin hittar ett mål om ett nåbart mål finns under de angivna villkoren. Det betyder inte att vägen är billigast. En strategi kan vara fullständig men ändå välja en dyr väg.

Jämför under samma villkor

Antalet undersökta tillstånd beror på grafen, målplaceringen och ordningen mellan grannar. Därför får två strategier bara jämföras med samma start, mål och grannordning. Redovisa också vad vägkostnaden mäter. Fyra steg över svår terräng kan kosta mer batteri än sex steg på fri mark.

En kostnadsmedveten strategi prioriterar den hittills billigaste vägen. En heuristik är en uppskattning av hur långt det återstår till målet. Den kan styra sökningen mot lovande tillstånd, men en dålig uppskattning kan styra fel.

I aktiviteten följer du två deterministiska spår. Anteckna undersökningsordning, funnen vägkostnad och frontens största storlek. Slutsatsen ska ange både resultat och villkoren som gjorde jämförelsen giltig.

Ett träd med växlande val

I ett turbaserat spel beskriver ett tillstånd spelplanen och vems tur det är. En tillåten handling är ett drag. När agenten undersöker flera framtida drag bildas ett spelträd. Efter en nod med agentens val följer noder där motståndaren får välja.

Det räcker därför inte att fråga vilket eget drag som ger bäst läge direkt. Agenten behöver också fråga vilket svar en motståndare kan välja. I en förenklad minimax-modell väljer agenten det drag vars sämsta motståndarsvar ändå ger bäst värde för agenten. Det är ett försiktigt antagande om en motståndare som försöker försämra agentens resultat.

Om spelet når vinst, förlust eller oavgjort kan lövet få ett bestämt resultat. Ofta är hela trädet för stort. Sökningen stoppas då vid en djupgräns, och en värderingsfunktion uppskattar de ofärdiga lägena. I ett litet raderingsspel kan den till exempel väga öppna vinstlinjer för båda spelarna.

En uppskattning är inte ett facit

Värderingsfunktionen är skriven av människor eller anpassad genom en annan process. Den väljer vilka egenskaper som ska räknas. Ett läge med många öppna linjer kan se bra ut men innehålla ett hot som blir synligt först ett drag senare. Djupare sökning kan då ändra dragvalet.

Spelagenten i avsnittet är planerande: den söker i en modell av möjliga framtider. Den kan samtidigt innehålla fasta regler, och dess värdering kan vara lärd. Etiketten spelagent berättar alltså inte ensam vilken mekanism som väljer handling.

I aktiviteten väljer du ett drag vid två sökdjup. Visa det bästa svar som motståndaren antas ge och förklara varför en grund värdering kan skilja sig från en djupare sökning.

Tre källor till handlingsval

En agent tar emot information om ett tillstånd och väljer en handling. Samma yttre beteende kan skapas med olika mekanismer.

En regelstyrd agent använder villkor och handlingar som människor har skrivit, till exempel om avståndet är mindre än 30 cm, stanna. Regeln kan följas snabbt och tydligt, men täcker bara de situationer som villkoren kan hantera.

En planerande agent har en modell av handlingars följder. Den söker bland möjliga framtida tillstånd och väljer en plan mot ett mål. Sökningen kan behöva göras om när miljön förändras.

En lärande agent anpassar sitt sätt att välja handling från data eller erfarenhet. I förstärkningsinlärning samspelar agenten med en miljö: den observerar ett tillstånd, agerar och får en belöning eller annan återkoppling. Genom många interaktioner kan den anpassa en policy, alltså en regel eller modell för val av handling.

Belöningen definierar inte hela målet

Belöning är en numerisk signal som träningsprocessen försöker öka över tid. Den är inte samma sak som en etikett med rätt klass för varje exempel. Om belöningen bara premierar hastighet kan en agent lära sig att ta risker som människan inte avsåg. Människor väljer miljö, möjliga handlingar, belöningssignal och träningsgränser.

Många system är hybrider. En robot kan använda en lärd modell för att tolka en kamerabild, sökning för att planera en rutt och en fast regel för nödstopp. Att kalla hela systemet lärande döljer då viktiga delar.

I aktiviteten sorterar du mekanismkort. Hänvisa till var handlingsvalet kommer från. Använd kategorin hybrid när flera mekanismer har olika roller och skriv vilka rollerna är.

Från fysisk miljö till fysisk handling

En robot verkar i en fysisk miljö. Sensorer mäter exempelvis avstånd, ljus eller hjulens rotation. Mätvärdena används för en tillståndsuppskattning: en beräknad representation av var roboten och relevanta objekt kan befinna sig. Ordet uppskattning är viktigt. En sensor levererar signaler, inte säker kunskap.

En planerare eller styrning väljer nästa kommando. Aktuatorer, till exempel motorer, omvandlar kommandot till rörelse. Rörelsen förändrar miljön och nya mätningar kommer tillbaka. Därför är roboten en återkopplingsloop, inte bara ett program som kör en färdig lista.

Fel kan uppstå i varje led. En sensor kan brusa eller sluta svara. Tillståndsuppskattningen kan förväxla ett hinder med fri yta. Ett korrekt kommando kan fördröjas av latens. Ett hjul kan halka så att den utförda rörelsen skiljer sig från den beordrade.

Osäkerhet ska ändra handlingen

Om sensorn anger 40 cm men mätfelet kan vara ±15 cm, kan det verkliga avståndet vara betydligt mindre. En säker styrning kan sänka farten, stanna eller begära mänsklig kontroll när osäkerheten blir för stor. Säkerhetsmarginalen ska inte döljas inne i ett genomsnitt.

Riskhantering behöver vara kopplad till sammanhang och följas över tid, inte behandlas som ett engångstest. NIST:s AI RMF organiserar sådant arbete kring funktionerna Govern, Map, Measure och Manage. [[source:nist-ai-rmf-1-0 Core]]

I aktiviteten följer du tre mätfall genom loopen. Välj en begränsad säkerhetsåtgärd och förklara vad den minskar, vad den inte löser och när en människa behöver ta över.

Ett avgränsat räddningsscenario

En simulerad robot ska leverera ett första hjälpen-paket från start S till mål M. Kartan är ett rutnät. Vissa rutor är kända som fria, några är blockerade och några är okända. En människa har markerat en förbjuden zon som ingen plan får passera.

Strategi A söker snabbt mot målet och föreslår en väg på 8 steg genom två okända rutor. Den undersöker 14 tillstånd. Strategi B söker bredare och föreslår en känd väg på 12 steg. Den undersöker 27 tillstånd. Varje vanligt steg kostar 1 batterienhet, medan ett steg i okänd terräng i simuleringen kan kosta mellan 1 och 4.

A har lägre beräknad kostnad om de okända rutorna är lätta. I det försiktiga fallet kan rutten i stället kosta 6 × 1 + 2 × 4 = 14 batterienheter. B kostar 12. Antalet undersökta tillstånd beskriver sökarbetet, inte rutternas säkerhet.

Begränsning före optimering

Den förbjudna zonen är en hård begränsning. En rutt som passerar zonen förkastas även om den är kort. Bland tillåtna rutter kan agenten sedan jämföra batteri, tid och osäkerhet. Detta håller isär vad som aldrig får offras från det som får vägas mot annat.

Riskbedömningen behöver kopplas till användningssammanhanget och följas när informationen ändras. [[source:nist-ai-rmf-1-0 Core]] Om en operatör bekräftar att de två okända rutorna är fria kan rekommendationen ändras. Om batteriets säkra reserv höjs kan båda rutterna behöva förkastas.

I aktiviteten fyller du en jämförelsetabell med undersökta tillstånd, vägkostnad, batterimarginal, okänd terräng och säkerhetszon. Rekommendera A, B eller ingen av dem. Skriv villkoret som skulle kunna ändra rekommendationen.