En kedja av avgränsade steg

Ett meddelande ska sorteras i klasserna ”vanligt”, ”reklam” eller ”granska”. Systemet tar inte emot hela situationen runt avsändaren och mottagaren. Det får en bestämd representation, till exempel ordmönster, meddelandelängd och tekniska fält. De värden som modellen får använda kallas särdrag.

Modellen beräknar utdata från särdragen. Utdata kan vara en poäng för varje klass. En beslutsregel väljer kanske klassen med högst poäng eller skickar fallet till granskning om poängen är för osäkra. Resultatet är en modellklassificering, inte kunskap om meddelandets verkliga avsikt.

En etikett är det målvärde som ett märkt exempel har fått i tränings- eller testdata. Etiketten kan komma från en regel, ett senare utfall eller en mänsklig bedömning. Vid utvärdering jämförs modellens val med testetiketten. Om etiketten själv är tvetydig eller felaktig behöver även den granskas.

Flera klasser och möjligheten att avstå

Vid binär klassificering finns två klasser. Vid flerklassklassificering finns fler än två möjliga klasser, men modellen behöver fortfarande en tydlig lista med klass-ID:n. En lösning kan också ha ett arbetsflöde där modellen avstår från automatiskt beslut och begär mänsklig granskning. Avstå är då en hanteringsregel, inte nödvändigtvis en tränad klass.

Spara även klasslistans version. Om en klass läggs till, delas eller får ny betydelse har uppgiften förändrats, och gamla mätetal är inte direkt jämförbara utan en uttrycklig översättning.

Mätetal för klassificering bygger på jämförelser mellan prediktioner och referensetiketter. [[source:sklearn-model-evaluation classification-metrics]] I aktiviteten sorterar du fält som särdrag, etikett, gruppfält eller irrelevant metadata. Motivera särskilt varför ett gruppfält kan behövas för utvärdering utan att få användas som modellindata.

Följ en väg genom trädet

Ett beslutsträd börjar i en rot. Varje inre nod ställer en fråga om ett särdrag, till exempel om meddelandet innehåller fler än två länkar. Svaret väljer en gren. Till sist når exemplet ett löv som ger en klass eller klassfördelning.

För ett enskilt exempel kan du skriva hela vägen: ”fler än två länkar: ja; känd avsändare: nej; löv: granska”. Det gör beräkningen spårbar. Spårbarhet visar dock bara vilka regler modellen använder, inte att reglerna är lämpliga.

När trädet tränas prövar algoritmen delningar som gör de nya grupperna renare med avseende på träningsetiketterna. Processen upprepas i grenarna. Exakt mått och sökmetod kan variera. Ett vanligt träd byggs girigt: ett bra lokalt val görs i varje steg utan garanti för att hela trädet blir den globalt bästa lösningen. [[source:sklearn-decision-trees classification]]

Tydlighet har gränser

Ett djupt träd kan anpassa sig till enskilda träningsfall och bli instabilt när datan ändras lite. Ett grunt träd kan missa viktiga skillnader. Begränsningar som maximalt djup eller minsta antal exempel i ett löv kan minska komplexiteten, men de väljer inte automatiskt rätt mål eller rätt särdrag.

Kontrollera också vilket underlag som nådde varje löv. Ett löv med mycket få träningsexempel ger ett skörare stöd än ett löv med många relevanta exempel.

I aktiviteten följer du först vägen för flera exempel. Sedan ändrar du ett särdrag och letar efter ett motexempel: två fall som borde hanteras lika men hamnar i olika löv, eller två olika fall som trädet behandlar lika. Beskriv både den mekaniska vägen och varför utfallet kan behöva granskas.

Klassificering utan ett grenverk

Metoden k-närmaste grannar (k-nearest neighbors, k-NN) sparar märkta träningsexempel. När ett nytt exempel ska klassificeras beräknas avståndet till exemplen. De k närmaste får rösta, och den vanligaste klassen väljs enligt en bestämd regel.

Om k = 1 styr den enda närmaste grannen. Metoden kan då reagera starkt på brus eller ett felmärkt exempel. Med större k jämnas enskilda variationer ut, men ett stort grannskap kan sudda ut en liten lokal grupp. Det finns inget värde på k som alltid är bäst; valet behöver valideras för uppgiften. scikit-learns dokumentation beskriver klassificeringen som en röst bland de närmaste punkterna och skiljer mellan lika och avståndsviktade röster. [[source:sklearn-nearest-neighbors nearest-neighbors-classification]]

Avstånd är ett designval

För två numeriska särdrag kan euklidiskt avstånd användas, men avståndet blir bara meningsfullt i den representation som skapats. Om ett särdrag mäts i tusental och ett annat mellan noll och ett kan det första dominera. Skalning kan göra bidragen jämförbara, men innebär fortfarande ett val om vilken skillnad som ska väga hur mycket.

Kategorier, saknade värden och text kräver andra representationer eller avståndsmått. Ett geografiskt nära exempel behöver inte vara nära i betydelse, och ett matematiskt nära exempel behöver inte vara relevant för beslutet.

Vid lika röstetal behövs en dokumenterad skiljeregel, till exempel avståndsviktning eller en stabil klassordning. Regeln kan påverka resultatet och ska inte döljas.

I aktiviteten jämför du samma punkt med två värden på k. Anteckna vilka grannar som faktiskt röstar, hur skalningen påverkar ordningen och vilket fall som byter klass. Förklara sedan varför observationen inte bevisar att ett av värdena är universellt bättre.

Börja med antal

En förväxlingsmatris korsar testexemplens referensetiketter med modellens prediktioner. Diagonalen innehåller korrekta klassificeringar. Övriga rutor visar vilka klasser som blandades ihop. Läs alltid axelrubrikerna: olika verktyg kan placera faktisk och predicerad klass på olika axlar.

För en vald positiv klass används fyra antal. Sant positiva är positiva exempel som modellen markerade positivt. Falskt positiva är andra exempel som modellen markerade positivt. Falskt negativa är positiva exempel som modellen missade. Sant negativa är övriga korrekt avvisade exempel.

• Träffsäkerhet: antal korrekta prediktioner delat med alla testexempel.
• Precision: sant positiva delat med alla exempel som modellen predicerade som positiva.
• Återkallelse: sant positiva delat med alla faktiskt positiva testexempel.

Definitionerna och deras nämnare överensstämmer med standardmåtten i scikit-learns dokumentation. [[source:sklearn-model-evaluation precision-recall-f-measure-metrics]]

Samma totalpoäng kan dölja olika fel

Anta att 95 av 100 meddelanden är vanliga och fem kräver granskning. En modell som alltid väljer ”vanligt” får 95 procent träffsäkerhet men återkallelse noll för klassen ”granska”: noll av fem relevanta fall hittas. Siffran 95 av 100 säger därför inte att båda klasserna hanteras väl.

När en poängtröskel sänks kan fler fall markeras positiva. Återkallelsen kan öka samtidigt som fler falskt positiva uppstår och precisionen minskar. Det är en möjlig riktning, inte ett löfte för varje dataset; kontrollera den faktiska matrisen.

Redovisa dessutom testmängdens storlek och klassfördelning. Då kan en läsare kontrollera hur många fall varje procenttal motsvarar.

I aktiviteten räknar du måtten från heltalsantal och jämför två trösklar. Välj inte lösning förrän användningssyftet anger vilket slags miss som är mest kostsamt och vilka skydd som finns.

Från matrisruta till konsekvens

Ett låginsatsfilter sorterar inkommande föreningsmeddelanden i ”ordinarie” och ”granska”. Ett falskt positivt fall skickar ett ordinarie meddelande till extra granskning. Ett falskt negativt fall låter ett meddelande som borde granskas gå vidare. Matrisen räknar felen, men arbetsflödet avgör deras konsekvenser.

För varje feltyp behöver du fråga:

1. Vem märker felet och vem bär kostnaden? 2. Kan en människa upptäcka felet innan någon påverkas? 3. Kan resultatet förklaras, rättas och omprövas? 4. Hur snabbt förändras data och användningsmiljö?

Mänsklig granskning är en möjlig skyddsåtgärd, men inte ett magiskt skydd. Granskaren behöver tid, relevant information, mandat att ändra resultatet och ett gränssnitt som inte pressar fram automatisk bekräftelse. En rättelseväg behöver vara begriplig och tillgänglig för den som berörs.

NIST:s ramverk för AI-riskhantering beskriver riskhantering som fortlöpande och organiserar arbetet kring att styra, kartlägga, mäta och hantera risk. [[source:nist-ai-rmf-1-0 AI RMF 1.0, Core]] Ramen ger inte ett färdigt tröskelvärde för vårt övningsfall. Den stödjer principen att mätning kopplas till sammanhang och åtgärd.

När miljön förändras

Fördelningsförskjutning (distribution shift) betyder att data i användning skiljer sig på relevant sätt från tränings- eller testdatan. Nya meddelandetyper, ändrade språkvanor eller ett annat inflöde kan förändra felmönstret. Ett gammalt testresultat kan då vara otillräckligt även om det beräknades korrekt.

I aktiviteten jämför du två trösklar med samma testunderlag. Välj utifrån det angivna låginsatssyftet, redovisa minst två mätetal, namnge den viktigaste feltypen och föreslå en konkret skyddsåtgärd. Slutsatsen gäller övningsfallet, inte automatiskt beslut inom vård, utbildning, arbete eller myndighetsutövning.