Kontext är allt
LLM:er (stora språkmodeller) fungerar allra bäst som ett gränssnitt som drivs av naturligt språk. Därför ligger den verkliga intelligensen i LLM-drivna applikationer inte främst i själva modellen, utan snarare i den kontext vi ger den.
LLM:er kan förstå nyanser i språket (till en viss grad) och generera ny, väldigt mänsklig text. Men tidigt upptäckte vi att språket modellerna producerar ofta är språkligt korrekt, men inte alltid faktamässigt korrekt.
På mina utbildningar brukar jag säga att AI inte vet vad den inte vet, eftersom den faktiskt inte vet någonting alls. Den är inte medveten. Det är vi människor som läser in väldigt mycket i AI:ns språk, vilket inte är konstigt eftersom AI:n härmar oss.
Men det grundläggande problemet när vi bygger applikationer är att vi vill att de ska ge korrekta svar. När vi tidigare byggde NLU-drivna applikationer (Natural Language Understanding) skrev vi ofta manuellt in rätt svar och säkerställde att de var korrekta. Däremot var vår utmaning då att matcha rätt fråga med rätt svar.
Ärligt talat är situationen inte så annorlunda i LLM-drivna applikationer idag. Det kan kännas magiskt, men bakom varje välbyggt AI-system finns ett maskineri som säkerställer att rätt information hämtas, så att LLM:en kan ge de briljanta svar vi ibland ser.
LLM-drivna applikationer ger sällan informativa svar baserat endast på intränad kunskap. Istället instrueras de att använda kontextuell information för att formulera sina svar.
De flesta känner idag till RAG (Retrieval-Augmented Generation), och det var verkligen där det började. Semantisk matchning och nyckelord var våra första steg mot intelligenta tjänster. Men kontext innebär mycket mer än så.
Att ge en LLM rätt kontextuell information låter kanske enkelt, men att faktiskt hitta rätt kontext är ofta svårare än man tror. En extra utmaning är att man inte bara kan dumpa all information som finns i prompten – det gör oftast resultatet sämre.
Några saker som alltid gör kontexthantering utmanande:
Digital information är ofta fragmenterad. Människor är duktiga på att navigera detta organiserade kaos och hitta relevant information baserat på kunskap, instinkt och erfarenhet. Automatiserade system saknar dessa förmågor och behöver därför standardiserade metoder som fungerar för alla situationer – enkla såväl som svåra.
Att information existerar betyder inte automatiskt att den är relevant. Att kunna identifiera och filtrera fram den mest relevanta kontexten är en kritisk mänsklig förmåga som är mycket svår för både automatiserade system och LLM:er.
Ibland är kontexten självklar för människor men måste tydligt förklaras för en LLM. Antaganden som vi gör automatiskt i samtal fungerar inte alltid på samma sätt för en LLM.
När vi utmanar gränserna för vad LLM:er klarar av kommer fokus alltmer att skifta från att bara förbättra modellerna själva till att förbättra vår förmåga att ge dem rätt kontext.
Finns det ett tak för hur bra dessa tjänster kan bli? Kanske, men vi är fortfarande i början av vad som är möjligt. De kringliggande systemen och verktygen utvecklas snabbt och öppnar ständigt nya möjligheter.
Med en växande förståelse för hur vi bäst kombinerar mänskliga färdigheter med AI:s styrkor kan vi fortsätta skapa imponerande och värdefulla lösningar som verkligen gör skillnad. Framtiden är lovande, och potentialen är enorm.