Hvad betyder Tree of Thoughts?
Tree of Thoughts er en forskningsbaseret tilgang, hvor en sprogmodel indgår i en søgning gennem forskellige løsningsmuligheder. Systemet kan foreslå flere næste skridt, vurdere deres potentiale og fortsætte med udvalgte grene frem for at fastholde den første idé.
Det centrale er organiseringen af søgningen. Et træ repræsenterer alternative mellemtilstande, og en procedure bestemmer, hvilke der skal undersøges. Forfatternes implementering viser blandt andet forskellige søgestrategier til afgrænsede opgaver. Begrebet er derfor mere specifikt end blot at bede en chatbot om tre idéer.
Metoden er interessant, når et tidligt valg påvirker resten af løsningen, og når alternativer kan vurderes efter tydelige kriterier. Den skaber samtidig flere modelkald og en ny afhængighed af den vurdering, der udvælger grenene.
Gode alternativer kræver en brugbar vurdering
En gren kan være en foreløbig plan eller en delvist løst opgave. Systemet skal have en måde at vurdere, om den stadig kan føre til et acceptabelt resultat. Hvor det er muligt, bør konkrete krav kontrolleres med kode eller anden uafhængig logik.
Hvis modellen alene bedømmer sine egne forslag ud fra, hvor overbevisende de lyder, kan en dårlig gren få for høj vurdering. En elegant forklaring er ikke det samme som en plan, der overholder kapacitet, rækkefølge og øvrige begrænsninger.
Sæt grænser for hvor meget der udforskes
Flere grene kan hurtigt skabe et stort antal forsøg. Beslut derfor, hvor bredt og dybt søgningen skal gå, og hvad der får den til at stoppe. Et klart budget gør det muligt at sammenligne metoden med en enklere løsning.
Et fundet forslag bør beskrives som det bedste blandt de undersøgte muligheder, medmindre der faktisk er bevis for et globalt optimum. Ved almindelig virksomhedsplanlægning vil både datagrundlag og kriterier ofte være ufuldstændige. Det skal være synligt i resultatet.
Et eksempel fra praksis
Et kursusfirma undersøger mulige dagsprogrammer med tre oplæg, to workshops og faste pauser. En afgrænset prototype foreslår flere rækkefølger og kontrollerer, om lokaler og undervisere kan være til stede.
Grener, der kræver samme lokale til to aktiviteter samtidig, fravælges gennem en konkret regel. De resterende forslag vurderes på deltagernes skift og plads til pauser. En medarbejder vælger til sidst ud fra forhold, som modellen ikke kender, eksempelvis en oplægsholders rejseplan. Forslagene er planlægningshjælp, ikke bevis for den bedst mulige dag.
Typiske faldgruber
- Tre frit formulerede idéer kaldes et implementeret Tree of Thoughts-system.
- Modellens vurdering af egne forslag erstatter kontrol af faste krav.
- Søgningen vokser uden et defineret budget eller stopkriterium.
Det skal I afklare
- Definér mellemtilstand, alternativer og kriterier for at fortsætte.
- Kontrollér faste begrænsninger med en uafhængig mekanisme.
- Sammenlign resultat og ressourceforbrug med en enklere planlægning.
Spørgsmål og svar
Er Tree of Thoughts altid bedre end ét svar?
Nej. Det er ekstra arbejde, som skal passe til opgaven. En enkel faktabesvarelse eller en entydig regel har sjældent brug for en omfattende søgning gennem alternativer.
Kan metoden garantere den optimale løsning?
Ikke generelt. Det kræver særlige egenskaber ved problemet, søgningen og vurderingen. Et godt forslag blandt undersøgte muligheder er en mere præcis beskrivelse.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.
- Yao m.fl.: Tree of Thoughts ↗Den oprindelige tilgang til udforskning og vurdering af mellemtilstande.
- Princeton NLP: Tree of Thoughts implementation ↗Forfatternes kode og søgestrategier til de beskrevne forsøg.