Zagadnienie tego, w jaki sposób agent AI podejmuje kolejne decyzje, dotyczy samego serca jego architektury. U podstaw leży tak zwana pętla percepcja–planowanie–działanie, w której program najpierw rejestruje informacje z otoczenia, następnie analizuje dostępne możliwości, a wreszcie wykonuje wybraną akcję. Cały ten obieg odtwarza się wielokrotnie, aż do uzyskania zamierzonego efektu.
Trzonem tego procesu jest model językowy, który odgrywa rolę własnego głosu konsultacyjnego agenta. To on odczytuje polecenia użytkownika, dzieli złożone zadanie na mniejsze podzadania i proponuje kolejność ich wykonania. Otoczenie modelu stanowią pomocnicze narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent wywołuje wtedy, gdy wymaga konkretnych danych spoza swojej pamięci treningowej.
Ciekawym elementem architektury jest tak zwana pamięć operacyjna, w której agent przechowuje kontekst bieżącego zadania. Dzięki niej nie traci wątku nawet wtedy, gdy proces rozkłada się na wiele etapów i wymaga przeskakiwania między różnymi źródłami informacji. To właśnie ta zdolność wyróżnia agenta od podstawowego skryptu, który wykonuje jedynie z góry ustaloną listę poleceń.
Osobną kwestią pozostaje mechanizm ewaluacji własnych działań. Dobrze skonstruowany agent jest w stanie rozpoznać, że otrzymany wynik nie zgadza się od zamierzonego, i wrócić do poprzedniego etapu, by spróbować alternatywnej ścieżki. Taka samokorekta przybliża działanie maszyny do ludzkiego nawyku sprawdzania własnej pracy przed jej oddaniem.