Zagadnienie tego, w jaki sposób agent AI podejmuje kolejne decyzje, sięga samego rdzenia jego architektury. U fundamentu leży tak zwana pętla percepcja–planowanie–działanie, w której program najpierw odbiera informacje z otoczenia, następnie analizuje dostępne możliwości, a wreszcie realizuje wybraną akcję. Cały ten cykl odtwarza się kilkakrotnie, aż do osiągnięcia zamierzonego efektu.
Sercem tego procesu jest model językowy, który pełni rolę wewnętrznego głosu konsultacyjnego agenta. To on odczytuje instrukcje użytkownika, dzieli złożone zadanie na drobniejsze podzadania i proponuje kolejność ich wykonania. Środowisko modelu stanowią pomocnicze narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent uruchamia wtedy, gdy potrzebuje konkretnych danych spoza swojej wiedzy treningowej.
Ciekawym elementem architektury jest tak zwana pamięć operacyjna, w której agent przechowuje tło bieżącego zadania. Dzięki niej nie gubi wątku nawet wtedy, gdy procedura rozciąga się na kilka etapów i wymaga przeskakiwania między różnymi źródłami informacji. To dokładnie ta zdolność wyróżnia agenta od podstawowego skryptu, który odtwarza jedynie wcześniej ustaloną listę poleceń.
Osobną kwestią pozostaje mechanizm ewaluacji własnych działań. Dobrze zbudowany agent jest w stanie zidentyfikować, że otrzymany wynik odbiega od oczekiwanego, i cofnąć się do poprzedniego etapu, by spróbować innej ścieżki. Taka autokorekta przybliża działanie maszyny do ludzkiego nawyku weryfikowania własnej pracy przed jej oddaniem.