x-talk
Testy automatyczne

Zmieniasz wiedzę, prompt albo narzędzie, a testy pokazują, czy agent dalej działa

Agent AI zmienia się co tydzień: nowe dokumenty, poprawione instrukcje, nowe narzędzie, inny model. Scenariusze testowe X⁠-⁠TALK przeprowadzają rozmowy z symulowanym klientem i sprawdzają, czy agent nadal robi to, co powinien, zanim zmiana trafi do klientów.

check_circle
Szkic testujesz przed publikacją
check_circle
Porównanie z poprzednim przebiegiem
check_circle
Copilot pisze i naprawia testy
science
Testy Q&A · Szkic
CZAT · 1× · 17 SCENARIUSZY
PRZECHODZI12/17 Trwa przebieg…
P0 Status zamówienia po numerze i e-mailu przechodzi
P0 Zwrot towaru: zasady i formularz w toku
P0 Lead tylko po zgodzie klienta czeka
P1 Pytanie spoza zakresu: grzeczna odmowa czeka
P1 Klient chce rozmawiać z człowiekiem czeka
P2 Klient pisze po angielsku czeka
Przykładowy przebieg. Zapisy w systemach są w testach symulowane.
Dlaczego testy

Agent nie psuje się sam – psują go dobre zmiany

Każda zmiana poprawia jedną rzecz i może po cichu zepsuć inną. Bez testów dowiadujesz się o tym z rozmów klientów. Z testami: przed publikacją.

menu_book
Nowa wiedza Nowy cennik albo regulamin. Agent zaczyna cytować starą wersję albo miesza dwie.
verified
Scenariusz z pytaniem o cenę sprawdza treść odpowiedzi i zgodność z faktami.
edit_note
Poprawiony prompt Dopisana reguła o zwrotach sprawia, że agent przestaje pytać o numer zamówienia.
verified
Kontrola „pierwsze narzędzie” pilnuje, że agent sprawdza zamówienie przed odpowiedzią.
build
Nowe narzędzie Agent dostaje nowe narzędzie i zaczyna go używać tam, gdzie nie powinien.
verified
Zakazane narzędzia i kontrola argumentów łapią złe wywołanie.
tune
Ustawienia i model Inny model, ton albo próg przekazania. Rozmowy brzmią inaczej i kończą się gdzie indziej.
verified
Ocena sędziego i porównanie z poprzednim przebiegiem pokazują różnicę.
Regresja w praktyce

Ta sama rozmowa przed zmianą i po niej – różnicę widzisz, zanim zauważy ją klient

Przełącz wersje i zobacz, jak scenariusz łapie błąd po zmianie instrukcji i jak Copilot proponuje poprawkę w szkicu.

Status zamówienia po numerze i e-mailuv13 · szkic Klient: kupił fotel tydzień temu, chce wiedzieć, kiedy dotrze. Cel: poznać termin dostawy. KLIENT (SYMULOWANY)Hej, gdzie jest mój fotel? Zamówienie 48213. AGENTZamówienia dostarczamy zwykle w 3–5 dni roboczych. Jeśli chcesz zwrócić towar, masz na to 30 dni.
KONTROLE ✓Rozmowa zakończonaagent odpowiadał w każdej turze ✕Narzędzie: status_zamowieniawywołane z numerem 48213 ✓Bez zakazanego narzędzianie tworzy zgłoszenia zwrotu ✕Odpowiedź zawiera termin/czwartek|\d{1,2}\.\d{2}/ ✕Ocena sędziego: cel klientaklient poznał termin dostawy Nie przechodzi · 2/5 kontroli · regresja względem v12
auto_awesome
Napraw z Copilotem: Nowa reguła o zwrotach jest za wysoko w instrukcji. Propozycja: przenieść ją do sekcji „Zwroty” i dopisać „najpierw sprawdź zamówienie narzędziem”.
Przykład ilustracyjny na danych demonstracyjnych.
Co sprawdza scenariusz

Nie tylko „czy odpowiedział”, ale czy zrobił to, co trzeba

Scenariusz to rozmowa (gotowe wiadomości klienta albo symulowany klient z celem i faktami) i lista kontroli. Każda kontrola to osobny wynik, więc od razu widać, co się zepsuło.

person_search
Symulowany klient Model gra klienta z opisem, celem i faktami do podania. Do 20 tur, czat albo głos.
build_circle
Wymagane narzędzia Agent musi sprawdzić zamówienie, termin albo produkt, a nie zgadywać.
block
Zakazane narzędzia Na przykład: bez zgody nie zapisuje leada, bez potwierdzenia nie rezerwuje.
data_object
Argumenty wywołań Właściwy numer, data w przyszłości, wartość pasująca do wzorca.
text_fields
Treść odpowiedzi Co musi paść w rozmowie, czego nie wolno powiedzieć i jak ma brzmieć ostatnia odpowiedź.
gavel
Ocena sędziego Model oceniający sprawdza miękkie kryteria (ton, cel klienta) i zgodność z faktami.
payments
Limit kosztu Scenariusz nie przejdzie, jeśli rozmowa przekroczy ustalony koszt.
repeat
Powtórzenia Każdy scenariusz 1× albo 3×. Widać, które zachowania są stabilne, a które losowe.
Szkic, testy, publikacja

Zmiana trafia do klientów dopiero po zielonych testach

edit_note
01
Zmieniasz szkic Instrukcje, powitanie, narzędzia albo wiedzę. Opublikowany agent działa bez zmian.
play_circle
02
Uruchamiasz testy Na szkicu, w czacie albo głosie. Przebieg działa w tle.
compare_arrows
03
Porównujesz Co przechodziło wcześniej, co teraz, które scenariusze się poprawiły, a które pogorszyły.
auto_awesome
04
Naprawiasz z Copilotem Copilot czyta nieudane kontrole i proponuje poprawkę w szkicu albo w teście.
publish
05
Publikujesz i możesz cofnąć Każda wersja zostaje w historii. Poprzednią przywracasz jednym kliknięciem.
Skąd biorą się scenariusze

Nie piszesz ich od zera – Copilot robi to za Ciebie

auto_awesome
Copilot z instrukcji i narzędziProponuje scenariusze dla tego, co agent ma robić. Ty wybierasz, które zapisać.
forum
Z prawdziwej rozmowy„Zrób z tego test”: rozmowa, która poszła źle, staje się scenariuszem z jej przebiegiem i narzędziami.
edit
Ręcznie albo z gotowego zestawuEdytor scenariuszy, gotowe zestawy dla typowych procesów i import JSON.
hub
Z MCP i APITesty szkicu uruchomisz też z asystenta AI w firmie przez MCP.
Z panelu X⁠-⁠TALK

Testy Q&A w panelu agenta

Wyniki testów Q&A agenta: ostatni przebieg, scenariusze, historia przebiegów
Wyniki: ostatni przebieg z kosztem, scenariusze z priorytetami, historia przebiegów szkicu i wersji opublikowanej, „Napraw z Copilotem” i raport.
Lista scenariuszy testowych z filtrami priorytetów i uruchamianiem w czacie lub głosie
Scenariusze i Copilot: lista z priorytetami P0–P2, gotowe zestawy, import i eksport, uruchamianie wybranych na szkicu albo wersji opublikowanej.
Zrzuty z działającej platformy, dane demonstracyjne.

Pytania o testy agentów

Czy testy dzwonią albo zapisują coś w moich systemach?

Nie. Narzędzia, które coś zapisują (lead, rezerwacja, zgłoszenie), są w testach symulowane. Narzędzia tylko do odczytu mogą korzystać z prawdziwych danych, jeśli tak ustawisz scenariusz.

Ile kosztuje przebieg testów?

Testy zużywają kredyty AI jak zwykłe rozmowy. Scenariusz na czacie to zwykle grosze, w głosie jest wyraźnie drożej. Każdy scenariusz może mieć własny limit kosztu.

Czy testy uruchamiają się same?

Testy uruchamiasz w panelu, z Copilota albo przez MCP, najczęściej na szkicu przed publikacją. Nie ma dziś harmonogramu nocnych przebiegów.

Czy testy głosu sprawdzają jakość dźwięku?

Nie. Scenariusz głosowy sprawdza zachowanie agenta w kanale głosowym (ten sam silnik rozmowy), ale w trybie tekstowym. Jakość dźwięku i połączenia telefonicznego sprawdzasz w rozmowach testowych.

Czy testy wiedzy sprawdzają gotową odpowiedź agenta?

Testy wyszukiwania sprawdzają, czy właściwe dokumenty są w wynikach i z jaką trafnością. Treść odpowiedzi sprawdzają scenariusze rozmów (kontrole treści i ocena sędziego).

Ile scenariuszy może mieć agent?

Do 200 scenariuszy, rozmowy do 20 tur, do 10 kryteriów oceny na scenariusz. Narzędzie własne ma do 20 przypadków testowych.

Co robi „Napraw z Copilotem”?

Copilot czyta nieudane kontrole, przebieg rozmowy i błędy narzędzi, ocenia, czy problem jest w agencie, w teście, w narzędziu czy w środowisku, i proponuje konkretną poprawkę. Zmiany trafiają do szkicu, testy uruchamiają się ponownie, a opublikowany agent się nie zmienia.

Więcej o testowaniu: Jak testować agenta AI przed wdrożeniem · Rozdział playbooka o testach

Chcesz zmieniać agenta bez obawy, że coś się po cichu zepsuje?

W PoC przygotujemy scenariusze dla Twoich najważniejszych procesów i pokażemy przebieg przed zmianą i po niej.