Integracja OpenAI API (ChatGPT)

Integrujemy model po stronie serwera, tak aby klucze API nie trafiały do przeglądarki użytkownika. Typowa funkcja to streszczenia, klasyfikacja zgłoszeń, tłumaczenia albo odpowiedzi w oparciu o dokumenty firmy (RAG) z cytowaniem źródeł. Projektujemy warstwę pośrednią tak, by dostawcę modelu dało się zmienić bez przebudowy systemu. Dostarczamy kod, prompty, formaty odpowiedzi oraz dokumentację, które zostają w Twojej własności. Zakres funkcji ustalamy razem, zaczynając od jednego przypadku, który daje najszybciej odczuwalny efekt.

Zaczynamy od wyboru jednego przypadku użycia i przygotowania kilkunastu realnych przykładów, na których sprawdzamy jakość odpowiedzi. Potem budujemy prototyp, testujemy go na Twoich danych i dopiero wtedy włączamy go do aplikacji. Pracujemy iteracyjnie, więc prompty i reguły poprawiamy na podstawie wyników, a nie przypuszczeń. Czas zależy od liczby źródeł wiedzy i integracji z innymi systemami, dlatego harmonogram ustalamy po pierwszym prototypie.

Są dwa osobne koszty: wytworzenia integracji oraz bieżącego użycia modelu. Pierwszy zależy od złożoności funkcji, liczby źródeł danych dla RAG, wymaganego poziomu kontroli jakości i integracji z Twoimi systemami. Drugi zależy od wybranego modelu, długości zapytań i liczby użyć. Dlatego dodajemy limity, cache i monitoring zużycia, a przed startem szacujemy koszt jednego użycia, żebyś mógł przewidzieć wydatki przy wzroście ruchu.

To zależy od konfiguracji, dlatego omawiamy ją na początku. Ograniczamy zakres wysyłanych danych, anonimizujemy dane osobowe tam, gdzie to możliwe, i sprawdzamy warunki dostawcy dotyczące przetwarzania oraz przechowywania. Pracujemy zgodnie z praktykami bezpieczeństwa zbliżonymi do ISO/IEC 27001 i uwzględniamy wymagania RODO. Model może też się mylić, więc przy ważnych odpowiedziach pokazujemy źródła i przewidujemy kontrolę człowieka, zamiast ślepo ufać wynikom.

Dlatego od początku oddzielamy logikę biznesową od konkretnego dostawcy. Zmiana modelu lub dostawcy sprowadza się wtedy do konfiguracji i ponownych testów jakości, a nie do przepisywania aplikacji. Zestaw przykładowych pytań, który przygotowujemy na starcie, służy później jako test regresji po każdej zmianie. Po wdrożeniu możemy monitorować jakość i koszty oraz aktualizować prompty, ale kod i dokumentacja są Twoje, więc nie jesteś związany z nami.