Generatywna AI dla firm: LLM i RAG

RAG (retrieval-augmented generation) to podejście, w którym model językowy przed udzieleniem odpowiedzi wyszukuje fragmenty Twoich aktualnych dokumentów i na ich podstawie formułuje odpowiedź. Dzięki temu nie polega wyłącznie na tym, czego nauczył się wcześniej. Dostarczamy cały potok: przygotowanie i indeksowanie dokumentów, wyszukiwanie, integrację z modelem oraz interfejs, na przykład wyszukiwarkę wiedzy lub asystenta.

Najpierw zbieramy i porządkujemy źródła wiedzy, potem wybieramy sposób podziału dokumentów i model, a następnie budujemy prototyp i oceniamy jakość odpowiedzi na zestawie realnych pytań. Kolejne iteracje poprawiają wyszukiwanie i sposób formułowania odpowiedzi. Czas zależy głównie od stanu dokumentów i liczby ich źródeł. Pierwszy prototyp pozwala szybko zobaczyć, czy podejście działa na Twoich danych.

Wpływają na niego: ilość, format i porządek dokumentów, wymagania dotyczące uprawnień (kto może zobaczyć które treści), liczba integracji, wybór modelu oraz koszty jego użycia przy każdym zapytaniu. Wycenę robimy po przeglądzie źródeł wiedzy. Wybór między modelem w chmurze a hostowanym u Ciebie również zmienia budżet, a kompromisy omawiamy otwarcie.

To kluczowe pytania. Przed startem ustalamy, które dane mogą opuszczać Twoją infrastrukturę, a gdy to niedopuszczalne, rozważamy hostowanie modelu na Twojej infrastrukturze. Halucynacje ograniczamy przez oparcie odpowiedzi na dokumentach, podawanie źródeł i testy na realnych pytaniach, ale nie da się ich wykluczyć całkowicie. Uprawnienia do dokumentów uwzględniamy w wyszukiwaniu. Stosujemy podejście ISO/IEC 27001.

Dokumenty się zmieniają, więc projektujemy proces ich ponownego indeksowania, ręcznie lub automatycznie po zmianie w źródle. Warto też mierzyć jakość odpowiedzi na stałym zestawie pytań, by zauważyć pogorszenie po zmianie modelu czy danych. Możemy zająć się utrzymaniem, a kod i dokumentacja należą do Ciebie, więc rozwój możesz prowadzić także samodzielnie.