.png)
Dlaczego projekty AI potrzebują innej infrastruktury?
Typowe aplikacje biznesowe wykonują dużą liczbę następujących po sobie operacji. W projektach sztucznej inteligencji często konieczne jest natomiast równoległe przetwarzanie ogromnych zbiorów danych.
Procesory graficzne dobrze radzą sobie z takimi obciążeniami, ponieważ mogą wykonywać jednocześnie wiele podobnych obliczeń. Ma to znaczenie podczas:
- trenowania modeli,
- dostrajania ich do konkretnych zadań,
- analizy obrazu i materiałów wideo,
- pracy z dużymi modelami językowymi,
- generowania odpowiedzi w czasie rzeczywistym,
- analizy dużych zbiorów danych,
- obsługi wielu użytkowników jednocześnie.
Sama karta GPU nie wystarczy. Wydajność całego środowiska zależy również od ilości dostępnej pamięci, szybkości odczytu danych, przepustowości sieci oraz sposobu zarządzania obciążeniami. NVIDIA wskazuje, że infrastruktura AI obejmuje również oprogramowanie do zarządzania zasobami GPU, sterowniki, narzędzia kontenerowe i mechanizmy obsługi całego cyklu życia aplikacji.
Własne serwery GPU czy zasoby w chmurze?
Budowa własnego środowiska AI może wymagać dużej inwestycji jeszcze przed potwierdzeniem, czy planowany projekt przyniesie firmie oczekiwane korzyści.
Oprócz zakupu urządzeń trzeba zapewnić:
- odpowiednie zasilanie,
- wydajne chłodzenie,
- szybkie systemy dyskowe,
- zabezpieczenia centrum danych,
- oprogramowanie do zarządzania zasobami,
- monitoring,
- dostępność specjalistów,
- możliwość późniejszej rozbudowy.
Dodatkowym problemem jest szybki rozwój technologii. Sprzęt kupiony na potrzeby pilotażu może okazać się niewystarczający, gdy projekt zostanie rozszerzony na całą organizację. Z drugiej strony zakup nadmiarowego środowiska powoduje, że część kosztownych zasobów pozostaje niewykorzystana.
AI Cloud pozwala rozpocząć od infrastruktury dopasowanej do aktualnego etapu projektu. Firma może przygotować środowisko testowe, zweryfikować jakość modelu oraz koszty jego działania, a dopiero później zwiększać dostępne zasoby.
Polcom AI Cloud łączy infrastrukturę GPU, rozwiązania AI as a Service oraz środowiska przeznaczone do pracy z modelami językowymi i technologią RAG. Usługi są realizowane w infrastrukturze zlokalizowanej w Polsce.
Trenowanie, fine-tuning i inferencja
Dobór infrastruktury zależy od tego, na jakim etapie wykorzystywany jest model.
Trenowanie polega na uczeniu modelu na dużych zbiorach danych. Jest to zwykle najbardziej wymagający obliczeniowo etap, który może wymagać wielu układów GPU oraz szybkiego dostępu do danych.
Fine-tuning, czyli dostrajanie, pozwala przystosować istniejący model do określonej dziedziny, języka lub rodzaju zadań. Może być wykorzystany na przykład do poprawy sposobu klasyfikowania dokumentów lub generowania odpowiedzi w konkretnej branży.
Inferencja oznacza wykorzystywanie gotowego modelu do generowania wyników. Przykładem jest działający chatbot, system rozpoznający obrazy albo narzędzie analizujące dokumenty. W środowisku produkcyjnym ważna staje się nie tylko moc obliczeniowa, lecz również przewidywalny czas odpowiedzi i możliwość obsługi wielu zapytań.
Innej konfiguracji będzie więc potrzebował zespół prowadzący eksperymenty, a innej aplikacja dostępna stale dla klientów lub pracowników.
AI as a Service – dostęp do modeli bez zarządzania sprzętem
Nie każda organizacja chce samodzielnie konfigurować serwery GPU, środowiska uruchomieniowe i narzędzia do obsługi modeli. Alternatywą jest AI as a Service, czyli dostęp do modeli sztucznej inteligencji jako zarządzanej usługi.
Firma może wtedy połączyć model z własną aplikacją, chatbotem, systemem obsługi zgłoszeń lub narzędziem analitycznym za pomocą interfejsu API. Dostawca odpowiada za utrzymanie infrastruktury i środowiska wykonawczego.
Taka chmura do AI może zostać wykorzystana między innymi do:
- tworzenia asystentów dla pracowników,
- automatyzacji obsługi klienta,
- klasyfikowania zgłoszeń,
- streszczania dokumentów,
- wyszukiwania informacji,
- integracji modeli z aplikacjami biznesowymi.
Polcom AI as a Service umożliwia uruchamianie otwartych modeli językowych w odseparowanym środowisku. Dostęp jest realizowany przez endpoint zgodny ze standardem API OpenAI, co może ułatwić integrację z istniejącymi aplikacjami.
RAG, czyli AI korzystająca z wiedzy firmy
Ogólny model językowy nie zna aktualnych procedur, dokumentacji technicznej, umów ani instrukcji obowiązujących w konkretnej organizacji. Jednym ze sposobów wykorzystania wewnętrznych informacji jest RAG, czyli Retrieval-Augmented Generation.
W takim rozwiązaniu system najpierw wyszukuje fragmenty firmowych materiałów powiązane z pytaniem użytkownika. Następnie przekazuje je modelowi jako kontekst potrzebny do przygotowania odpowiedzi.
RAG może wspierać:
- przeszukiwanie firmowej bazy wiedzy,
- analizę dokumentacji,
- odpowiadanie na pytania pracowników,
- obsługę procedur i regulaminów,
- wyszukiwanie informacji produktowych,
- przygotowywanie odpowiedzi dla klientów.
Zaletą jest możliwość korzystania z aktualnych danych organizacji bez konieczności trenowania całego modelu od początku. Jakość rozwiązania zależy jednak od uporządkowania dokumentów, mechanizmu wyszukiwania oraz sposobu kontrolowania dostępu do informacji.
Polcom wskazuje RAG jako jeden z elementów AI Cloud, przeznaczony między innymi do budowania asystentów pracujących na wewnętrznych bazach wiedzy i dokumentach organizacji.
Bezpieczeństwo danych w projektach AI
Przed uruchomieniem rozwiązania należy ustalić, jakie informacje będą przekazywane do modelu. Prompty mogą zawierać dane klientów, dokumentację techniczną, treść umów, dane finansowe lub informacje stanowiące tajemnicę przedsiębiorstwa.
Firma powinna sprawdzić:
- gdzie są przetwarzane dane,
- czy dostawca wykorzystuje je do trenowania innych modeli,
- kto ma dostęp do środowiska,
- jak długo przechowywane są zapytania,
- czy dane są szyfrowane,
- czy można wydzielić zasoby dla jednego klienta,
- jak zarządza się kontami i uprawnieniami,
- w jaki sposób rozwiązanie jest integrowane z systemami firmowymi.
Polcom deklaruje, że dane przetwarzane w ramach Polcom AI Cloud pozostają w infrastrukturze zlokalizowanej w Polsce i nie są wykorzystywane do trenowania własnych ani publicznych modeli językowych. Zakres ochrony i odpowiedzialności powinien jednak zawsze zostać szczegółowo opisany w umowie dotyczącej konkretnego wdrożenia.
Jak dobrać zasoby do projektu?
Nie należy rozpoczynać od wyboru serwera o największej mocy obliczeniowej. Najpierw trzeba określić scenariusz biznesowy, typ modelu i przewidywane obciążenie.
Znaczenie mają między innymi:
- wielkość modelu,
- ilość pamięci potrzebnej do jego uruchomienia,
- liczba użytkowników,
- oczekiwany czas odpowiedzi,
- długość przetwarzanych dokumentów,
- liczba zapytań w ciągu dnia,
- potrzeba trenowania lub dostrajania,
- planowany rozwój aplikacji.
Projekt pilotażowy może korzystać z części dostępnych zasobów. Aplikacja produkcyjna obsługująca wielu użytkowników może natomiast wymagać dedykowanego GPU i gwarantowanego poziomu wydajności.
Polcom udostępnia infrastrukturę obliczeniową dla sztucznej inteligencji w modelu IaaS z GPU. Usługa jest przeznaczona między innymi do trenowania, fine-tuningu, inferencji, analizy danych oraz pracy z materiałami multimedialnymi. Środowisko może być skalowane wraz z rozwojem projektu.
Najpierw problem biznesowy, później technologia
Sam dostęp do dużej mocy obliczeniowej nie sprawi, że projekt AI stanie się użyteczny. Firma powinna najpierw wskazać konkretny proces, który chce usprawnić, oraz sposób mierzenia rezultatów.
Dobrym początkiem może być ograniczony pilotaż obejmujący jeden scenariusz, na przykład wyszukiwanie informacji w dokumentacji, klasyfikowanie zgłoszeń albo analizę określonego rodzaju dokumentów.
Po sprawdzeniu jakości wyników, kosztów i reakcji użytkowników można rozbudować rozwiązanie. Takie podejście ogranicza ryzyko inwestowania w infrastrukturę przed potwierdzeniem wartości biznesowej projektu.
AI Cloud pozwala oddzielić rozwój aplikacji od konieczności samodzielnego budowania całego zaplecza GPU. Największe znaczenie ma jednak właściwe połączenie modelu, danych, infrastruktury i konkretnego zastosowania. Dopiero wtedy sztuczna inteligencja może przestać być eksperymentem i stać się stabilnym elementem procesów przedsiębiorstwa.
