Programowanie
w parze z AI

Od premiery Github Copilota a potem ChatGPT, zasadne stało się pytanie: czy AI nas zastąpi?

‍Wystarczy chwila interakcji, aby zauważyć, że to jeszcze nie ten moment. Można też podejmować próby spowolnienia adopcji tego typu narzędzi, lub wprost zaprzeczania im. Chociaż takie nastawienie może mieć uzasadnione podstawy, historia pokazuje, że powstrzymanie rozwoju technologii jest bardzo trudne. W końcu nie sposób zaprzeczyć niesamowitym rezultatom, które te narzędzia osiągają już dziś. Co więcej, można sięgnąć po te możliwości i sam zrobiłem to już kilka lat temu, korzystając z pierwszych wersji popularnych dziś na rynku narzędzi.

Aby nie opierać się wyłącznie o słowa, pokażę co mam teraz na myśli. Nie rzadko zdarza mi się realizować projekty na swoje potrzeby. Czasem po to aby odkryć nową technologię, innym razem dla zabawy. W takich sytuacjach zależy mi na zrealizowaniu swoich założeń, przy ograniczonym czasie. Nie mogę pozwolić sobie na to, aby spędzać godziny nad małymi problemami, które stają na mojej drodze.

Ostatnio jednym z nich było encodowanie chunków streamu zwracanego przez API OpenAI. Prawdopodobnie ze względu na środowisko w którym pracowałem, generowane odpowiedzi nie zawierały polskich znaków. Rozwiązania  które przychodziły mi do głowy okazały się nieskuteczne. Zapytałem więc ChatGPT o możliwe rozwiązanie:

Wydawało się być wystarczające, ale nadal potrzebowałem zaimplementować je w mojej funkcji, która i tak przeszła sporo zmian przy okazji wcześniejszych prób. Wykonałem więc jeszcze jedno zapytanie:

I otrzymałem odpowiedź zawierającą instrukcję zamiany dosłownie jednej linii. Wprowadzenie poprawki dało natychmiastowy efekt. Oczywiście nie wiem jak długo zajęłoby mi rozwiązanie tego problemu samodzielnie. Wiem jednak, że zrobiłem to szybciej dzięki ChatGPT.

Naturalnie nie zawsze w środowisku produkcyjnym mogę ot tak przeklejać sobie fragmenty kodu do ChatGPT czy GPT-3. Nic jednak nie stoi na przeszkodzie aby w rozmowie z ChatGPT posługiwać się niezależnymi snippetami i szukać możliwych rozwiązań. Dobrym przykładem jest rozmowa w której pracowaliśmy wspólnie nad jednym z promptów. Wspólna wymiana pomysłów i uwag była niesamowicie produktywna. W kilkanaście minut zrealizowałem pracę, na którą w pojedynkę potrzebowałbym 2-3 dni! (chodziło o pracę z różnymi wariantami tego samego promptu. Łącznie musiałem przygotować kilkadziesiąt wersji. Napisanie ich ręcznie prawdopodobnie nigdy by się nie wydarzyło).

Wniosek: Możemy współpracować z AI i wzajemnie zwiększać swoją skuteczność.

W latach 2017-2023 rozwój AI znacząco przyspieszył a znaczącym elementem był model o nazwie Transformer, wspomniany po raz pierwszy w tej publikacji. Aby zobaczyć o jakim tempie tutaj mówimy, można porównać wyniki generowane przez GPT-2 z GPT-3.

Przykład GPT-2 (HuggingFace) dla zwykłego dialogu, w którym spodziewamy się odpowiedzi "I'm doing great, thanks for asking!", otrzymujemy:

Natomiast w GPT-3.5 (Playground) otrzymujemy następujący rezultat:

Porównanie o którym mówimy dzieli 14-23 miesięcy rozwoju, licząc daty publikacji GPT-2 oraz GPT-3 (GPT-3.5 jakieś 9 miesięcy później). Pomimo tak ogromnego postępu, treści generowane przez najnowsze modele, nadal bywają dalekie od doskonałości. Co więcej w przypadku LLM (Large Language Model) raczej nie mówimy o myśleniu, lecz opartej na modelach statystycznych zdolności do przewidywania kolejnego tokenu. Poniżej krytyczne spojrzenie na LLM przez znaną w świecie Deep Learningu postać:

LLM sprawdzają się do bardzo określonych zadań. Jeżeli jednak zrozumiemy ich możliwości oraz ograniczenia, będziemy w stanie mądrze wybierać. Nie rzadko też okaże się, że w sytuacji w której powszechnie uważa się, że "GPT-3 się nie sprawdza", w naszym przypadku perfekcyjnie zrealizuje oczekiwane zadanie.

‍Dobrym przykładem z mojego własnego podwórka jest określanie dat na podstawie wzmianek w tekście. Powszechnie wiadomo, że GPT-3 nie radzi sobie z nimi dość dobrze, nawet jeżeli jasno poinformujemy go "kiedy jest dziś", trudno będzie mu policzyć datę na podstawie określenia "w następny piątek". Sam jednak opracowałem prompt, którego skuteczność jest zaskakująco wysoka i zwraca poprawny wynik we wskazanym przeze mnie formacie.

Dojście do takiego rozwiązania, nie było przypadkowe i wymagało ode mnie poznania kilku technik projektowania zapytań do GPT-3, które połączyłem ze sobą. Dziś ten prompt wykorzystuję zawsze w sytuacji gdy pracuję z datami. Zmierzam tym do tego, że rozmowa z GPT-3, czyli projektowanie promptów, przypomina pewną warstwę abstrakcji dla programowania. Tutaj jednak zamiast wykorzystywać ściśle określoną składnię, posługujemy się słowami i odpowiednim formatowaniem fragmentów tekstu.

Co ciekawe istnieją narzędzia, które w takich zadaniach sprawdzają się wręcz perfekcyjnie. Jednym z nich jest WolframAlpha, który z absurdalną precyzją odpowiada na zadane pytanie:

Wniosek: GPT-3 nie jest doskonałe a jego użyteczność uzależniona jest od kontekstu i sposobu wykorzystania.

W filmach i wpisach na temat Github Copilot czy ChatGPT, bardzo często pada zdanie: generowany kod jest lepszy niż mój! Ekscytujące i alarmujące jest jednak to, że jest prawdziwe. Przykładowo pomimo tego, że znam wyrażenia regularne, ich pisanie i testowanie zajmuje mi czas. Napisanie poniższego zajęłoby mi kilka/kilkanaście minut i to przy założeniu, że znalazłbym informację o tym jak zatrzymać dopasowanie na znaku cudzysłowu, bo zwykle nie przychodzi mi to naturalnie. W tym przypadku pojawiło się na moim ekranie w kilka sekund.

Są jednak znacznie bardziej złożone przykłady. Do tej pory nie zdarzyło mi się pracować z API zwracającym odpowiedź w formie strumienia. Nie wiedziałem nawet jak się do tego zabrać. ChatGPT wygenerował kod, który pozwolił mi szybko odnaleźć się w zadaniu, które przede mną stoi. Choć docelowo ta funkcja wygląda inaczej i oryginał zawiera zbędne fragmenty, tak ten przykład zaoszczędził mi przynajmniej kilka godzin. A to tylko jedna funkcja. Przede mną było napisanie całej aplikacji.

Gdy wyobrażę sobie, że miałbym konkurować ze sobą wspieranym AI, bez wątpienia bym przegrał. Przewaga w postaci połączenia doświadczenia, logiki i ultra-szybkiego analizowania i generowania kodu, jest zbyt duża abym miał realne szanse.

Ponownie jednak, to nie jest tak, że ChatGPT zawsze generuje poprawne odpowiedzi i natychmiast rozwiązuje moje problemy. Tym bardziej że dostępność tego narzędzia aktualnie bywa dość ograniczona. Pokazuje to historia mojego czatu:

I chociaż w powyższych konwersacjach rozwiązałem kilkanaście różnych problemów, nie rzadko musiałem zaczynać od początku, zarówno z przyczyn technicznych jak i konieczności zmiany podejścia. Ostatecznie i tak nie można tego porównywać z próbą samodzielnego rozwiązania problemów.

Wniosek: Łatwo wygrać z AI. Trudno wygrać z osobą posługującą się AI.

Myślę, że na obecnym poziomie, na którym znajdują się technologie generatorów tekstu/kodu (GPT, Copilot itp.), zupełnie nam to nie grozi, ale co będzie za kilka lat? Tego nie wiem.

Jednak to, z czym mamy do czynienia już teraz, jest rozwiązaniem na tyle dojrzałym, że warto spróbować wdrożyć je do swojego codziennego życia. Można oczywiście zaklinać rzeczywistość i starać się zatrzymać postępujący rozwój technologii mówiąc, że AI jest szkodliwe, nie przyjmie się i jest dla nas zbyteczne.

Historia pokazuje jednak, że zatrzymanie rozwoju technologii, którą już zachłysnęli się ludzie, nie jest wcale takie proste… a niekiedy, nie jest nawet możliwe.

Sztuczna inteligencja za sprawą głównie OpenAI weszła pod strzechy. Znajomość sieci neuronowych, deep learningu i skomplikowanych algorytmów łączących matematykę i fizykę, to NIE są już umiejętności niezbędne do tego, aby wejść w świat AI. Już dziś, próg wejścia został drastycznie obniżony. Machina rozwoju nowych technologii ruszyła, a od Ciebie zależy, czy będziesz częścią tego rozwoju.

Odpowiadając na tytułowe pytanie - "czy AI nas zastąpi?" - powiedziałbym NIE, to nie AI może nas zastąpić, a ludzie, którzy będą umieć z tego AI korzystać.

Kilka lat temu, bardziej zaawansowani technicznie użytkownicy komputerów, dysponujący przy tym mocnymi GPU, mogli pobawić się technologią GPT-2. Trzeba przyznać, że generowane przez tę technologię odpowiedzi były ‘ciekawe’, ale nie można powiedzieć, że użyteczne, czy poprawne.

Zaledwie kilkanaście miesięcy później, światło dzienne ujrzał GPT-3, który generował teksty na takim poziomie, że niezwykle trudno było je odróżnić od tych, pisanych przez człowieka (co potwierdzi Ci każdy uczeń, który oddał jako zadanie domowe pracę napisaną przez GPT-3).

Od powstania GPT-3 minęło zaledwie kilka miesięcy, a świat oszalał na punkcie ChatGPT. Już teraz technologia ta jest na poziomie ułatwiającym życie milionom ludzi na całym świecie. Trzeba oczywiście umieć z niej korzystać.

Mówię o tym dlatego, że do szybko zmieniającej się technologii najłatwiej 'wskoczyć' na początku. Gdy już technologia porządnie się rozwinie, a bazowa ilość wiedzy niezbędnej do rozpoczęcia z nią pracy drastycznie wzrośnie, wtedy może okazać się, że próg wejścia będzie za wysoki. Z tego powodu staramy się działać możliwie szybko.

Tak, to prawda, że współczesne transformery tekstu generują niekiedy odpowiedzi, które brzmią jak prawdziwe, ale prawdziwymi nie są.

Dla wielu programistów to cecha, która wyklucza użycie takiego rozwiązania w produkcyjnym kodzie. Bo jak mielibyśmy wykorzystywać coś, co raz na jakiś czas (nikt nie wie, kiedy) się myli, lub zwraca zupełnie zmyślone odpowiedzi?

Okazuje się, że istnieją metody pracy zarówno z GPT-3, jak i ChatGPT, które gwarantują Ci jako programiście otrzymanie przewidywalnej i do tego zawsze prawdziwej odpowiedzi.

Istnieją nawet sposoby na odcięcie się od całego zasobu wiedzy (lub niewiedzy - jak mówią niektórzy), do jakiej ma dostęp wybrany model AI.

Między innymi tego chcemy Cię nauczyć.

Ja wiem, że współczesne modele sztucznej inteligencji są dość ułomne, ale i tak w wielu dziedzinach nawet na poziomie, na którym obecnie się znajdują, są niedoścignione dla klasycznych algorytmów.

Spróbuj w klasyczny sposób napisać tzw. klasyfikator sentymentu treści, czyli mechanizm, który na podstawie zadanego inputu ocenia, czy np. komentarz na temat produktu jest pozytywny, czy negatywny. Wydaje się to prostym zadaniem? To wyobraź sobie, że otrzymujesz taki oto komentarz:

“Jestem przerażony tym jak działa ten soft! Na samą myśl o tym, jak wyglądała moja praca, zanim go kupiłem, aż przepełnia mnie obrzydzenie. Jak ja mogłem tak żyć?! Ja tego softu nie polecam. Ja go ubóstwiam i jestem zniesmaczony na samą myśl, że ktoś mógłby używać produktów konkurencji!”

Tak, ja wiem… kilkadziesiąt IF-ów, baza słów kluczowych, jakieś proste filtry bayesowskie i do tego wykrywanie literówek (zauważyłeś je w tekście?). Stworzenie takiego systemu to męczarnia, a i tak liczba false-positivów będzie taka, że jego produkcyjne użycie będzie praktycznie niemożliwe.

A co jeśli powiedziałbym Ci, że ChatGPT rozpoznałby bezbłędnie sentyment tego komentarza, ignorując w nim wszelkie literówki, błędy gramatyczne i nietypowy zapis słów, a wszystko to dałoby się zautomatyzować wysyłając do API dosłownie jedno zdanie prompta?

Przykład z wykrywaniem sentymentu nie przemawia do Ciebie za bardzo?

Pomyśl o generowaniu streszczeń dowolnych tekstów, o automatycznym odpisywaniu na maile klientów Twojego sklepu, o przeszukiwaniu ogromnych baz danych i zwracaniu odpowiedzi w zrozumiałej dla człowieka formie.

Przeszukiwanie baz danych? Ale jak to?! Przecież te technologie są odcięte od świata! 🤔

Chcemy Cię nauczyć, jak zapewnić faktycznie ‘niemal offlinowym’ technologiom dostęp nie tylko do świata zewnętrznego, ale i do Twoich wewnętrznych zasobów wiedzy, a wszystko to uzyskamy w sposób możliwie bezpieczny.