#207 Za dużo AI-owego LSD? - DHH, Decision API i inne linki

Łukasz Kałużny: Ja go obserwuję, bo czasami ma dobre przemyślenia, ale to jest taki attention whore jakich mało. Patoinfluencerki są, mniej potrzebują atencji niż on.

Szymon Warda: Pilnowanie staje się wartością, myślenie staje się wartością, a nie wybór języka na zasadzie: a bo ten jest, ma ładną składnię.

Łukasz Kałużny: Akurat ja się nie jaram technologią aż tak bardzo już w tym momencie, tymi nowinkami, które się pokazują, to jest coś, co faktycznie można uprościć wiele scenariuszy.

Szymon Warda: Mój drogi, gdyby Ci zabrać AI-a, pracowałbyś z 20, 30, 50 razy wolniej, taka prawda.

Łukasz Kałużny: Cześć, słuchacie Patoarchitektów. Prowadzą Łukasz Kałużny…

Szymon Warda: I Szymon Warda. Witamy.

Łukasz Kałużny: Tak, dzisiaj przegląd linków, szybki albo wolny, zobaczymy jak nam wyjdzie. Ale jak zaczynamy o newsach to Szymon raczył odświeżyć szkolenie o Observability.

Szymon Warda: Wersja trzecia. Ale tak poważnie mówiąc, to Łukasz trochę się uśmiecha z tego powodu, ale ono jest przerobione całkowicie, bo nie ma już takiego założenia, że piszemy kod z ręki, jest całkowicie z AI-em i duża część jego jest praktycznie pod pisanie właśnie, wykorzystanie może bardziej AI tak naprawdę. Czyli zautomatyzowanie tego wszystkiego i zrobienie takiej pętli, żeby to wszystko po prostu działało. Zrozumienie jak działa, niekoniecznie pisanie z palca.

Łukasz Kałużny: Może inaczej, chyba podsumuję to Szymon, zrozumienie jak ustawić observability, jakie są elementy potrzebne, żeby agentic mógł Ci pomóc w debugu, trouble shootingu, monitoringu.

Szymon Warda: I jakie są jego etapy, co zrobić, gdzie zyskujemy, gdzie tracimy i co z tym dalej.

Łukasz Kałużny: Jeszcze zostały ostatnie miejsca na Agentic w grudniu, który Mateusz wywołał swego czasu. Dobra, to zacznijmy od rzeczy krótkich. Powiązane z newsem, bo to gdzieś też wykorzystuje, MCP Pato wreszcie się doczekało wersji alpha publicznej. Więc jeżeli ktoś z Was chce zrobić research po podcaście i zobaczyć, ile przeklinam albo ile razy Szymon zrobił “de facto”, to jest już dostępne MCP: Patoarchitekci.io/MCP. Wymaga logowania GitHub-em, politykę prywatności możecie sobie też zobaczyć, bo jest bardzo publiczna na to zrobiona.

Szymon Warda: Więc możecie zrobić testy jak Łukasza harnessy działają dobrze, albo źle.

Łukasz Kałużny: Albo źle w tym.. Nie, harness jest u Was, ja tylko daję MCP.

Szymon Warda: Ale wiadomo co go stworzyło.

Łukasz Kałużny: Tak. Jest wersja HAL, wersja na Discordzie jest HAL. I teraz ciekawostka, która jest, nie mam tam żadnej bazy wektorowej Szymon i to jest właśnie ważny element, ale embedingi są. I słuchajcie, pierwszy news jaki był przy okazji tego, to w GA-u wjechało do SQL Database, w General Avilability i do SQL Servera w onpremie wjechało Vector Search i Vector Indexy. Czyli już dedykowane klauzule na bazie bez żadnych pluginów, tak jak na przykład w Postgressie, tylko natywnie wbudowane wektory w bazę danych. Ja sobie z tego zrobiłem w tym MCP Pato, mam zrobiony full text hybrid search z wagami połączony z vector searchem i embedingami, czyli własny hybrid search na tym.

Szymon Warda: To fajnie pokazuje jedną rzecz, że mieliśmy, ja jestem wielkim fanem tych baz noSQL-owych czy też mało kto je tak nazywa. Baza SQL-owa jest na tyle uniwersalna, że to będzie po prostu działało. I bawienie się w inne bazy niż relacyjne, szczególnie teraz, mały sens, bardzo wąskie przypadki użycia.

Łukasz Kałużny: W sensie modelowanie danych. I tutaj odpowiednie ułożenie metadanych, chunków i innych rzeczy pozwala od razu mieć w jednym miejscu, w jednym requeście zwrócić wszystko co potrzebujesz.

Szymon Warda: Ładnie to dotknąłeś. Modelowanie danych dalej ma sens i dalej trzeba umieć myśleć w różnych modelach baz, ale hostowanie i trzymanie tych danych realnie wylądują w relacyjnej.

Łukasz Kałużny: Pozdrowienia dla Pongo od Oskara, bo on ma nakładkę, żeby Postgressa zmusić, żeby zachowywał się jak Mongo z TypeScripta. I…

Szymon Warda: Można, oczywiście.

Łukasz Kałużny: Żeby wymusić modelowanie danych noSQL-owe i użyć dobrego, starego, stabilnego Postgressa.

Szymon Warda: Dobrze Łukaszu, to zaczęliśmy czymś małym, teraz idziemy czymś większym.

Łukasz Kałużny: Shitstorm.

Szymon Warda: No właśnie. Ok, to zaczynamy od tego co się wydarzyło, co zostało fajnie podsumowane. Gdzieś widziałem, że DHH went of the rails on RailsConf, czyli wystąpienia w momencie keynote’a DHH-a, które było właśnie na konferencji Railsowej. I kilka rzeczy. Jedna rzecz, która tam jest, zobaczcie tego keynote’a, bo on został pocięty, zostały tam rzeczy wyjęte z niego, które niekoniecznie o to w tym keynocie chodziło.

Łukasz Kałużny: Ale wiesz, inaczej, było, zamknięcie keynote’a było takie mike dropem i to do większości: don’t be fuckin losers.

DHH: The black pill is for fucking losers. Don’t be a loser.

Szymon Warda: Tak, ale ono nie było na zasadzie…

Łukasz Kałużny: Raczej wiesz co, mam problem…

Szymon Warda: Jak to jest ujęte w rollsach albo innych (…).

Łukasz Kałużny: Ja mam problem z DHH-em, że ja go obserwuję, bo czasami ma dobre przemyślenia, ale to jest taki attention whore jakich mało. Patoinfluencerki są, mniej potrzebują atencji niż on.

Szymon Warda: Łukasz, jest. Okej, to jest ten moment, gdzie my się nie zgadzamy. Gdzie Ty jesteś bardziej na zasadzie, że: nie, modele niekoniecznie. Według mnie DHH jest osobą, która dostała obuchem w tył głowy i stwierdził, że po prostu coś się zmieniło.

Łukasz Kałużny: Ale on zrobił w ogóle taki… Inaczej, bo jak sam sobie popatrzysz, zrobił taki mocny w tył zwrot, hejtowanie i inne rzeczy. Wcześniej było LLM fuj i teraz LLM jest kochany.

Szymon Warda: Tak, dokładnie to się wydarzyło.

Łukasz Kałużny: Wiesz co, ale pójdźmy tak, Omarchy to jest jeden wielki slob rzeczy, które robi. Sorry, to jest pure token maxing, to co pokazuje, nic więcej w większości przypadków. I jak sobie popatrzysz, ja dla równowagi wziąłbym sobie osobę, którą bardziej cenię merytorycznie i zerknął sobie teraz na dwa tweety od ten, od Hashimoto, od Mitchella Hashimoto, twórcy między innymi Terraforma, a teraz mojego, pisze mojego ukochanego Ghostty. I jeżeli popatrzymy, on pokazał, że w części, że jest jeden z jego przykładów, robił jakieś testy, inne elementy i pokazało, że z perspektywy kogoś, kto nie patrzył w core’owych rzeczach agent może się wydawać wow, ale jak wiesz co robisz, to jest tak jak w tych badaniach przy open source, że on był w stanie zrobić to o wiele lepiej.

Szymon Warda: Dobrze, tylko dajesz ten element kluczowy tutaj w core’owych. Większość developerów Railsów robi aplikacje webowe, bo do tego to zostało stworzone i tu się nie…

Łukasz Kałużny: Ale dobra i…

Szymon Warda: Czekaj, czekaj, tu się nie oszukujmy, to co tam DHH powiedział, bo ten tok był bardzo dobry, on był naprawdę ładnie ułożony, można się z nim nie zgadzać i tak dalej, to jest czasami posłuchanie kogoś z kim się nie zgadzasz. I tam jest, on fajną rozwiązał jedną rzecz, on nawiązał do prezentacji, którą miał dwadzieścia parę lat temu: zobaczcie czego nie robię. I to samo jest teraz: zobaczcie czego nie muszę robić.

DHH: Look at all the things we’re not doing. But look at all the prompts we’re giving.

Łukasz Kałużny: Ale wiesz co, dobra, tylko Szymon, ja to nazwę debilizmem, bo jeżeli ktoś mi mówi, że kurwa przepraszam, że ma pisać kod biznesowy w Rust’cie albo w Assembly, bo będzie szybciej…

Szymon Warda: Nie powiedział, żeby pisać w Rust’cie.

Łukasz Kałużny: Dobra, ale jak popatrzysz, tak, mówi i teraz porównuje w tym, porównuje…

Szymon Warda: Nie, nie, to były właśnie wycinki. On powiedział jedną rzecz, że oni core’owe rzeczy, serwery i tak dalej przepisali w Rust’cie, bo umie.

DHH: And then we take that code that’s running the no-longer web application and turn it into the mail server that it really is at its core in Rust. Well, for Hey, we have our answer. It looks like native applications on the frontend and Rust on the backend. Convention over configuration leads directly to things like token efficiency.

Szymon Warda: I tam było dalej powiedział: czy Ruby dalej ma sens? Oczywiście, bo jest wydajny jeżeli chodzi o tokeny, (…), jesty łatwy i tak dalej.

Łukasz Kałużny: Ale stary, porównując, to tak jak powiedział, że napisał cały orkiestrator, bo stwierdził, że Kubernetes jest trudny. Wiesz, to jest trochę kontynuacja, to jest, wiesz, oni chorują, teraz powiedzmy sobie wprost, on ma chorobę not invented here w wielu miejscach i to bardzo dużą. I teraz dla mnie przepisywanie w Rust’cie softu biznesowego będzie szybciej, pokazywanie tych pseudobenchmarków, które robi. Ja wiem, że on ma swoich followersów… A, a propos Rusta, zanim zacznę hejtować, to 16 listopada nagrywamy z Piotrkiem Jankiewiczem, nagrywamy podcast o Rust’cie, o jego projekcie Iggy. To tak, możecie na Discordzie zdropować pytania. Ale idąc w tym, dla mnie łyknął za dużo AI-owego LSD.

Krzysztof Kononowicz: Zlikwidować całkowicie dla młodzieży alkohol, papierosy i narkotyki.

Szymon Warda: Dobrze. I teraz nie widziałeś tego keynote’a w całości?

Łukasz Kałużny: Ja go oglądałem, ale patrz jaki shitstorm…

Szymon Warda: Czekaj.

Łukasz Kałużny: Ładuję wokół tego też na Twitterze.

Szymon Warda: I teraz uwaga, teraz czemu wydaje mi się, że nie słuchałeś go uważnie? Bo ten element odnośnie przepisania na Rusta, wynik z tego, że on, oni obcięli dużą część i tylko te core’owe rzeczy realnie przepisać na Rusta. Tam nie było o tym, żeby pisać systemy core’owe, systemy biznesowe w Rustcie, bo to nie ma sensu żadnego. Pisanie rzeczy…

Łukasz Kałużny: Ale…

Szymon Warda: W gówno aplikacji, w Ruby ma sens.

Łukasz Kałużny: Ale stary, jeżeli pójdziesz, to teraz tak, jest keynote, popatrz się na całość, ja nie patrzę tylko na keynote’a, ale to co wszystko co pieprzy głupoty. Jak wejdziesz sobie teraz w tym momencie na jego Twitter, no to sorry, nie, on tam właśnie gada o przepisywaniu do Rustu wszystkiego jak leci, do Assembly i innych elementów. I jak popatrzysz, to co robią na przykład w Omarchy i zaczęli robić, to zaczęli kombinować, że piszą sobie Assembly po prostu, żeby działało na x86 przykładowo, gdzie takie całe założenie pod spodem distro i innych rzeczy wiesz, że zakładało sobie optymalizację kodu w odpowiedni sposób, ale nadal wspólny kod źródłowy, wspólne binarki. Znaczy nie binarki, wspólny kod do, żeby wygenerować te binarki. Więc inaczej, ja sobie patrzę z tej perspektywy, że koleś po prostu robi wokół siebie zamieszanie.

Szymon Warda: Łukasz, ustalmy, tak, robi zamieszanie. To, że czasami wrzuca tweety, które nie są do końca przemyślane? Tak. Czy robi pierdolnik? Tak. Czy ta prezentacja w całości jest super przemyślana i dobra i jego wszystkie kierunki są dobre? Nie, nie jest tak. Ale proces myślowy i to gdzie on idzie i to, że mówi wyraźnie nie skupiajcie się na kodzie… Brandzylowanie się nad kodem nie ma sensu. Mówienie: o, ten kod, ten framework jest bardzo ładny to jest fajne - nie, to nie ma sensu.

Łukasz Kałużny: Inaczej, nie ma sensu brandzlowanie się. Ale z drugiej strony idziemy w ten sposób, w jaki on myśli, zapędzamy się w taki kozi róg. I dla mnie, mam takie porównanie, bo przeżyłem ileś, byłem zawsze na froncie tych wszystkich rewolucji, które były technologicznych w ostatnich tych dwóch dekadach. I zawsze jest ten sam element, że świat IT weźmie to i przemieli korporacyjnie. Mieliśmy Agile, doszliśmy do SAFe’a, do SAFe’a, mieliśmy DevOpsa, mamy DevOps inżynierów. Bez urazy, ale DevOps tym nie był. Jak wiesz, jak pójdziemy sobie teraz nagle problem na przykład, że brandzlować się kodem tak, tylko że problem jest głębszy i kulturowy, jak sobie popatrzysz na to jak to wygląda.

Szymon Warda: Łukasz, już to robimy. Mamy AI-a, robimy SpecKita, który generalnie powoduje, że mamy więcej dokumentacji niż możemy obsłużyć. Tak, zmieniło się… Wiesz co, raczej zmieniło się podejście i to jak będziemy myśleli. Pewne rzeczy stały się opłacalne, pewne stały się nieopłacalne.

Łukasz Kałużny: Tylko wiesz co, inaczej…

Szymon Warda: Tam jeszcze jest jedna ważna rzecz, którą powiedział i to ucieka trochę z tych wszystkich wycinków na YouTubie, że on fajną rzecz powiedział, mianowicie, że, kilka rzeczy, koniec aplikacji uniwersalnych, że wchodzimy w aplikacje natywne różne. I to ma sens, bo zyskujemy, w sensie koszt utrzymania pewnych aplikacji stał się po prostu kosztem tokenów.

Łukasz Kałużny: Dobra, inaczej…

Szymon Warda: Ma sens.

Łukasz Kałużny: Ma sens dla mnie, ale tylko w jednym miejscu, w B2C, koniec.

Szymon Warda: Oczywiście, że tak.

Łukasz Kałużny: Koniec. B2B nigdy, multiplatform w B2B sorry. W B2C tak. Chyba, wiesz, to też wziął, Boże, Shopify? Teraz nie wiem…

Szymon Warda: Shopify.

Łukasz Kałużny: Shopify, chyba o tym mówiliśmy, a jak nie, to rzucimy tu linka na ekran. Bodajże wydaje mi się, że Shopify, jak nie, to poprawimy, że przepisał się teraz znowu na natywne apki. I to tak, to gdzieś będzie miało, może mieć gdzieś sens. Pytanie, gdzie się zapędzimy? Szymon, bo jak sobie popatrzysz, te zwroty, jak tego nie pilnuję, mówmy nie brandlujmy się kodem, ale jak nie pilnujesz, to tak to halucynuje, skręca w tak dziwne strony, że…

Szymon Warda: Dobra, Łukasz, czy w ciągu ostatnich dwóch lat widzisz, że halucynacje coraz mniej? Tak, tu w ogóle nie ma innej odpowiedzi.

Łukasz Kałużny: Raczej nie. Ale…

Szymon Warda: Czy ten proces halucynacji będzie leciał w dół? Będzie leciał w dół.

Łukasz Kałużny: Ale to nie jest halucynacje, tylko skręca w dziwne strony, które są… Jak nie przypilnujesz, to skręca w bardzo dziwne strony.

Szymon Warda: Tak, dlatego właśnie nakład idzie na przypilnowanie i to właśnie też, wracamy do tego, co Ty zacząłeś mówić, pilnowanie staje się wartością, myślenie staje się wartością, a nie wybór języka na zasadzie: a, bo ten ma ładną składnię. To jest koniec, to umarło.

Łukasz Kałużny: Dobra, wybór języka to jest, zawsze uważałem, że jest wsteczny. Brandzlowanie się kodem, frameworkiem nie ma sensu, ale pilnowanie i dbanie o jego jakość jakkolwiek będzie ciągle miało sens. Bo powiedzenie sobie wiesz, to jest przykład od klienta, dwa miesiące przepisywania systemu automatami i dwa miesiące backfixowania jebanego.

Kiler-ów 2-ch: No i w pizdu i wylądował i cały misterny plan też w pizdu.

Szymon Warda: Łukasz, tak, tylko teraz zobacz, mamy RailsCony, RubyCony i tak dalej, wszystkie różne konferencje językowe, więc to istnieje u nas.

Łukasz Kałużny: Tylko…

Szymon Warda: To się uspójni, będzie tego mniej. Koniec z takim myśleniem, wracamy do…

Łukasz Kałużny: Wiesz co, frameworki, tylko jest jedna, dobra, jedna rzecz, to jest moje ważne przemyślenie, bez tych frameworków, bez tych community, tych rzeczy, nie byłoby tych LLM-ów.

Szymon Warda: Oczywiście, żeby ich nie było.

Łukasz Kałużny: One nie zrobią nowej pracy twórczej. Trzeba teraz powiedzieć, nie zrobią nic nowego w zakresie kodu.

Szymon Warda: Zdziwiłbyś się, ale nic nowego. Stary, obecnie było, dzisiaj w ogóle było ogłoszenie, że chyba 51 problemów z top 500 w matematyce zostało rozpykanych. Czy nie zrobią nowego? Mamy dużo…

Łukasz Kałużny: Zostało zbruteforsowane.

Szymon Warda: Niekoniecznie zbruteforsowane. Nie, nie. A jeżeli byłoby zbruteforsowane, to jest bardzo dobry brute forcing bym powiedział.

Łukasz Kałużny: Ale to jest brute forcing, więc ja na to tak nie patrzę.

Szymon Warda: Nie jest pełny brute forcing mój drogi, nie.

Łukasz Kałużny: Jest.

Szymon Warda: To nie jest generowanie wszystkich możliwości. To co (…) na Discordzie, to jest opcja, to jest świetna funkcja optymalizacji w którym kierunku idziemy. Pewien brute forcing? Tak, ale z bardzo dużą optymalizacją, gdzie dalej, gdzie zdążamy.

Łukasz Kałużny: Wiemy, że każdy prosi, więc zostaw nam żebrolajka tutaj gdzie słuchasz, będzie spoko.

Szymon Warda: Lećmy dalej.

Łukasz Kałużny: No dobrze mój LSD-ku, kończymy ćpać AI-a. Masz coś nie AI-owego?

Szymon Warda: Oj, Ty będziesz teraz marudził, marudzi, marudził, marudził. Musisz po prostu pohejtować, żeby było.

Łukasz Kałużny: Ale nie muszę. Stary, uważam, że trzeba też powiedzieć sobie i na chwilę się zatrzymać. Tak jak… Inaczej, Ty, 90 mojej pracy, pracy technicznej jest wokół, AI-a? Tak jest, zarabiam na tym, ale nadal jesteśmy, za dużo jest entuzjazmu i myślałem, że trochę szybciej zejdziemy na ziemię.

Szymon Warda: Mój drogi, gdyby Ci zabrać AI-a, pracowałbyś z 20, 30, 50 razy wolniej. Taka prawda.

Łukasz Kałużny: Tak, ale mówię też…

Szymon Warda: O to chodzi.

Łukasz Kałużny: Nie.

Szymon Warda: Tu jest wartość.

Łukasz Kałużny: Tu jest wartość, tak, ale idą takie sytuacje, że są dwie… Mamy teraz dwie skrajności. Jedna skrajność, którą patrzę, to jest: AI to zło. Jest druga skrajność. A z drugiej strony są tacy debile jak DHH: kodujcie, nie patrzcie. I cała, wiesz…

Szymon Warda: Ja się odwołuję do jego prezentacji, do tego co DHH robi, tam jest pierdolnik, prezentacja jest bardzo dobra.

Łukasz Kałużny: Ok, ja patrzę na całość, dla mnie DHH nigdy nie… Inaczej, jest osobą, jest attention whore, który nawala na około, więc jedno wystąpienie, nigdy nie biorę go pod uwagę.

Szymon Warda: Ja, argumenty w prezentacji są dobre i to jest tyle i tam ma rację. Dobrze, lecimy dalej. Temat dla mnie, dla mnie dość ciekawy, inny, też wokół AI-owy, ale bardziej biznesowy. Fajna rzecz wyszła, mianowicie taka, że firma prawnicza, mianowicie firma, która robi soft dla prawników zaczęła kupować GPU od Nvidii i robić własne klastry obliczeniowe. Teraz czemu? Dlatego, że po pierwsze, nie wiem czy wiedzieliśmy nawet to, że OpenAI i Anthropic próbowali wejść w prawo, dużo kasy tam jest, nie ukrywajmy się.

Łukasz Kałużny: Jest prawo, medycyna.

Szymon Warda: Tak. W prawo próbowali, jednak nie dostali danych. I ewidentnie jest taka opcja, że firmy prawnicze nie chcą się dzielić ogromną ilością dokumentów, które zebrały przez wiele lat i widzą tam wartość i też im zależy.

Łukasz Kałużny: Pytanie, który chińczyk będzie pod spodem?

Blok Ekipa: Pod niemieckiego ekologicznego lakiera bezzapachowego to tylko etykietę mamy.

Blok Ekipa: To, co jest w wiaderku?

Blok Ekipa: Chińska jakość.

Szymon Warda: Oczywiście tam będzie chińczyk, totalnie on będzie pod spodem. On będzie tą bazą, ale jednak, co jest najważniejsze, nie wypuszczą danych treningowych.

Łukasz Kałużny: Dobra, wiesz co, wiem, jestem ciekaw za ile Alibaba zostawi, jeżeli pozew patentowy jest przeciwko chińskiej firmie, to Chińczyk zawsze ma rację.

Szymon Warda: Oczywiście, że ma.

Łukasz Kałużny: I będzie taki…

Szymon Warda: Jurtysdykcja i sądy i tak dalej.

Łukasz Kałużny: Ale nie, nie, taki… Czekam aż będzie taki backdoor w tych modelach zrobiony.

Szymon Warda: O to Ci chodzi.

Łukasz Kałużny: O i słuchaj, będzie.

Szymon Warda: Wiesz co, wydaje mi się, że oni będą podchodzili do tego dużo ostrożniej. Prawnicy tak mają, tą ostrożność wpisaną i tak dalej.

Łukasz Kałużny: Ja wiem. Tak jak Big 4.

Szymon Warda: Ale to też fajnie pokazuje, też, że JSON ładnie rządzi rynkiem pod tytułem nie miejmy dużych tylko firm, tylko niech każdy swoje rzeczy trenuje.

Łukasz Kałużny: Raczej pytanie: kupować? Pytanie: za ile jest dostawa? To jest dobra.

Szymon Warda: Dogadają się.

Łukasz Kałużny: Dobra, jak jesteśmy przy (…) biznesowych, ciekawostka, powiązana pewnie też trochę z CPO Anthropica, to Meta i Microsoft znowu zaczęli zabierać limity, subskrypcje na tokeny, na użycie w Anthropicu, Microsoft i Meta. To jest ciekawostka, jest kolejna fala zmniejszania usage’u. I teraz Szymon najciekawsza rzecz, jest sobie pozycja, wrzuca, nie pamiętam czy w OpenAI-u czy w Anthropicu, była pozycja pod tytułem Mega Account dla Facebooka, dla Mety.

Szymon Warda: Tak, bo Facebook raz próbował wycofać i przerzucić na swój własny model, to developerzy powiedzieli: nie. I był ogólny bunt i wrócili do Anthropica właśnie, jako narzędzie do kodowania.

Łukasz Kałużny: Tak, było ten. W Microsofcie kazali się tym. Tak, jest Mega Account Executive dla Mety i to było w Anthropicu. Znalazłem tą ofertę, gdzie zarobki były też jak na account dla jednej firmy, zarobki od 380 do 450 tysięcy dolarów rocznie.

Szymon Warda: Konkretne, ładne. Dobrze Łukaszu, co jeszcze mamy?

Łukasz Kałużny: Choice as a service czy switch as a service. Czyli mieliśmy shitstorm pod tytułem od TypeSafe’a Jev, czyli nie LLM tylko Decision API, Decision Model.

Szymon Warda: I oczywiście wysyp alternatyw od innych dostawców.

Łukasz Kałużny: Tak. I słuchajcie o co chodzi? Założenie jest takie, że definiujecie sobie składnią, wysyłacie nie już text, tylko jakiegoś ułożonego JSON-a z ładnym układem pytania i instrukcji i oczekujecie zwrotu. I możecie zadać pytania sobie w trzy typy pytań. Choice, wybór jednej z opcji z listy. Score, ocena na skali.

Szymon Warda: Czyli wybór zakresu.

Łukasz Kałużny: Tak. I Noul czyli binarne tak/nie.

Szymon Warda: Tak. Ogólnie rzecz biorąc, to jest to ważne, że możemy właśnie wybierać z jakiegoś zestawu, a nie myśleć, nie wyszukiwać JSON-a, który będzie w odpowiedzi bardzo długiej. To się nazywa całe Decision API, zostało to uproszczone.

Łukasz Kałużny: Tak i mamy Jev, był teraz TypeSafe. Pierwszy, pojawiło się masa klonów od razu momentalnie, jak tylko…

Szymon Warda: Odpowiedzi bym powiedział.

Łukasz Kałużny: Odpowiedzi, ale też trochę alternatyw. Z ciekawszych, to jest open wait od Cloudflare’a, Clef i Clef-flash. To jest rzecz, którą warto sobie zerknąć. I jest, ma zgodne API z Jevem. Od razu wprowadzili je na Worker AI, fine tuning z reinforcement learningiem, więc jest ciekawy. Druga rzecz, która mnie bardziej ciekawi jak wyjdzie z preview, z alphy i będzie do niej dostęp, to jest Decision API na bazie GPT6 Luny, zrobiona od ręki przez OpenAI. I teraz co jest najciekawszego w tym wszystkim?

Szymon Warda: Cennik.

Łukasz Kałużny: Cennik, jest mega tanie, ale też szybkość odpowiedzi.

Szymon Warda: Tak. Ale uwaga, jak mega tanio, to mówimy o 10 centów za milion wejściowych i brak opłaty za wyjściowe.

Łukasz Kałużny: Tak.

Szymon Warda: Bardzo ważne.

Łukasz Kałużny: Ja sobie sprawdziłem w tym, na przykład Jev, to było od około poniżej 100 milisekund czas odpowiedzi. Więc to jest w ogóle w tym wow. I teraz, jak sobie zobaczycie…

Szymon Warda: Jeszcze Perplexity żyje i też wydało. Tam jest 2 centy za milion wejściowy.

Łukasz Kałużny: Tak, ale wiesz co? Dobra, ja tak, mam już dostęp do tego, dostałem tam od razu dostęp do tego Jeva. Zacząłem sobie testować, bo pod co są? Są trzy schematy, jak popatrzymy, użycia. Pierwsze to jest wszystkiego interakcja ludzka, żeby mieć szybką odpowiedź do home automation. Ludzie zaczęli to zaciągać do home automation. I to jest pierwszy taki wybór w ogóle, nazwijmy to, projektów, które się pojawiają. A ja patrzę na projekty od strony wykorzystania tego w aplikacjach. I pierwsze co…

Szymon Warda: Wszystkie korporacyjne.

Łukasz Kałużny: Tak. I pierwsze co, to są kategoryzacje, które chcieliśmy robić LLM-em, kategoryzacje pewnych rzeczy, wybór scenariuszy. I zaczynamy bardzo zawężać drogę przez ten strict model odpowiedzi, czyli wszystkie scenariusze routingu. Czy tą regułę spełniasz? Idź tą drogą z tekstu ustrukturyzowanego. Druga rzecz, to jest do ragów, to jest budowa grafów i kategoryzacji, czy na przykład wyciągnięcie wstępnie sentymentu.

Szymon Warda: Nie oszukujmy się, większość zastosowań korporacyjnych do takich LLM-ów to są kategoryzacje w różnej formie. To są systemy, gdzie mamy wejście, jest mail albo wiadomość tekstowa ludzka i tam kategoryzujemy. Chociażby taka prosta czy przetwarzamy to dalej, czy to idzie do człowieka? Sentyment jak najbardziej. I co mamy dalej zrobić, albo na przykład do którego modelu to będziemy korzystali. Dla mnie tu jest ta fajna wartość, bo to jest szybkie, więc możemy postawić to lokalnie. Lokalne, lekkie modele, które potem mówią, do którego modelu powinno iść zapytanie.

Łukasz Kałużny: Tak.

Szymon Warda: Tu jest, ja na to czekam. Kierowniku, daj lajka, będzie lepiej.

Łukasz Kałużny: To w ogóle się pojawiło też dla Claude’a, ktoś zrobił plugin, żeby wybierać do którego modelu kierować, albo czy jakich tooli powinien użyć model czy właściwych. Ale wiesz, z tych tych biznesowych zastosowań Michał Sadowski, prezes Brand24, wrzucił dwa tygodnie, jak to będziecie słuchać, to cztery tygodnie temu wrzucił porównanie Jeva z ich własnym, przez lata budowanym klasyfikatorem do sentymentów. I szacunkowa trafność wynosi 92% dla ich modelu sentymentów B20, który mają wbudowany. Jev miał 88% jako generyczny. Przy czym teraz ciekawostka i to jest tam z perspektywy, model Branda kosztuje, jest 7,7 raza tańszy od Jeva, bo jest dedykowany, zbudowany przez lata przez nich. Ale teraz tak, ta jakość wyjściowa, która pokazuje, bo ja testuję sobie na Pato, to jest…

Szymon Warda: Porównujemy alphę z czymś, co było budowane przez bardzo wiele lat.

Łukasz Kałużny: Do dedykowanej…

Szymon Warda: Więc pomyślmy gdzie to będzie za rok. Na miejscu Brand, ja bym już zaczynał przepinanie się albo budowanie własnego na bazie, na bazie jakiegoś LLM-a albo cokolwiek.

Łukasz Kałużny: Nie wiem co, ja się tu nie wypowiem w tym miejscu, nie byłbym taki. Raczej przy tym dalej pewnie bym nie inwestował w przepinanie, o tak, w tym miejscu.

Szymon Warda: Jak najbardziej do sprawdzenia.

Łukasz Kałużny: W tym, ale od strony biznesowej widzę bardzo wiele scenariuszy właśnie routingu i kategoryzacji.

Szymon Warda: To bardzo mocno obniża koszty.

Łukasz Kałużny: Dobra, tylko jedna rzecz od razu, szybkość, koszty, jeden ten. Czekam aż OpenAI, Microsoft i inni, w których możesz to użyć korporacyjnie to wyda, bo w tym momencie to są tylko zabawki. Z perspektywy dla mnie to jest technology preview, niż coś, w co możesz teraz wejść i użyć, ale warto to researchować.

Szymon Warda: Tak Łukasz, ale to technology preview będzie na produkcji bardzo szybko już teraz. Prędkość jest konkretna.

Łukasz Kałużny: Raczej tak, zobaczymy w tym, więc czekam, zobaczymy. Dlatego mówię, że czekam na to, bo akurat ja się nie jaram technologią aż tak bardzo już w tym momencie, tymi nowinkami, które się pokazują. To jest coś, co faktycznie można uprościć wiele scenariuszy i zrobić je troszkę bardziej deterministycznymi.

Szymon Warda: Znaczy nie oszukujmy się, LLM-y wykorzystane są najlepiej do kategoryzacji, rozwiązane i do generowania nowego na podstawie starego.

Łukasz Kałużny: Tak. No dobra.

Szymon Warda: Dobra.

Łukasz Kałużny: Kończymy.

Szymon Warda: Kończymy.

Łukasz Kałużny: Na razie.

Szymon Warda: Pa, pa.