Ostatnie Patoszkolenie w tym roku👇
➡️ 04.06.2024 Architektura 101
Google, hype na AI a rzeczywistość
- czy w wielu przypadkach nie wystarczy użyć pojęcia machine learningu i deep learningu? Konferencja Google I/O - niewypał?
- a także o nowym artykule LinkedIna i zastosowaniu DORA!
Słuchasz Patoarchitektów dzięki Protopii. Sprawdź, jak Patoarchitekci i Protopia mogą Ci pomóc ➡️ protopia.tech
Linki i ciekawe znaleziska:
Łukasz Kałużny: Cześć Słuchacie Patoarchitektów. Prowadzą Łukasz Kałużny
Szymon Warda: i Szymon Warda. Wszystkie linki do tego odcinka… Oczywiście patoarchitekci.io/75. Dobrze Łukaszu, to zaczynamy. Co dzisiaj miało być motywem?
Łukasz Kałużny: Dzisiaj motywem przewodnim miało być Google I/O 2023.
Szymon Warda: Ale nic tam nie ma.
Łukasz Kałużny: Tak, więc co? Zaczynamy od tego, Szymon? Od przeglądu Google…
Szymon Warda: Zacznijmy, tak, od tych rzeczy nudniejszych.
Łukasz Kałużny: Czyli od tych mniejszych.
Szymon Warda: Zgodzimy się, że tam po prostu nic nie ma. Miał to być fajny odcinek o konferencji. Dużej konferencji wielkiej firmy, która generalnie próbuje wejść, próbuje właśnie można powiedzieć wejść na rynek cloudowy, a tam po prostu nic nie było.
Łukasz Kałużny: Tak, to może w ogóle zróbmy, wiesz co? Ja wstępem taki zupełnie inny wpis, który miałem któregoś razu go… Przytoczyć. I to świetnie odnosi się do tego, co się pokazało tutaj. To jest z czwartego maja, czyli ten tydzień przed Google I/O, pociekły sobie wewnętrzne dokumenty strategiczne Google’a na temat AI, które pokazują.
Szymon Warda: Kojarzę.
Łukasz Kałużny: Tak. I tam jest jedna genialna rzecz pokazująca jak outputy w jakim czasie opensource’owych projektów zbliżają się do ChataGPT 4ki, gdzie Google jest, nie bójmy się tego określenia, w czarnej dupie przy swoich modelach aktualnie, które publicznie udostępnia.
Szymon Warda: I to bardzo fajnie widać na I/O samym. Google ogłosił tyle różnych modeli. Po prostu to co mieli w jakiejś tam fazie developmentu, po prostu wszystko wrzucili na scenę, żeby po prostu było dużo AI. Czemu? Pamiętajmy, że Google jest czym? Spółką akcyjną i największą obawą ich, że akcje pójdą w dół, a akcje poszłyby w dół, gdyby nie było dużo AI’a po prostu.
Łukasz Kałużny: Tak… I poleciał sobie taki model. Bo z tych AIowych rzeczy to chyba najważniejsze jest… Z mojej opinii tak - jest sobie ten model Palm 2ka, który ponoć napędza część tych narzędzi pod spodem.
Szymon Warda: Dla mnie to jest to, że wypuścili tego palm 2ka…
Łukasz Kałużny: Ja wiem.
Szymon Warda: Dlatego, że Bard, nazwa Bard się spaliła.
Łukasz Kałużny: Tak, bo nie dowiozła.
Szymon Warda: Nie dowiozła. Wielkie rozczarowanie i wielkie nabijanie się z niego.
Łukasz Kałużny: Tak, więc tutaj jest… Mówię, to jest wskoczenie na pociąg. Przy czym wiesz co, przypomina mi się to demo sprzed 2-3 lat, gdzie bot zamawiał pizzę, które było fejkiem.
Szymon Warda: A to ja Ci zadam pytanie jedno, bo wydaje mi się, że Google… Ja pamiętam generalnie jak wiele lat temu jeszcze były opcje takie, że wszyscy chwalili Google za to, że w googlu taki mit był generalnie, że…
Łukasz Kałużny: AI się dzieje.
Szymon Warda: Nie, że lepiej by udowodnić, że czegoś nie warto robić, no nie? Był taki motyw, że mówiło się, że nie warto robić. To też teraz się zapytam. Co? Jaki produkt, który odniósł sukces Google wypuścił w ciągu ostatnich 5 lat, nowy produkt. Co wypuścili?
Łukasz Kałużny: No nie ma. Wszystko było rebrandowane. Były rebrandingi tylko.
Szymon Warda: Rebrandingi albo rzeczy typu Stadia, które nie są… Ale to mimo wszystko duże produkty, ale umarły.
Łukasz Kałużny: Wiesz co? Jedną rzecz jestem ciekaw. Kiedy było ten… Data premiery, bo jest jedna rzecz, która mnie z AI’em w google’u nadal zastanawia. To jest ich Tensor Processing Unit.
Szymon Warda: To nie jest coś, co oni wypuścili na rynek. To jest coś do wewnętrznego developmentu.
Łukasz Kałużny: Tak, ale jest też na cloudzie dostępny u nich. Na cloudzie, więc na to trochę patrzę. Tylko… Wiesz co jest ciekawe? Że ta część wokół machine learningu u nich, wyrzućmy tego AI’a, bo AI jest tylko na prezentacjach. Deep learning i machine learning. Tak naprawdę. To zobacz, że kurde byli gdzieś na przodzie bardzo mocno w pewnym momencie czasu i zobacz, że ich się wskazywało jako… Weź ich jako usługę cloudową, weź ich research papery i inne rzeczy jako bazę do budowy swoich rzeczy.
Szymon Warda: Ale teraz właśnie wracamy do czego? Wracamy do tego, co powiedziałem, że oni mieli wiele rzeczy, ale nie dowozili tego do końca. Nie wypuszczali pełnych produktów. Tak naprawdę. I jak tego nie wypuścili, to nie uczyli się na błędach. To znaczy, że coś się nie działo. Po prostu.
Łukasz Kałużny: Wiesz co? Tak. To jest… Można powiedzieć, że model, ten, promocyjny w Google’u zabija produkty, model awansu.
Szymon Warda: No, raczej powiem tak… Smutna bardzo konferencja, bo ewidentnie rzucili na… chcieli, żeby dużo było ogłoszone i żeby dużo było z AIem ogłoszone. Cała reszta jest tak schowana jak nie wiem co.
Łukasz Kałużny: Muszę dorwać paru znajomych od Google Clouda, bo jeden się z nich bardzo odgrażał, że będzie miał dużego announcementa. W styczniu, zanim wszystko zaczęło się dziać, odgrażał się o dużym announcemencie, że z jego projektu, nad którym pracuje… Będzie mógł wreszcie się pochwalić, co dokładnie robi.
Szymon Warda: Pewnie go ubili. Znaczy projekt, nie kolegę.
Łukasz Kałużny: Nie… Raczej announcement ubili - bo projekt pewnie się toczy ale jest ten… Nic tutaj nie ma. Bo jak sobie popatrzymy, to całość jest wokół usług AIowych wspierających, czyli tak jak przesłyszeliśmy się, że jednak były pokazywane jakieś rzeczy związane z cloudem… To bardzo dużo elementów usług, nowości, zapowiedzi. Jest wokół właśnie AIa, to jest pierwsza rzecz. Druga to jest Android. Jakby, popatrzymy… I potem są już takie mniejsze, pomniejsze rzeczy, ty coś Szymon też z tej listy sobie wybrałeś. Z tego co kojarzę.
Szymon Warda: Ja właśnie… Dobrze, że powiedziałeś o rzeczach wspierających, bo wydaje mi się, że Google tutaj błyszczy w announcementach. Nie wiem jeszcze, jak to wygląda w praktyce po prostu. Bo właśnie ten cały fejm, który Google zebrał, że tak, AI, my wiemy co robimy, no to mamy kilka rzeczy. Po pierwsze maszyny A3, które ogłosili. Generalnie superkomputery do rzeczy AIowych, do szkolenia.
Łukasz Kałużny: Na GPU.
Szymon Warda: Dokładnie. Tak, i do 8 GPU, 4 TB host memory, po prostu dzieje się.
Łukasz Kałużny: 26 eksaflopsów.
Szymon Warda: Tak, generalnie typowo… I teraz, czemu takie komputery się nie zwracają nawet jako usługa? One są… Fajnie, że to poszedł marketing że na googlu można to robić. Tu się zwróci tak naprawdę. Ale to nie są rzeczy, które będą z reguły używane. To jest jedna rzecz. Kolejne rzeczy, fajne rzeczy, które faktycznie wyszły w googlu to było AutoML, czyli zrzucenie części odpowiedzialności uczenia modelu na googla i to super brzmi. Jestem bardzo ciekawy, jak to będzie wyglądało w praktyce.
Łukasz Kałużny: Raczej wiesz co, to już sobie gdzieś tam w niektórych miejscach działa. Te autoMLowe. Do prostych modeli, raczej wiesz co, całość… Powiem tak, trzeba dobrze przygotować dane, żeby to miało ręce i… Trzeba wiedzieć, jakie dane wrzucić i jakie sety do testowania.
Szymon Warda: Shit in, shit out. Jak nie będzie dobrych danych… Sorry, ten model nie będzie działał po prostu poprawnie, ale co mnie, co mnie zaciekawiło… I mnie trochę ucieszyło, taka pierdoła, ale mimo wszystko. Google nawiązał współpracę z Neo4jem. Czyli bazą grafową, którą swojego czasu się dużo zajmowałem.
Łukasz Kałużny: Przeoczyłem to.
Szymon Warda: A jest. Ale co mnie teraz zaciekawiło w tym wszystkim? To jest pierwsze, to jest to, że no baza grafowa, ma to sens. Do MLa jak najbardziej, ale że Google nawiązał współpracę z firmą zewnętrzną odnośnie technologicznym typowo. Nie wydevelopowali czegoś własnego i to jest ciekawe, no nie?
Łukasz Kałużny: Tak, to jest w ogóle ciekawe. A propo tego, bo nie wrzucałem tego linka, tylko tak dorzucę. To też w Cassandrze dzieją się rzeczy. Pod MLa. Czyli wektorowe przeszukiwanie.
Szymon Warda: To też ma sens. Tak naprawdę.
Łukasz Kałużny: Tak.
Szymon Warda: Jak najbardziej te bazy mają sens, tak samo jak Neo4j. Tak samo jak Cassandra, bazy mają jak najbardziej sens. Rzecz, która mnie zaciekawiła. Mimo wszystko. Jestem ciekawy, znowu, jak to będzie wyglądało w praktyce. Duet AI, czyli…
Łukasz Kałużny: Copilot, copilot googla.
Szymon Warda: Ja to chciałem powiedzieć, tak, copilot google’a, tak. Nie, jeszcze z dodatkowym czatem tak naprawdę!
Łukasz Kałużny: To Copilot X?
Szymon Warda: Tak. Dodatkowo jeszcze z możliwością budowania aplikacji biznesowych po prostu APIowych.
Łukasz Kałużny: Tak, tylko dorzućmy, że copilot to jest… Patrząc się, to jest ten copilot… Tak, jak teraz w Microsofcie też ogłaszali. Duet AI w Google Workspace’ie czyli odpowiednik tego copilota dla M365, dla tych usług biznesowych, mailowych. Collaboration. W Microsofcie i duet AI dla cloudu, który jest takim odpowiednikiem Copilota X od GitHuba, który się pojawi pewnie publicznie. Lada moment. Już testuję i muszę powiedzieć, że jest ciekawie.
Szymon Warda: A to jeszcze jedną rzecz wyłapałem, z takich małych, takich drobnostek. Nie wiem, czy to wyłapałeś, ale będzie ciekawie. Google ogłosił ile aplikacji Flutterowych zostało opublikowanych.
Łukasz Kałużny: Mhm.
Szymon Warda: Widziałeś to?
Łukasz Kałużny: Tak.
Szymon Warda: Milion.
Łukasz Kałużny: Mega rośnie, mega rośnie.
Szymon Warda: A nawet załóżmy… ja mam wrażenie, że OK, urosło, ale milion to nie jest dużo.
Łukasz Kałużny: Nie, tylko wiesz co, ja bardziej. Zobacz, że ja na to patrzę, tak, że to wszystko sobie tak wiesz, te ekosystemy mobilne… Zobacz, że masz teraz podział, masz ileś podejść, czyli właśnie takie jak gdzieś tam Fluttery, Xamariny, co byśmy tam jeszcze. Biznesowo w naszym światku, aplikacji biznesowych się pojawiają, to wiesz, to jest też też powiedzmy.
Szymon Warda: Wszystkie rzeczy reactowe.
Łukasz Kałużny: Tak, tak właśnie chciałem powiedzieć, że drugi trend, ten react native i hybrydowość, w tych aplikacjach. Jakby to, jak zwał tak zwał i ta trzecia.
Szymon Warda: Natywne.
Łukasz Kałużny: Natywne. I to jest, wiesz, patrząc się, zobacz, że on… Flutter się ciągle rozwija. To też jest ciekawe, że chyba już nabrał tą masę, że raczej nie będzie mogło jakoś wiesz, specjalnie… Porzucony. O tak.
Szymon Warda: Nie mów hop.
Łukasz Kałużny: Ja wiem, że, to jest hop i może się ten…
Szymon Warda: Nie mów hop!
Łukasz Kałużny: Ale nie będzie historii angularJSa, że przepisujemy od zera.
Szymon Warda: Nie mów hop, nie mów hop, pod względem… Googlowi. No dobrze, przejdźmy chyba do jakichś ciekawszych rzeczy, czyli do linków, co tam wygrzebaliśmy w czasie, co tam Łukaszu masz?
Łukasz Kałużny: Dobra, pierwszy artykuł. Po prostu jest piękne. Tytuł mówi sam za siebie. RabbitMQ Is Boring, and I Love It.
Szymon Warda: Tak.
Łukasz Kałużny: To jest piękne.
Szymon Warda: Czyli co ja często mówię, np. mówię na szkoleniach i w doradztwie. To jest to, że generalnie jeżeli usługa jest nudna, znaczy ona działa, że ona zrobi swoją robotę. Nie będziecie musieli się martwić o nią. Po prostu. To jest dobre, jak coś jest nudne. Naprawdę to jest dobre.
Łukasz Kałużny: Raczej, tak, to jest… Rabbit MQ to jest akurat jedna z moich, jak mam, z self-hosted rzeczy, jedna z pierwszych wyborów, bo jest sprawdzony w boju, ma swoje patterny i działa. I to jest właśnie taki opis, że zapominamy aż o tym, bo nie jest modny, a moc smart brokerów, które wreszcie musimy omówić i dumb brokerów jest przepiękny pod tym względem.
Szymon Warda: Zapomniałeś jeszcze o jednej rzeczy, bo to, że jest nudne, to jest bardzo fajnie. Ale jeszcze jest jeden element, to jest dalej rozwijane. Nie jest to projekt porzucony tak naprawdę.
Łukasz Kałużny: Tak, on cały czas żyje.
Łukasz Kałużny: Tak.
Łukasz Kałużny: Cały…
Szymon Warda: Żyje i się rozwija.
Łukasz Kałużny: Tak, więc od tej strony jest tu właśnie opisane, są ficzery przykładowo wrzucone, że pluginy np. do Kubernetes Service Discovery, WAN Federation, to wszystko się odbija i to dość fajnie też pokazali, że to taki właśnie Swiss Army Knife jak Postgres, że jest takim pierwszym wyborem kolejkowym.
Szymon Warda: To ja jeszcze dorzucę jedną rzecz. Kolejki oparte na konsensusie, czyli dużo lepsze klasterowanie i dużo lepsze użycie retencji na problemy w klastrze, to też jest bardzo ważna funkcjonalność.
Łukasz Kałużny: Tak. I w ogóle wiesz, acknowledge tych message’y i innych rzeczy. Czyli, że zdejmujecie wiadomość z kolejki. Jeżeli nie przetworzycie w czasie, to ona wraca i inne takie rzeczy. Zdejmuje z nas dużo obowiązków w kodzie i to w dobry sposób. O tak, tutaj bym się nie kłócił akurat. W szczególności jeżeli nie mamy wybitnego zespołu przekrojowo to naprawdę to pomaga. Jak ktoś pisze w dotnecie to jeszcze musttransitem to już w ogóle robi wyczes na całości.
Szymon Warda: Tak, trzyma po prostu.
Łukasz Kałużny: Jeżeli chodzi o całość. Dobra, u Ciebie co?
Szymon Warda: U mnie dwa ciekawe linki. Tak naprawdę. Jeden link to jest… LinkedIn wrzucił wpis, Unifying Messaging Experiences across LinkedIn… I wpis się generalnie… Można podsumować w takim słowie, że tak ja myślę, że “dzięki temu, że zrobiliśmy SDK do naszej… Klienckie SDK do naszej biblioteki, zyskaliśmy dziesięciokrotną produktywność” i wpis jest długi i nie ma nic w sobie więcej. Chwalą się dokładnie tym - dzięki temu, że każdy z aplikacji Android, Web itd. Implementuje funkcjonalności komunikacji z kolejką po stronie klienckiej, czyli aplikacji. Przeglądarki. Mają większą produktywność. I przeczytałem ten wpis i było “seriously?”, w sensie, naprawdę.
Łukasz Kałużny: Wiesz co, ale to przypomina mi API Managementowe dowolnego cloud providera, ten rysunek.
Szymon Warda: Tak, ale to jest takie, że naprawdę. Nie jest to żadne odkrycie, że dając API, że ludzie nie muszą reimplementować tego wszystkiego w każdym miejscu… Jest czymś dobrym. To jest takie dość oczywiste. Ale żeby nie tylko wylewać pomyje na to. Jest to bardzo fajny wpis, który pokazuje kilka rzeczy. Po pierwsze, co jest elementem platformy? Że platforma nie kończy się tylko na rzeczach serial backendowych, ale te platformy też stają się de facto takie skonsumowane. I to jest fajne. Dalej, gdzie warto inwestować de facto w platformę i gdzie kod jest realnie reużywalny, gdzie się kończy to reużycie tak naprawdę? Kończy się na tych właśnie użyciach i API. A uznanie tych bibliotek wspólnych, bo będzie reużycie z reguły nie działa i nie ma sensu. Tak naprawdę. Bardzo i ostatnio to nawet nam pokazuje, jak łatwo można rozdmuchać prosty temat do wielkiego wpisu na blogu.
Łukasz Kałużny: Raczej jest tak, ale jest fajna rzecz, że pod spodem użyli GraphQLa, do tego messagingu. Bo to jest ciekawe i pewnie łatwiej było im zbudować te SDK.
Szymon Warda: Znaczy, wpis ogólnie… Jest parę perełek, co ciekawe.
Łukasz Kałużny: Są smaczki takie do przeglądnięcia.
Szymon Warda: Ale jest za długi jak na to, o czym mówi. Przysięgam. Dobrze. Pytanie, co w drugim. Drugi artykuł z InfoQ, ciekawy, jest o tym jak wdrażać metryki DORA czyli - Deployment Frequency, Lead Time for Changes, Mean Time to Recover, Change Failure Rate.
Łukasz Kałużny: Czyli DevOps Foundation…
Łukasz Kałużny: Raport, który omawialiśmy też wrzucimy w link z zeszłego roku, gdzie też nad tym się znęcaliśmy w sumie pozytywnie akurat. Więc zapraszamy do posłuchania. No i właśnie… Co w tym jest, artykule?
Szymon Warda: I artykuł jest taki, znaczy są tam rzeczy oczywiste, oczywistości. Jak takie wpisy ostrzegawcze, że jak zaczniemy te metryki mierzyć, no to wiadomo, że dowolna metryka, którą zaczynamy mierzyć, to nagle ludzie zaczynają ogrywać tą metrykę, czyli dążyć do metryki, do wartości, liczby, którą damy. Nie do sensu tej metryki. To jest super ryzykowne i super zagrożenie każdą metryką, więc oczywiście zaczniemy te wszystkie rzeczy mierzyć. Będziemy mieć problem ze stabilnością. Będziemy ogrywać metrykę, zamiast mieć realny zysk z niej, będziemy zwiększać częstotliwość, ale to też spowoduje problemy ze stabilnością tak naprawdę. No bo te zespoły nie są do tego przygotowane, no nie? Nagle zaczyna mierzyć, mówicie… I mówimy im częściej deployujcie. I oni będą częściej deployowali, ale nie mają procesów, nie mają mentalności w zespole, żeby to częściej robić.
Łukasz Kałużny: Raczej… Patrząc się na te metryki, to moje takie podejście zdroworozsądkowe, że zaczynamy mierzyć je od tyłu, czyli Change Failure Rate zaczynamy dopiero mierzyć, potem Mean Time To Recovery, czyli po kolei. Bo wszyscy skupiają się jak często releasuje, a te trzy pozostałe metryki są o wiele bardziej istotne.
Szymon Warda: Tak, ten artykuł pokazuje fajne rzeczy, to są oczywiste oczywistości, ale fajnie, że to zostało zebrane w jednym miejscu. Czyli fazy, etapy w jakich wdrażać te metryki, wpierw mierzymy, potem sprawdzamy jak wartości wyglądają i rozmawiamy z zespołami. Czemu tak to wygląda? To jest ważne. Staramy się zrozumieć czemu te wartości tak wyglądają, bo nie ma sensu np. robić deployment frequency dla jakichś monolitów, gdzie to jest po prostu wielkie, a gdzie indziej jest. Czyli - o dziwo - robimy to z głową, po prostu. Rozmawiamy z zespołami, z zespołami, co możemy zrobić, co wdrożyć i co w tych zespołach. Bo to mogą być technologiczne, to mogą być rzeczy organizacyjne, to mogą być rzeczy na bardzo wielu poziomach, które nam to umożliwią.
Łukasz Kałużny: Tak, jak popatrzysz że ważniejsza jest też częstotliwość wdrażania. Walić to. Jeżeli mamy np. ten lead time for changes, czyli cały, tą drogę wdrożenia tych zmian, jest powiązana z kilkoma dużymi monolitami, no to sorry, po co masz robić deployment co chwilę… Jak i tak musisz się dopasować do reszty. Niestety naczynia połączone, a że umiesz to szybko naprawić i masz małą ilość właśnie tych zmian, które poszły w piach jest o wiele ważniejsze.
Szymon Warda: I kolejny element, który jest sensowny. Ten artykuł to dobra przypominajka tak naprawdę, żeby sobie to ułożyć. Czyli gdzie obszary, w których możemy wprowadzić zmiany? W ludziach, no nie, czy możemy zmienić ludzi, przenieść między zespołami itd. W procesach? Pewnie trzeba będzie, albo nawet na pewno trzeba będzie zmienić procesy. Jak są ułożone zespoły. Jeżeli chodzi o odpowiedzialności, jeżeli chodzi o ich możliwości, jeżeli chodzi o ich uprawnienia, jeżeli chodzi o bardzo wiele obszarów i ostatnie potrzebnym programowaniu, bo nie ma w zasadzie DORA, jeżeli nie mamy dobrego Observability, dobrego CI CD, dobrych testów itd. To jest… DORA nam mówi ok, jesteśmy tu, chcemy być w punkcie B, teraz rozmawiamy jak się do niego dostać. I DORA nam umożliwia pokazanie, wyniesienie poziomu na powierzchnię de facto… Braków, które mamy w tym, żeby tam być. I potem co robimy dalej? Potem rzeczy dodajemy, które mają sensowność i w pewnym sensie mierzymy i dzięki temu mamy zysk, w sensie co nam te wszystkie narzędzia, zmiany, co nam to wszystko dało. I potem w kółeczko znowu. Jesteśmy tu, chcemy być tu, rozmawiamy, kolejne kroki, za jakiś czas mierzymy. Fajnie uporządkowany proces.
Szymon Warda: No, więc artykuł niezły, nie jest długi, warto go przejść, bo układa parę rzeczy w głowie.
Łukasz Kałużny: Przypomina, tak. Mocna przypominajka.
Szymon Warda: Tak, więc ja takie rzeczy wygrzebałem.
Łukasz Kałużny: Dobra, mój ostatni link na dzisiaj. Akurat lubię, low-levelowy, jest na temat Magic Pocket, czyli dropboxowego blob storage systemu, więc całość jest on… Naprawdę mięsny. Jest opisane całość… W jaki sposób, tak wysokopoziomowo, jak zbudowane jest całe podejście do przechowywania plików, blobów w Dropboxie. Dropbox swego czasu zaczynał na S3ce. Jak zaczęło być się drogie to jest to case, kiedy mamy taką skalę, że własne datacenter jest tańsze w operacji i tego nie przeskoczymy. I to są prawdziwe przypadki. Wyjdźmy z chmury. I opisali cały sposób. Jako, że mają rzadkie problemy to najczęściej trzeba to po prostu zbudować samemu od zera. Całość. I opisywali tutaj całe podejście do budowy właśnie tego systemu blobów razem z zapewnieniem wysokiej dostępności. I taką rzecz ciekawą, rzeczy, które wrzucili jest takie… Jedna rzecz. Feathers happening all the time. I to była jedna z motywacji posprzątania pewnych rzeczy, więc to jest super. Inną rzeczą jest to, że wzorowali się na jakich paperach się wzorowali. Jest np. wskazanie Windows Azure Storage, bo może o tym nie wiecie, ale Microsoft na temat swoich usług storage’owych Cosmos DB właśnie.
Łukasz Kałużny: Azure Storage’u. Wydał kupę paperów, whitepaperów akademickich, które opisują różne rozważania.
Szymon Warda: Jest świetny papier odnośnie cosmosa, który wyszedł z nim. Ma jakoś, nie wiem 17 stron, więc nie jest długi. Odnośnie modeli konsensusu jest fenomenalny po prostu. Ale uwaga, gdyby ktoś nie doczytał. Pierw przeczytajcie jaka jest zasada przyznawania punktów w baseballu. On opisuje baseball. Jak się nie zna, to można złe wnioski wziąć na starcie. Zgadnijcie, skąd to wiemy.
Łukasz Kałużny: Więc całość. I kolejną rzeczą, są właśnie też opisane całe release cycles, weryfikacje danych, Operations. Więc wszystko, for casting, wszystko to opisali w tym dokumencie. Tak pokrótce wiadomo, ale daje to ogląd i rzecz, która mnie zaciekawiła to używają wirtualnie RAIDa 5 pomiędzy zone’ami.
Szymon Warda: O, o.
Łukasz Kałużny: To jest taki smaczek z tego. I na czym to polega? Te bloby dzielą na pół, czyli ten plik, który uploadujemy jest dzielony na pół, wysyłany do dwóch zon. Czyli w Zonie West przechowujemy pierwszą połowę Bloba, w Zonie Central przechowujemy drugą połowę Bloba, a w Zonie East przechowujemy XORa z tych blobów. I to jest, w ogóle, zrobiło… Rozwaliło mi mózg. O tak zupełnie szczerze, jak to zobaczyłem, sposób ten przechowywania. I to jest zrobione dla cold storage’u.
Szymon Warda: Wpis jak na takie rozważania… I naprawdę jest bardzo mięsny. Zgodzę się z tym, że jest niezły. Faktycznie.
Łukasz Kałużny: Tak.
Szymon Warda: Przypomina mi się, bo teraz jakbyśmy nie wspomnieli. Jest Backblaze, który słynie z działania po dyskach i też robi dobre rzeczy. Odnośnie storage’u, jakbyście chcieli to ten temat i blok backblaze’owy jest świetny.
Łukasz Kałużny: Tak, jest świetny.
Szymon Warda: Tak.
Łukasz Kałużny: I część swojego hardware’u nawet zopensource’owali, żeby taniej było, tak.
Szymon Warda: Ile razy kupuję dyski, tyle razy właśnie sprawdzam na backblaze’ie, jakie są jego charakterystyki, jak mają Failure Rate’y itd. i czy się to w ogóle opłaca kupować? Faktycznie, dobry artykuł!
Łukasz Kałużny: Dobra. To co, kończymy.
Szymon Warda: Kończymy. Trzymajcie się.
Łukasz Kałużny: Na razie.
Szymon Warda: Hej!