Meeting OID-NLnet 2024-09-19 Aanwezig: - Koen de Jonge (KJ) - Laurens Hof (LH) - Michiel Leenaars (ML) - Ronny Lam (RL) Notulen KJ: in juni duidelijk geworden dat we proxmox gebruiken voor project Robert is academisch qua denkwijze, maar wat robert aan het maken is, is wel wat we nodig hebben. Dit is het stuk wat we gebruiken om automatisch deployments te doen ML: robert staat op payroll van oid? KJ: Ja, Taeer staat op eigen payroll, dus die zitten wat anders te doen ML: het plaatje moet helder: wat doet de hosting panel, wat doet de hosting nodig beschrijven wat de functionele eisen KJ: vorige week in auto met KJ en Robert helder kunnen krijgen hoe dit te doen hebben een maandlang gesproken over gebruik kubernetes nu elke dag standups, maar dat implementeren is nog een uitdaging ML: In welke rol is Valentin onderdeel van project geworden? Koen: was ook voor mij onverwacht, want hij kwam hier sinds augustus ingerold, na maand break (vakantie+ziek) onverwacht matthias+taeer+jime plotseling weg (en theophane al eerder weg). nu opeens valentin+nicholas KJ: valentin wil heel hard vooruit hierdoor weer opnieuw uitleggen waarom geen docker gebruiken RL: dat was het voordeel van een requirement document geweest ML: geen docker want containers niet genoeg security KJ: nu oplossing voor geen docker gebruiken gevonden, eerst stond in document dat we tegen Big Tech zijn. nu er uit gehaald en geformuleerd dat we pro-open zijn als je docker gebruikt draag je bij aan het docker-ecosysteem, en daarom niet voldoende pro-open dit is een gesprek wat je niet wil voeren want kom je in anti-capitalisme systemen je kan het ook positief formuleren: er zijn ook linux alternatieven, en ons project wil juist bijdragen aan het verbeteren van dit ecosysteem ML en KJ eens dat het beter is als positief te formuleren (bijdragen aan ecosysteem) dan als docker-bad KJ: Renaud Chaput is enorme k8s fan, en gebruikt dit voor mastodon.social , en mastodon documentatie is hier op ingericht en gaat er vanuit van gebruik van k8s KJ: quote valentin: je wil niet gevecht met upstream aangaan om nixos te gebruiken ML: je wil niet mastodon maar GtS KJ: het is mijn fout om teveel te focusen op nixos, want fighting upstream KJ: als je met taeer en robert in een groep zit dan kom je makkelijk op gedachte 'alles met nixos en nixops', en dat is de holy grail ML: wij duwen niet nixos, maar wij bieden het gratis aan. maar staat je vrij andere distro te gebruiken, maar dan regelen we de package niet. voor nixos biedt nlnet wel package aan KJ: als je gevecht met upstream aangaat, voelt de dev ook in een gevechts modus KJ: nu makkelijker door proxmos te volgen en stukken buiten scope te verklaren KJ: om goed te laten werken met fediversity moet bulk storage met S3 geschreven worden anders past het niet goed in ons project. dit is momenteel alleen mastodon, andere software packages niet KJ: eerst waren we alleen nixos, maar daar stappen we nu vanaf door ook proxmox gebruiken proxmox is nu wel gepackaged voor nix, maar we moeten hebben over busfactor. is nog onduidelijk of dit onderhouden blijft RL: is proxmox op nix uberhaupt wel nodig? wel rekening houden met business model van bedrijf achter proxmox, want dat lijkt niet goed met nixos aan te sluiten ML: als je packages serieus wil nemen kan support niet op uurtje-factuurtje doen en heb je nodig dat er full support is die betrouwbaar KJ: proxmox op nixos gaan ze zelf niet doen want zijn veel te druk met allerlei andere dingen en nu eindelijk geld verdienen ML: packagen van proxmox op nixos heeft 2 mensen een maand gekost om te doen KJ: is er dan een team dat het bijhoudt RL: ik word er ziek van, dat we nix door alles heen aan het pushen KJ: ik ben er ook vanaf dat het overal nixos is onderste laag op proxmox die doet het gewoon KJ: ik heb geen goed voorbeeld voor elk van onze software die op nixos werkt nu ML: in mijn visie hebben we hier tweag voor om deze software op nixos te laten packagen KJ: dan zit je met onderhoudsprobleem, wil blijft de updates doen als de developers niet zelf nixos gebruiken dan gaan ze niet maintainance voor packages doen RL: maintainance is een heel erg groot probleem zegt valentin, want is geen geld voor en te weinig vrijwilligers KJ: gaat alleen werken als het primair op nixos developed wordt KJ: we hebben 10 packages en die moeten we simpelweg aan zoveel mensen gaan leveren maar wil nixos naar buiten communiceren, maar dit levert een spagaat op maar voor we er zijn bij de holy grail (alles op nixos) gaat nog wel 10 jaar duren RL: als je een goed geschreven manifest hebt is dit te doen ML: "we zijn een research project, dus research is cruciaal onderdeel van project". dus ook praktsiche resultaten, maar ook contribution aan daadwerkelijk research KJ: we hebben nu aantal componenten die we van ergens anders pakken, want dat werkt gwoon moeten zorgen dat we neerzetten nu daadwerkelijk werkt, en dat het voor mensen vertrouwd is en gewoon kennen daarom proxmox want iedereen kent dat, veel meer dan docker of k8s hierdoor veel makkelijker te gebruiken gewoon voor developers thuis met een raspberry pi. natuurlijjk ML: ontwikkelaars, is dat onze doelgroepn? KJ: ik wil eindgebruikers ondersteunen, maar om daar te komen heb je support van developers nodig. want die heb je nodig dat ze gaan ontwikkelen voor panel, zodat die devs gaan zeggen 'pak maar dit nixpanel', want dan heb je het zo draaiend ML: heb je wel eens naar nixpacks gekeken, want dat is wat concurrenten aan het doen zijn wordt gedaan door railway, aantal grote concurrenten zijn dit inmiddels gaan gebruiken KJ: valentin is heel hard aan het zoeken of we hier niet wiel opnieuw aan het uitvinden ML: voor het panelstuk, is daar iemand nu mee bezig KJ: nee, tot nu niet. dat gaat nicholas doen, op basis van my.protagio.nl (demo hiervan voor ML) KJ: gemaakt door procolix (bram, koen van de kolk en iemand uit turkey en rogier, en lei van bureau moeilijke dingen). geschreven in toolkit, maar naam vergeten basisversie hiervan is geimplementeerd, en dit aan nicholas geven ML: is dit getest? KJ: niet formeel zon paneel moet altijd 2 dingen hebben: DNS zone en een mail server. applicaties gebruiken email voor verificatie my.protagio.nl is al geinternationaliseerd ML: is dit eindgebruikerspanel? KJ: eindgebruiker, maar kan ook als reseller concept reseller helemaal buiten beschouwing gelaten in KJ visie heb je allemaal microcloudproviders, en die zijn de reseller ML: is afhankelijk van hoe aggresief je installatiemodel is KJ: degene die de techniek doet moet je ook de verkoper zijn, want op kleine schaal kun je niet veroorloven dat er split is tussen sales en tech guys KJ: je moet willen dat het kleine organisaties hebt: 2 techneuten, 2 eindgebruiker ondersteuners, 1 verkoper, 1 finance personen. en daar wil je dan van elke stad een organisatie van draait ML: wat als je dit wil doen in steden zoals kinshasa waarin er geen 24u stroom is ML: als je de last mile goed wil doen wil je wel nog trusted partners hebben KJ: die verdient zn geld dan op andere manier dan leveren dan de dienst zodra je resellers in gaat bouwen krijg je een capitalistisch model en kom je uiteindelijk op hyperscalers uit ML: even gemist KJ: ik heb business model voor bedacht als je bedrijf te groot wordt kun je gewoon het bedrijf in tweeen splitsen en verder gaan wie betaalt packages de community er om heen je kan wel heel veel klanten hebben maar die gaan snel weg als packages niet goed zijn maar als je veel klatnen hebt kun je wel 2 engineers in dienst nemen voor packages KJ: maar probeem hebben we niet want wij worden de grootste in nederland en wij gaan dit wel doen tuxis (?) komt er wel bij in NL maar framasoft gaat dit dan ook doen, maar dan alleen voor eigen klanten en als dan andere klanten in frankrijk komen die worden dan zo groot dat ze dan met ons gaan samenwerken ML: ik wil wel service portability KJ; maar dan krijg je geen support meer, maar dit is wel goed ML: referentie naar film waarom die service portability zo belangrijk is KJ: migreren kan met mastodon, maar doet wel zeer want dat kost nog wel uurtje om te doen ML: de naadloze switch is de killer feature, de propositie moet heel strak zijn: heel breed, betaalbaar en stabiel KJ: terug naar discussie in communicatie nadruk leggen dat we dit met NixOS gaan doen. want wil niet dat mensen andere distros gebruiken, maar nixos snelle releases bij mastodon is te ondervangen met flakes en npins nog steeds wel plan on in VMs een k8s cluster bouwen want dat schaalt want daar ML: het doel is om een technisch sluitende oplossing te maken KJ: onderdeel van pilot is ontwikkeling van business model KJ: voorjaar 2025 gaan we dienst leveren moeten nu snel zijn want mastodon gaat nu al beetje dood, want mensen gaan nu al naar bluesky groene amsterdammer sterk overwegen om te stoppen met mastodon want duurt wel erg lang voor het aanslaat staat tegenover dat de correspondent en rob wijnberg hier wel open voor staan KJ: voor hosting zijn we het research project aan het doen subgrantproces steken we ook vooral hier voor in voor het public organisations deel werken we samen met nordunet en gaan we de validiteit van de fediverse promoten. daar koppelen we nu heel hard edumeet aan, want dat heeft niemand en sluit gaat aan Eric kikiborg zit hier hard achteraan. Lars was niet bereikbaar in ijsland 2 uni en nren, en 3 unis in finland, en 2 unis in zweden, deze hebben wel interesse mensen wisten helemaal niet van fediverse, maar door onze promotie nu wel wat we nu in nordics gaan doen, daar hebben nu de kans om in 1x te laten zien dat het werkt Ronnie: wat daar interessant zou zijn daar ook nextcloud en mail meenemen, en peertube KJ: Eric Kikiborg is trekker van edumeet project, waarmee heeft voorsprong heeft op BBB, want werkt veel beter ze hebben geen manier om te deployen we kunnen hier servers klaar maken en opsturen zodat het daar in rek gehangen kan worden gelijk ook mogelijkheid om dan nextcloud en peertube te implementeren evt libre/onlineoffice? britse team vs duitse team voor online editen bij online office KJ: grootste gedeelte van project gaat naar hosting, dat is de hosting van de future in de nordics gaan we aan unis die nu mee willen doen gaan we dit leveren, en geven wij geld om uit te rollen opd e universiteit. dit betalen we vanuit nordunet budget eric begrijpt dit, en lars niet ML: gaat ook om details zoals hebben van een webmail client RL: stalwart heeft ook geen webmail client ML: dit is wel belangrijk want anders haken mensen af als je geen webmail client hebt ML: platform is voor frank (?) heel veel waard want met zon packaged deal maakt het veel makkelijker om binnen te komen bij andere organisaties KJ: om dit te kunnen realiseren moet de hosting stack af zijn proberen om dit los te koppelen zodat dit niet te grote barriere is voor hosting dat het nu klaar moet zijn ML: panel moet gewoon goed zijn en binnen kwartier naar de klik moet je server af zijn, zodra je klikt KJ: dit kan alleen als hosting stack af is KJ: dit is niet zover weg, hopelijk maart april mei 2025 KJ: maar we willen nu al contact leggen met nordunet, zodat we nu al gebruikers krijgen in de nordics, zodat we kunnen laten zien af is RL: voor het helemaal af is, dit moet zo snel mogelijk (nov) mee beginnen Nu gelijk al onboarden met een fediverse server en proces om te automatiseren komt hierna pas KJ: wel in kleine aantallen, iets van 20 instances dus nog niet alle subfaculteiten enzo, dat pas in loop van volgend jaar ML: die autonomie is waar het nu aan ontbreekt KJ: waar dit nu om gaat is dat de mastodon groei doormaakt want in NL gebeurt is dat de groene amsterdammer en NPO afhaakt, omdat ze binnen 5 maanden resultaat willen zijn ML: samenvatten als fake it till you make it KJ: negatief maar wel correct KJ: de nordics krijgen geen panel ML: forms server is wel belangrijk en toegevoegde waar zijn twee opties: liberaforms (is gepackeged als nix). KJ: willen medische wereld uit project trekken RL: die frontend die is er al, dat dit in eerste instantie een maitlje wordt is prima, zolang je maar niet belooft dat in een kwartier klaar is KJ: we maken een mockup app store die functioneert als frontend ML: wel duidelijk maken dat we panel maken, en screenshot hiervan laten zien KJ: op nordunet helemala geen hosting en panel en nixos helemala niet genoemd zijn 2 mensen op conferentie, procurement en glasvezel mensen ML: Jan Mijer heeft alle connecties binnen nordunet, is ambassadeur en filesender is zijn baby. als filesender er bij zit dan gaat hij heel hard lopen ML: filesender is enorme storage hog en mensen besteden dat heel erg graag uit KJ: we kunnen evt op netherlight koppelen, maar dat kan evt met eric geregeld worden ML; handig binnen NRENs te hebben wat dat vinden mensen binnen nrens heel erg belangrijk RL: zijn nu met horizon dingen bezig, maar hoe nu praktisch aan de slag daily standup al genoemd. moeten soort van scrum-achtig gaan werken sprints van twee weken gaan verzinnen KJ: spritns invoeren al wel eerder geprobeerd RL: weten waar we heen willen, moeten backlog hebben ML: hebben roadmap nodig ML: niet zo van de sprints RL: wat hebben we afgelopen 2 weken gedaan KJ: ML: wij zijn niet zo van matrix, vinden het een suspect project, gaan hun eigen course met VC dingen, komt uit israelisch security site zetten hierom dus in op xmpp gebruiken zelf dus ook, intern gebruiken we snikket. movim als webclient probleem is matrix doet sommige dingen wel heel goed, wel unified ding in tegenstelling tot xmpp --- lunchbreak --- Doorspreken van product schema KJ: hardware kant in netbox installeer je wat er staat, installeer je bootstrap, en dan deployed ie op de servers. deployed dan ook s3 garage storage dozen dit zit dan aan het internet en hoef je hier niet meer zorgen over te maken ML: wat als 1 vd server stuk gaat, hoe ziet het fallback systeem er uit RL: de data staat in s3 garage in de VM staat alleen ram en cpu als er iets dood gaat, dan kan dit vervangen worden vanuit monitoring door andere vm naar garage s3 te laten verwijzen RL: voor repliceerbaarheid is wel van belang om te beschrijven hoe de hardware configuratie er uit ziet zodat anderen dit over kunnen nemen KJ: vervolgens API om VMs en linux containers te kunnen maintainen nadeel van containers dat je ze moet herstarten KJ: hiermee hardware gedeelte afgestemt, nu monitoring laag --- NixOps zorgt dat het draait volgens configuratie configuratiedatabase is iets anders dan netbox, is een nix hosting database zit een api in die de state van alles bijhoudt deze api praat met frontend, en die start alle VMs RL: waar je nog rekening mee moet houden is de IP management KJ: uitdelen van IPs zit in Nix Hosting System Nix Hosting systeem bestaat uit - storage plek met hoge data - state in de gaten houden - declaratie vaan hoe hoe werken kan ontvangen - Nix Hosting systeem staat los van de applicaties - wete hoe verkeer en data geroute moet worden RL: is het altijd s3 of kan het ook ipfs zijn verantwoordelijkheid voor snapshots ligt bij de applicatie, niet bij de infrastructuur nixops is vergelijkbaar met ansible --- appplicatie layer voor elke applicatie van te voren bepalen per feature bepalen welke feature/modules wij beschikbaar stellen. bepalen van modules gebeurd op basis van stabiliteit gaan een OTAP straat bouwen. OTAP straat draaien per software versie die we aanbieden alles wat bulk storage is wordt in s3 opgeslagen als een applicatie dat niet kan dan passen we aplicatie aan of laten applicatie aanpassen dingen waar dat niet kan, zoals mariadb onder mastodonserver ML: zorgen dat je eigen copy hebt, alle blobs, van alle software die fediversity aanbieden ML: DNS is over hoe de structuur van je aplpicatie in elkaar zi, moet als onderdeel van Nix Hosting Systeem --- grants: elge en johan gaan iets indienen voor monitoring applicaties van de buitenkant of ze juiste standaarden gebruiken auke en sjoerd gaan iets indienen om solid op fediversity te draaien --- identiteitsmanagement: overal oauth probleem bij ldap is dat het nergens is ingebouwd, maar overal is tegenaan geplakt ook gebruiken van yivi omdat we dat nu eenmaal hebben ML: evt Opaque als standaard voor secure login --- om te zorgen voor voor sneeuwbal is het ook belangrijk om duidelijke branding mee te nemen zodat het duidelijk is dat het niet een gewone mastodon server is m aar dat het een fediversity server is --- ML: backup servers as extra service toevoegen, want sluit goed aan bij wensen van eindgebruikers, net als VPN RL: kunnen dit dan ook aanbieden cold storage