Koodia pinnan alla

Vieraanamme on Anniina Sallinen Ouralta ja Koodikahvit-podista, jonka kanssa syväsukellamme koneoppimisen ja datan käsittelyn operointiin pilvessä (MLOps). Tämä tarkoittaa käytänteitä kuten versionnit, monitoroinnit, tietoturva ja CI/CD. Lisäksi käydään läpi millaisia rooleja koneoppimistiimissä on ja mitä moderneja työkaluja on tarjolla koneoppimismallin luontiin ja käsittelyyn jatkuvassa operoinnissa.

Linkkejä

• Koodikahvit-podcast
• AWS Sagemaker
• Sagemaker Notebook Instances
• Python
• TypeScript
• AWS Cloud Development Kit (CDK)
• AWS API Gateway
• AWS Lambda
• Otsikkokuvan diagrammin lähde: Wikipedia File:ML Ops Venn Diagram.svg ja lisenssi: CC-BY-SA 4.0

Vieras

• Anniina Sallinen: @annisalli

 Juontajat 

• Markus Hjort: @mhjort
• Yrjö Kari-Koskinen: @ykarikos

 Seuraa podcastia 

• Kotisivu: https://koodiapinnanalla.fi/
• Twitter: @KoodiPinnanAlla
• Sähköposti: koodaillaan@koodiapinnanalla.fi
• Anna palautetta podcastista

Tässä jaksossa keskustelemme massiivisista käyttäjä- ja pyyntömääristä. Minkälaisia ratkaisuja pitää tehdä palvelinpäässä, kun asiakasohjelmisto on asennettu yli kahteen miljardiin mobiililaitteeseen ja kun koneoppimista vaativia pyyntöjä pitää käsitellä yli 100 000 kertaa sekunnissa. Vieraana meillä on Antti Klemetti, joka on tullut kertomaan tarinan siitä miten Unityn maailmanlaajuista mainosverkkoa pyöritetään Suomesta käsin.

Linkkejä

• Unity Ads
• MongoDB
• Apache Kafka
• Apache Cassandra
• Aerospike
• Canary Release
• Prometheus
• Grafana
• Google Cloud Bigtable

Vieras

• Antti Klemetti

 Juontajat 

• Markus Hjort: @mhjort
• Yrjö Kari-Koskinen: @ykarikos

 Seuraa podcastia 

• Kotisivu: https://koodiapinnanalla.fi/
• Twitter: @KoodiPinnanAlla
• Sähköposti: koodaillaan@koodiapinnanalla.fi
• Anna palautetta podcastista

Petrus Repo tuli vieraaksemme keskustelemaan Kuberneteksesta: Mikä se itse asiassa on ja mitä se ratkaisee? Kenen pitäisi olla kiinnostunut Kuberneteksestä? Milloin Kubernetesta kannattaa käyttää ja milloin se kannattaa rakentaa itse?

Linkkejä:

• Kubernetes

• Supervisor – Verkkosivujen kuormitustestaus

• rdx.net – Olemassaolevien sovellusten siirto Kubernetesiin

• Docker

• Borg: The Predecessor to Kubernetes

• Cloud native computing foundation – CNCF

• Kubernetes pilviympäristöissä:

  • Google Kubernetes Engine (GKE)
  • Azure Kubernetes Service (AKS)
  • Amazon Elastic Kubernetes Service (EKS)

• AWS Fargate

• Amazon Elastic File System (EFS)

• Red Hat Ceph Storage

• Heroku – The Twelve-Factor App – Periaatteet pilviapplikaation kirjoittamiseen

• Amazon Elastic Container Service (ECS)

• Googlen ohjeistusta pilviarkkitehtuuriin: Best practices for operating containers

• Immutable infrastructure in the age of Kubernetes

• Google Cloud Run – Konttien serverless-ajoympäristö, luo kontteja ajoon rinnakkain on-demand määritetyn metriikan perusteella

• Smartly

• Minikube – Paikallinen Kubernetes cluster

• K3s – Lightweight Kubernetes

• Kind – One-off local klustereita devaus- ja testikäyttöön

• Skaffold – Devaustyökalu paikallisen Kubernetes clusterin automaattiseen re-konfigurointiin

• Helm – Dynaamisiin Go-templateihin perustuva konfiguraatiohallinta, säilöö asennetun konfiguraation tilan klusteriin

• Kustomize – Deklaratiivinen konfiguraatiohallinta, ei säilytä asennetun konfiguraation tilaa

• Kubernetes Slack

• Kubernetes Github

• Lens – Kuberneteksen visuaalinen hallintatyökalu, kätevä tuotantoympäristössä

• Kubernetes Podcast – Googlen julkaisema Kubernetes podcast

• Communityn ylläpitämä AWS terraform – AWS EKS käyntiin "vaivattomasti" (tuska tulee vasta päivänä 2)

• Kubernetes the Movie

• Kubernetes sarjakuvana

Vieras

• Petrus Repo: @petrusrepo

 Juontajat 

• Markus Hjort: @mhjort
• Yrjö Kari-Koskinen: @ykarikos

 Seuraa podcastia 

• Kotisivu: https://koodiapinnanalla.fi/
• Twitter: @KoodiPinnanAlla
• Sähköposti: koodaillaan@koodiapinnanalla.fi
• Anna palautetta podcastista

Tässä jaksossa keskustelemme taustajärjestelmäkehityksen skaalauksesta tiiminäkökulmasta. Miten ohjelmistoa voidaan tehokkaasti kehittää, kun tuotekehitystiimejä on kymmeniä ja tiimien määrä tuplaantuu vuosittain. Jakson vieraaksi olemme saaneet Woltilta Jerry Pussisen, joka toimii Competence Leadina Python-teknologiaan liittyen. Pureudumme muun muassa tyypityksen hyötyihin Python-ohjelmointikielessä ja siihen miten autonomiset tiimit toimivat ilman erillistä arkkitehtiroolia.

Hyväksi havaittuja periaatteita kehittämiseen isossa skaalassa:

• tiimien autonomia
• palvelujen ja/tai repojen omistajuus
• tiimienvälisen keskustelun fasilitaattorit
• ohjelmointikielen tyypitys, esim tyyppivinkit Pythonissa

Linkkejä:

• Python-ohjelmointikieli: https://www.python.org/
• Kotlin-ohjelmointikieli: https://kotlinlang.org/
• Jerryn Helsinki Python meetup -esitys tyyppiturvallisesta Pythonista: https://www.youtube.com/watch?v=tKy1idOUW8s
• Staattinen tyyppitarkistaja mypy: https://mypy.readthedocs.io/en/stable/
• Type stubs -tiedostot: https://mypy.readthedocs.io/en/stable/stubs.html

Vieras

• Jerry Pussinen, Wolt: @JerryPussinen

Juontajat 

• Markus Hjort: @mhjort
• Yrjö Kari-Koskinen: @ykarikos

 Seuraa podcastia 

• Kotisivu: https://koodiapinnanalla.fi/
• Twitter: @KoodiPinnanAlla
• Sähköposti: koodaillaan@koodiapinnanalla.fi
• Anna palautetta podcastista

Kausi kaksi alkaa jaksolla 9, jossa puhumme pilvi-infrastruktuurista kehittäjän näkökulmasta. Minkälaisilla työkaluilla ja toimintatavoilla saadaan mahdollisimman hyvä kehittäjäkokemus infrahommiin. Vieraana meillä on Yle OPS-tiimistä Jami Karvanen, joka on urallaan päässyt kokemaan infrahommien kehityksen palvelinten käsinkonfiguroinnista nykyaikaiseen pilvipalvelumaailmaan.

Linkkejä:

• yle.dev https://yle.dev/
• Terraform: https://www.terraform.io/
• CI: Github Actions https://github.com/features/actions
• AWS Amazon Elastic Container Service (ECS)
  https://aws.amazon.com/ecs/
• AWS Amazon CloudFront
  https://aws.amazon.com/cloudfront/
• AWS Amazon Machine Images (AMI)
  https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/AMIs.html
• AWS Amazon Elastic Kubernetes Service (EKS)
  https://aws.amazon.com/eks/
• Grafana:
  https://grafana.com/
• Kubernetes: https://kubernetes.io/
• Ruby-ohjelmointikieli https://www.ruby-lang.org/en/
• Go-ohjelmointikieli
  https://golang.org/
• Go Modules
  https://go.dev/blog/using-go-modules
• Rust-ohjelmointikieli
  https://www.rust-lang.org/
• Scratch container
  https://hub.docker.com/_/scratch
• Koodipohjainen infra – Infrastructure as Code (IaC)
  https://en.wikipedia.org/wiki/Infrastructure_as_code
• Yle OPS webinaari https://webinars.yle.dev/OPS-Webinaari_5-5-2021.mp4
• Softan hiilijalanjäljen laskeminen https://medium.com/teads-engineering/evaluating-the-carbon-footprint-of-a-software-platform-hosted-in-the-cloud-e716e14e060c
• Yle Terraform wrapper https://github.com/Yleisradio/yle_tf

Vieras

• Jami Karvanen

 Juontajat 

• Markus Hjort: @mhjort
• Yrjö Kari-Koskinen: @ykarikos

 Seuraa podcastia 

• Kotisivu: https://koodiapinnanalla.fi/
• Twitter: @KoodiPinnanAlla
• Sähköposti: koodaillaan@koodiapinnanalla.fi
• Anna palautetta podcastista
• Tule mukaan kehittämään Ykän ja Markuksen kanssa DIASia https://dias.fi/jobs.html

Ensimmäisen kauden viimeisessä jaksossa sukellamme sormusten maailmaan vieraanamme Oura-sormuksen laiteohjelmiston kehittäjä Juha-Pekka Syrjälä. Keskustelemme laiteläheisen ohjelmoinnin rajoitteista, miten ne vaikuttavat laiteohjelmiston arkkitehtuuriin, miten hardiksen ja softan debuggaus onnistuu, millainen ohjelmoinnin palautesykli on ja mikä CI/CD:n rooli on siinä.

Lisäksi juttelimme laajalle levinneen laitteen ohjelmiston ja siihen integroituneiden mobiiliapplikaatioiden testauksen haasteista. Juha-Pekka antoi myös vinkkejä miten laiteläheisessä ohjelmoinnissa pääsee nykyisin varsin helposti alkuun.

Linkkejä:

• Oura: https://ouraring.com/
• PPG eli Photoplethysmogram-signaali 
• PPG-signaalin vastaanottopää fotodiodi
• NTC-vastus
• OTA-päivitys
• Raspberry Pi
• Arduino
• Matlab
• C-ohjelmointikieli

Vieras

• Juha-Pekka Syrjälä, Oura

 Juontajat 

• Markus Hjort: @mhjort
• Yrjö Kari-Koskinen: @ykarikos

 Seuraa podcastia 

• Kotisivu: https://koodiapinnanalla.fi/
• Twitter: @KoodiPinnanAlla
• Sähköposti: koodaillaan@koodiapinnanalla.fi
• Anna palautetta podcastista anonyymisti

Jaksossa 7 vieraanamme on Maaret Pyhäjärvi Vaisalasta keskustelemassa muun muassa rajapintojen testaamisesta. Käymme läpi mitä ovat testaamisen mustat aukot, miten rajapintojen elinkaariajattelu liittyy testaamiseen ja mistä tietää onko API ja sen kehittäjäkokemus (DX) kehityskelpoinen.

Entä miten löytyvät klassiset ongelmat rajapinnoissa tai niiden spekseissä, erityisesti liittyen päivämääriin tai syötteen pakollisuuteen? Lopuksi sivuamme myös tekoälyn roolia testaamisessa ja sitä, että alalla tulee riittämään töitä niin testaajille kuin kehittäjillekin tekoälyn kasvavasta käytöstä huolimatta.

Linkkejä ja muistiinpanoja:

• Approval Tests
• Balanssi eri  testauskerrosten välillä
  1. Yksikkötestaus eli kehittäjän tahtotila
  2. API-kerroksen eli liiketoiminnallisten skenaarioiden  testaus
  3. Käyttöliittymän testaus
• Big List of Naughty Strings
• Tekoälyn testauksen IVVES-projekti: https://ivves.weebly.com/
• Konenäkö osana testausta: https://www.test.ai/

Vieras

• Maaret Pyhäjärvi: @maaretp

 Juontajat 

• Markus Hjort: @mhjort
• Yrjö Kari-Koskinen: @ykarikos

 Seuraa podcastia 

• Kotisivu: https://koodiapinnanalla.fi/
• Twitter: @KoodiPinnanAlla
• Sähköposti: koodaillaan@koodiapinnanalla.fi
• Anna palautetta podcastista anonyymisti

Jaksossa 6 vieraana on Markus Lindqvist OP-ryhmästä. Hän kertoo miten OP on lähtenyt modernisoimaan pankkipalvelujen rakentamista AWS-pilvialustalle.  Pohdimme millä perusteella pankkipalvelun voi viedä pilveen ja mitä se vaatii mm. rajapintojen, tietoturvan, logituksen ja regulaation kannalta. Entä millainen arkkitehtuuri mahdollistaa reaaliaikaisen pääsyn mainframessa tallennettavaan dataan? Markus kertoo myös, miten palvelujen operointi ja devops-malli on saatu toimimaan OP:lla.

Linkkejä 

• OP Tech podcast: https://soundcloud.com/op-ryhmae/sets/op-tech
• Amazon Web Services: https://aws.amazon.com/
• Apache Kafka: https://kafka.apache.org/
• AWS Direct Connect: https://aws.amazon.com/directconnect/

Vieras

• Markus Lindqvist: @markuslindqv

 Juontajat 

• Markus Hjort: @mhjort
• Yrjö Kari-Koskinen: @ykarikos

 Seuraa podcastia 

• Kotisivu: https://koodiapinnanalla.fi/
• Twitter: @KoodiPinnanAlla
• Sähköposti: koodaillaan@koodiapinnanalla.fi
• Anna palautetta podcastista

Jakson 5 aiheena ovat graafihaut ja niiden hyödyntäminen isojen datamassojen louhinnassa.  Aiheesta keskustelemassa keskustelemassa IPRallyn CTO Juho Kallio, joka on ollut viime vuodet rakentamassa tekoälyä hyödyntävää patenttihakukonetta. Pureudumme siihen miten ison datamassan hakemisessa voi hyödyntää graafeja, vektoreita ja neuroverkkoja.

Linkkejä 

• IPRally: https://www.iprally.com/
• Annoy: https://github.com/spotify/annoy
• PyTorch: https://github.com/pytorch/pytorch
• NLP: https://en.wikipedia.org/wiki/Natural_language_processing
• Tensor: https://en.wikipedia.org/wiki/Tensor
• Neo4J: https://github.com/neo4j/neo4j
• Kahvit näppikselle -podcast: https://www.aalto.fi/fi/podcastit/kahvit-nappikselle

Vieras

• Juho Kallio: @juhopkallio

 Juontajat 

• Markus Hjort: @mhjort
• Yrjö Kari-Koskinen: @ykarikos

 Seuraa podcastia 

• Kotisivu: https://koodiapinnanalla.fi/
• Twitter: @KoodiPinnanAlla
• Sähköposti: koodaillaan@koodiapinnanalla.fi
• Anna palautetta podcastista
• Tule mukaan kehittämään Ykän ja Markuksen kanssa DIASia https://dias.fi/jobs.html

Jakson 4 aiheena ovat tapahtumapohjaiset arkkitehtuurit. Tällä kertaa meillä mukana keskustelemassa aiheesta Sharetriben CTO Olli Vanhapiha. Keskusteluissa käymme läpi mitä tapahtumapohjainen arkkitehtuuri tarkoittaa ja minkälaista käytännön hyötyä siitä on devaajan työkalupakissa.

Linkkejä 

• Tapahtumapohjainen arkkitehtuuri: https://en.wikipedia.org/wiki/Event-driven_architecture
• Change Data Capture (CDC): https://en.wikipedia.org/wiki/Change_data_capture
• Martin Kleppmann: Designing Data Intensive Applications: https://dataintensive.net/
• Datomic: https://www.datomic.com/
• Kafka: https://kafka.apache.org/
• Debezium: https://debezium.io/
• Sharetribe: https://www.sharetribe.com/

 Vieras 

• Olli Vanhapiha: @vanhaol

 Juontajat 

• Markus Hjort: @mhjort
• Yrjö Kari-Koskinen: @ykarikos

 Seuraa podcastia 

• https://koodiapinnanalla.fi/
• @KoodiPinnanAlla
• Anna palautetta podcastista
• Tule mukaan kehittämään Ykän ja Markuksen kanssa DIASia https://dias.fi/jobs.html

Jakson 3 aiheena on systeemiohjelmointi. Vieraana Linux-kerneldevaaja Pekka Enberg, joka tekee työkseen tietokantaa  ScyllaDB-nimisessä firmassa. Pekka kertoo minkälaista on tehdä softaa syvemmällä pinnan alla, jossa abstraktiotasoja raudan ja softan välissä on vähemmän. 

Linkkejä 

• ScyllaDB: https://www.scylladb.com/
• Apache Cassandra: https://cassandra.apache.org/
• QEMU: https://www.qemu.org/
• KVM: https://www.linux-kvm.org/page/Main_Page
• Profilointi: http://www.brendangregg.com/linuxperf.html
• Portable Hardware Locality (hwloc): https://www.open-mpi.org/projects/hwloc/
• Non-Uniform Memory Access (NUMA): https://en.wikipedia.org/wiki/Non-uniform_memory_access
• Seastar framework: http://seastar.io/

 Vieras 

• Pekka Enberg: @penberg

 Juontajat 

• Markus Hjort: @mhjort
• Yrjö Kari-Koskinen: @ykarikos

 Seuraa podcastia 

• https://koodiapinnanalla.fi/
• @KoodiPinnanAlla
• Tule mukaan kehittämään Ykän ja Markuksen kanssa DIASia https://dias.fi/jobs.html

Vuoden viimeisessä jouluspesiaalijaksossa Markus ja Ykä käyvät läpi nostoja ja oppeja vuoden varrelta. Lopussa muistellaan paria eeppistä mokaa kummankin uralta ja mitä niistä opittiin.

Nostot

1. Rust-ohjelmointikieli ja muistinhallinta
2. Tietoturva
   • Twitter social engineering attack
   • YubiKey hardware security key
   • Authy 2FA palvelu
   • Amplifi Wifi Router
   • Muista: huolehdi omasta tietoturvasta, epäile muiden tietoturvaa, ota käyttöön 2FA, ota käyttöön uudet laitteet ja päivitä niiden softat
3. Infrastructure as Code (IaC)
   • AWS CloudFormation
   • Azure ARM Templates
   • Kubernetes
4. Etätyö ja ergonomia
   • Paras työasento on se seuraava

Juontajat

• Markus Hjort: @mhjort
• Yrjö Kari-Koskinen: @ykarikos

Seuraa podcastia

• https://koodiapinnanalla.fi
• @KoodiPinnanAlla

Jakson 1 aiheena on mobiilipelibäkkärit. Vieraana Matias Kirvelä Supercellin Clash Royale -tiimistä. Matias on viime vuodet ollut koodaamassa eri pelifirmoissa bäkkäreitä mobiilipeleihin ja jakaa tarinansa siitä minkälaiselta suositun onlinemobiilipelin tekeminen näyttää pinnan alla. 

Lainauksia:

• “pulssi on korkeella ja kädet on kylmät”
• “deploy-hanskat, pystyy naputtelee, verenpaine nousee niin kovaks et kädet on jäässä”
• "serverityypit huomataan kun peli ei toimi"

Linkkejä 

• Elixir: https://elixir-lang.org
• Protobuf: https://developers.google.com/protocol-buffers

 Vieras 

• Matias Kirvelä: @mkirvela

 Juontajat 

• Markus Hjort: @mhjort
• Yrjö Kari-Koskinen: @ykarikos

 Seuraa podcastia 

• https://koodiapinnanalla.fi/
• @KoodiPinnanAlla

Jakson 0 aihe on modernit bäkkärit. Vieraanamme on Oskar Ehnström Futuricelta,  joka on on työskennellyt pitkään projektissa Sanomilla, missä tehdään mikropalveluarkkitehtuurilla bäkkäreitä useisiin Suomen tunnetuimpiin uutissivustoihin. 

 Linkkejä 

• Scala Play Framework: https://www.playframework.com/

 Vieras 

• Oskar Ehnström: @oehnstro

 Juontajat 

• Markus Hjort: @mhjort
• Yrjö Kari-Koskinen: @ykarikos

 Seuraa podcastia 

• https://koodiapinnanalla.fi/
• @KoodiPinnanAlla