Zu viele Köche verderben den Brei - Kochschule für Devs und Ops mit Chef, Vagrant & Co....

Torben Knerr, Klaus Alfert

Zu viele Köche verderben den Brei… Kochschule für Devs und Ops mit Chef, Vagrant & Co

22. Januar 2013 Folie 1

Ein typisches Java Projekt:

• Web Applikation

• Datenbank

• Memcached

• Nginx

• GeoServer

Cluster und Failover sind natürlich auch gefordert!

Unser letztes Projekt…

DevOps mit Chef & Co | Torben Knerr, Klaus Alfert

Memcached

Tomcat Tomcat

DB Master

DB Slave

GeoServer App

Mit einer typischen Deployment Pipeline:

Lokal DEV TEST PROD

Und typischen Problemen:

• Alle Umgebungen sind unterschiedlich

• Keiner kennt die Unterschiede so richtig

• Neue Entwickler brauchen 3 Tage bis die Umgebung lokal läuft

• Komplexere Szenarien sind lokal nicht testbar

• Lange Feedback-Zyklen in „shared“ Umgebungen (DEV)

• Unterschiedliche Ansprechpartner für Netz / OS / DB /…

• Und wie immer…

DevOps mit Chef & Co | Torben Knerr, Klaus Alfert 22. Januar 2013 Folie 4

Ein erster Lösungsansatz: Hey, wir bauen VMs!

Das hilft schon mal weiter:

• Vorbereitete VMs für die Entwickler mit Tomcat, Datenbank, Nginx, etc…

• Mit viel Liebe von Hand gefertigt

• Das Standardvorgehen bei unseren Embedded-Kollegen

DevOps mit Chef & Co | Torben Knerr, Klaus Alfert 22. Januar 2013

Ein erster Lösungsansatz: Hey, wir bauen VMs!

Aber…

• Manuelles Management von VMs ist schwierig (oder zumindest lästig)

• Prozesstreue ist von großer Bedeutung

• Wie versioniert man eigentlich eine 40GB große VM? In Subversion?

• Funktioniert lokal auf Entwickler PCs, aber unpassend für zentrale Infrastruktur

• Wie parametriert man solche VMs?

Fazit: hilft, aber geht nicht weit genug!

Warum Scripting?

• Leichtgewichtige Skripte statt fetter VMs – Infrastruktur kann versioniert werden

• Umgebungen können reproduzierbar aufgesetzt werden – Möglichst wenig manuelle Tätigkeiten – Ausgangsbasis für „saubere“ Deployments

• Umgebungen werden explizit designed – Entstehen nicht zufällig – Werden explizit als ausführbare Spezifikation beschrieben

Wir haben Kontrolle über unsere Umgebung!

Unsere Lösung: Wir skripten VMs!

DevOps mit Chef & Co

Willkommen in der DevOps Küche! Infrastruktur á la Carte

Ziel: einfache Infrastruktur automatisiert aufsetzen

• Zum Beispiel auf dem Entwickler PC

• Separate VM für App Server und Datenbank

• Jederzeit reproduzierbar („clean setup“)

Unser Beispiel Szenario

App Server VM

Tomcat

Datenbank VM

PostgreSQL

Zutat 1: Wir brauchen VMs

Zutat 1: Wir brauchen VMs Enter Vagrant Was ist Vagrant?

• Vagrant ist Automatisierung für VirtualBox

• Konfiguration der VMs wird in ein Vagrantfile ausgelagert

• Einfache Befehle zum steuern der VMs: – vagrant up – vagrant ssh – vagrant halt – …

• http://vagrantup.com

Zutat 1: Wir brauchen VMs – ein einfaches Vagrantfile

Basebox

App Server VM

Datenbank VM

Zutat 1: Wir brauchen VMs – Interaktion mit Vagrant

vagrant up

Zutat 1: Wir brauchen VMs – Interaktion mit Vagrant

vagrant ssh

Zutat 1: Wir brauchen VMs Ein Blick in die VirtualBox GUI

Ist das die App Server VM? Oder doch die Datenbank VM?

Zutat 1: Wir brauchen VMs – VM Konfiguration im Detail

Name, CPUs, RAM, etc…

Zutat 1: Wir brauchen VMs – VM Konfiguration im Detail

vagrant reload

Zutat 1: Wir brauchen VMs Kontrolle in der VirtualBox GUI

und die VM Parameter stimmen auch!

Besser!

Zutat 2: Provisionierung

Zutat 2: Provisionierung Zurück zu unserem Szenario

Nackte VMs reichen nicht

• Auf der DB-VM brauchen wir eine Datenbank z.B. PostgreSQL

• Auf dem App-VM brauchen wir einen Tomcat

Installation und Konfiguration dieser Software kann Chef übernehmen!

22. Januar 2013 DevOps mit Chef & Co | Torben Knerr, Klaus Alfert Folie 26

Zutat 2: Provisionierung Enter Chef

Was ist Chef?

• Chef ist Konfigurationsmanagement für Infrastruktur

• Installiert & konfiguriert Systeme von Grund auf

• Bietet eine DSL um Infrastruktur auf einer angemessenen Abstraktionsebene zu beschreiben

Mehr dazu:

• http://www.opscode.com/chef/

Vagrant unterstützt die Provisionierung von VMs via Chef!

Zutat 2: Provisionierung – PostgreSQL installieren

Stelle den PostgreSQL Server bereit

Zutat 2: Provisionierung – PostgreSQL installieren

Spezifische Konfiguration

vagrant up db

Was steht im PostgreSQL Rezept?

Installiere das Package

Erzeuge die Konfig-Datei

Erzeuge die andere Konfig-Datei

Starte PostgreSQL als Service

Der Server ist auch selbst ein Client!

Zutat 2: Provisionierung – das gleiche mit Tomcat…

Stelle den Tomcat bereit

Zutat 2: Provisionierung – das gleiche mit Tomcat…

Tomcat Konfiguration

vagrant up web

Die Philosophie von Chef

Spezifikation des Zielzustandes

• Idempotenz

• „Selbstheilung“

DSL abstrahiert von systemspezifischen Details

• Resourcen

• Provider für das jeweilige System

Küche als Namensgeber

• Chef, Cookbook, Recipe, Knife, … 22. Januar 2013 DevOps mit Chef & Co | Torben Knerr, Klaus Alfert Folie 45

Zutat 3: Kochbuchverwaltung

Zutat 3: Kochbuchverwaltung Zurück zu unserem Szenario

22. Januar 2013 DevOps mit Chef & Co | Torben Knerr, Klaus Alfert

Woher kommt eigentlich das PostgreSQL Kochbuch / Rezept ???

Folie 47

Zutat 3: Kochbuchverwaltung Hier findet man Kochbücher!

http://community.opscode.com/cookbooks/

https://github.com/search?q=cookbook

Folie 48

Zutat 3: Kochbuchverwaltung Enter Librarian

Was ist Librarian?

• Librarian bietet Dependency Management für Cookbooks

• Automatisiertes herunterladen und extrahieren

Abhängigkeiten werden in einem Cheffile spezifiziert

• Transitive Abhängigkeiten werden mit aufgelöst

• Unter Berücksichtigung von Quellen und Versionen

Mehr dazu

• https://github.com/applicationsonline/librarian

Zutat 3: Kochbuchverwaltung Ein einfaches Cheffile

Cheffile

Zutat 3: Kochbuchverwaltung – ein einfaches Cheffile

Librarian „installiert“ die Kochbücher

Zutat 4: Eigene Kochbücher

Zutat 4: Eigene Kochbücher Zurück zu unserem Szenario

VMs mit Infrastruktur reichen nicht

• Wir brauchen ein DB-Schema und eine DB-User für unsere Anwendung

• Das WAR-File für unsere Anwendung muss im Tomcat deployed werden

Dafür gibt es kein wiederverwendbares Kochbuch, das wir einfach nutzen können!

Mit Knife kann man Kochbücher erstellen

Zutat 4: Eigene Kochbücher Enter Knife

Zutat 4: Eigene Kochbücher Die Struktur des myapp Kochbuchs

Ein Kochbuch, aber mit separaten Rezepten um die Datenbank und Webapp aufzusetzen

attributes

recipes

web.rb

default.rb

web.rb

In den Attributen werden Default-Werte definiert

attributes

recipes

web.rb

default.rb

web.rb

Folie 56

• myapp/attributes/db.rb

• myapp/attributes/web.rb

Im „db“ Rezept wird PostgreSQL installiert, dann die Datenbank und der DB User angelegt

attributes

recipes

web.rb

default.rb

web.rb

Folie 58

Ohne PostgreSQL macht es keinen Sinn

Hilfreiche Resourcen dazunehmen

Zuerst den User anlegen

Die Datenbank erzeugen

Zutat 4: Eigene Kochbücher Im Vagrantfile myapp::db anwenden

Vagrantfile

Zutat 4: Eigene Kochbücher Im Vagrantfile myapp::db anwenden

Vagrantfile

Statt postgresql::server

Folie 65

vagrant provision db

Zutat 4: Eigene Kochbücher Erweitertes Cheffile

Im „web“ Rezept wird Tomcat installiert, die Webapp konfiguriert und im Tomcat deployed

attributes

recipes

web.rb

default.rb

web.rb

Folie 68

Wir müssen Tomcat installieren

Hier liegt unser .war File

Datenbankkonfiguration

Applikation in Tomcat deployen

Zutat 4: Eigene Kochbücher Im Vagrantfile myapp::web anwenden

Vagrantfile

Statt dem tomcat Rezept

Vagrantfile

Folie 76

Hier läuft die Datenbank

vagrant provision web

Läuft unsere Anwendung denn nun?

Oder was auch immer gerade ist… Wir haben das Yabe Beispiel vom Play! Framework benutzt: http://www.playframework.org/documentation/1.0/samples

Die DevOps-Küche

Rekapitulation: Was haben wir bisher gemacht

DevOps mit Chef & Co | Torben Knerr, Klaus Alfert 22. Januar 2013

Zutat 1 Wir brauchen VMs

Zutat 2 Provisionierung

Zutat 3 Kochbuchverwaltung

Zutat 4 Eigene Kochbücher

Folie 81

Textuelle Spezifikation der Infrastruktur

• Keine Shell-Skripte, sondern Spezifikation des Zielzustandes

• Knackig kurz, aber nicht kryptisch

• SCM-freundlich: Kilobyte statt Gigabyte

• Komplexe Infrastruktur steht auf Knopfdruck bereit

• Immer wieder ausführbar und wiederholbar

• Wiederverwendbarkeit auf Infrastrukturebene

Was haben wir erreicht?

Wir haben nur an der Oberfläche geraspelt

Chef & Vagrant bieten noch sehr viel mehr

• Provisionierung in der Cloud oder ihrer Virtualisierungsumgebung

• Erweiterungsmöglichkeiten der DSL dank Ruby – Eigene Resourcen und Provider – Programmierung innerhalb der Rezepte

• Chef-Server – Rechte-Management – Search – Environments

Eine populäre Alternative zu Chef ist Puppet.

• Bietet einen reinen DSL-Ansatz ohne Ruby.

Wenn Infrastruktur Code ist, dann muss Infrastruktur auch getestet werden!

Lint Checking

• foodcritic

Unit-Level Testing

• chefspec

• fauxhai

Smoke Tests (von Innen)

• chef-minitest-handler

Acceptance Testing (von Außen)

• cucumber-nagios

Dr. Klaus Alfert Email: klaus.alfert@zuehlke.com http://xing.to/alfert

Torben Knerr Email: torben.knerr@zuehlke.com

Guten Appetit! Folien: http://bit.ly/z_slideshare Beispiele: https://github.com/tknerr/oop-chef-demo

Zu viele Köche verderben den Brei - Kochschule für Devs und Ops mit Chef, Vagrant & Co....

Technology

229826 Kochschule Forum 2009 - Modixuserdata.modix.de/userdata/212/files/flyer 2009.pdf · 2008-11-26 · • Herstellung von Chutney, Relish und Pâté • Einkochen von Obst und

Event/ Catering, Kochschule und Feinkost

SCHUSTER HOME COMPANY Kochschule

Entwicklungsumgebungen - Packer, Vagrant, Puppet

KOCHSCHULE KOCHBUCH Sommer satt: Kochen mit Kirschen ... · Den noch warmen Sel-lerie mit Salz, Zucker und Essig ab-schmecken. Etwas Piment d’Espelette Perlhuhn mit Balsamico-Kirschen

Ingolf Kuss (hbz) · 2018. 5. 3. · Vagrant und Docker • Derzeit startet jedes Storage-Modul eine eigene PostgreSQL-Instanz Nützlich für die Softwareentwicklung • Jedes Storage-Modul

Weiterentwicklung des Systems zur automatisierten Generierung … · 2019. 1. 17. · Entscheidung zugunsten des Einsatzes der Open-Source-Software Vagrant in Verbindung mit dem Konfigurationsmanagementsystem

Deployment von Entwicklungsumgebungen eines TYPO3-Intranets mit Vagrant

Raumplan WG Hausparty · Sie benötigen eine groben Überblick? RAUMPLAN HAUSPARTY DJ TERRASSE E TANZFLÄCHE WINTERGARTEN KOCHSCHULE LIFE KOCHEN SOFA ECKE SOFA ECKE STEHTISCH STEHTISCH

Thermomix Kochschule Torte · PDF fileZwei Tortenträume in Vanille oder Schokolade, bei denen sich auch noch Biskuit und Buttercreme austauschen lassen? Probieren Sie’s aus: So

Über den Anstand in schwierigen Zeiten - de.rotary.de · „Schlechte Vorbilder verderben gute Sitten – Ethik und Moral vom Kindergarten bis ins Erwerbsleben“ oder auch „Die

Die ultimative Kombination für Frische. MAPAX verlängert ... · Moraxella, die die Lebensmittel durch Zersetzung verderben und Stoffe erzeugen, die einen schlechten Geschmack und

Vagrant, Chef and TYPO3 - A Love Affair

Die besten „restl-rezepte“ 2013...gibt es unterschiedliche Gründe: oft wird zu viel und zu unüberlegt eingekauft, Lebensmittel werden nicht optimal gelagert und verderben zu

Küche aktuell Ausbruch aus · 2018-09-19 · 5 Küche aktuell Grill-Freestyle: Feuer, Fun & Fantasie 9 Kochschule Letzte Zubereitungs-News 14 Marktplatz Ge ügel mariniert Geschmack

Contao in a box · - vagrant ssh Einfaches einloggen auf VM via SSH - vagrant up VM starten/booten - vagrant halt VM anhalten/herunterfahren - vagrant reload VM neu starten (mit Änderungen

UNSERE VERANSTALTUNGS- HIGHLIGHTS · 2019. 4. 7. · Unsere Veranstaltungs-Highlights 9 Sa., 13. Oktober 2018, 12.00 Uhr – 17.00 Uhr BERLIN CAPITAL CLUB Kochschule mit unserem Küchenchef

Markenprofil - baueradvertising.de · tina koch & back-ideen rezepte pur lecker. redaktionelle sÄulen 5. lecker aktuell fÜr jeden tag kochschule menÜ live long and prosper specials

Unser Veranstaltungskalender bietet Ihnen einen ... · In dieser Kochschule erlernen Sie das kleine Steak 1x1. Vom richtigen Einkauf, über die Vorbereitung bis zur perfekten Garstufe

Louis Pasteur - Mittelschulvorbereitung · PDF filePasteur lehnte diese Theorie ab. Er glaubte, ... Lebensmittel nur / nicht verderben, ... Der Mikrobiologe Louis Pasteurum 1885 in