Puppet - Entwicklungsworkflow und Basismodule

IT Engineering – Puppet

Entwicklungsworkflow und Basismodule

Alexander Pacnik Karlsruhe, 21.05.2014

2

Ziel ‣  Lokale Entwicklungsumgebung für Puppet

‣  Einen möglichen Workflow zeigen

Problemstellung ‣  Wie kann ein Entwicklungsworkflow aussehen?

‣  Wie sieht sieht eine Vorlagen für Module (Skeleton) aus?

‣  Was bedeutet Puppet Containment?

‣  Einfache Benutzerverwaltung für kleine Umgebungen.

Einleitung ... worum es in diesem Vortrag geht

Workflow

3

Workflow ... ein lokaler Puppet Entwicklungs-Workflow

Containment Skeleton Modul

Benutzer- verwaltung

4

Der Workflow im Überblick ‣  Tasks die Ant zur Verfügung stellt

Workflow ... Überblick

5

Der Verzeichnisstruktur im Überblick ‣  Enthält allen Code für eine Umgebung und wird über librarian / Git aufgebaut

Workflow ... Überblick

6

Ein Git Repository pro Modul ‣  Nachteil: viele Module

‣  Vorteile:

‣  Entwicklung findet nur auf Modulebene statt

‣  Verschiedene Modulversionen in unterschiedlichen Umgebungen möglich

Workflow ... Puppet Modul Code in einzelne Repositories

7

1. Module definieren (librarian-puppet) ‣  Tool um Module die in einzelnen Git Repositories liegen herunter zu laden

‣  Unter configuration/modules liegen keine Puppet Module

‣  In configuration/Puppetfile liegen die Metainformationen

Workflow ... Benötigte Module definieren

8

2. Module installieren ‣  Benötigte Module in configuration/Puppetfile definieren

Workflow ... Puppet Module installieren

9

Weitere Nützliche Tasks ‣  gcheck - git: check git repositories (run before lup)

‣  lreset - librarian: rm caches and modules and rebuild structure

‣  ll - librarian: show all modules, versions and dependencies

‣  llo - librarian: show all outdated modules

‣  list - list available puppet modules

Workflow ... nützliche Tasks für Zwischendurch J

10

Module in Vagrant testen oder anwenden ‣  pkn = puppet apply –noop

‣  pk = puppet apply

‣  Optional: Environment oder einen Node (SSH Konfiguration) angeben

‣  Erläuterung: startet wenn nötig die Vagrant Box, synct den Puppet Code, führt puppet apply aus und generiert die Performance-Auswertung sowie die Puppet Graphen und zeigt diese an.

Workflow ... Puppet Code in Vagrant testen

11

Module via SSH testen oder anwenden ‣  Da die Logik nicht im Vagrantfile steckt, kann der Befehl für beliebige Hosts via

SSH verwenden werden

‣  „node“ entspricht einer SSH Konfigurationsdatei unter .ssh/node.properties

Workflow ... Puppet Code remote testen

12

Module Ausgabe auswerten ‣  Auf der Konsole sieht man die detaillierte Puppet Apply Ausgabe und

‣  Die Performance Ausgabe des letzten Puppet Runs

‣  Bei erfolgreicher Ausführung werden noch die Puppet Graphen angezeigt

Workflow ... Puppet Ausgabe auswerten

13

Übersicht über den Workflow

Workflow ... Übersicht

14

Empfehlung ‣  Als Basis eine produktionsnahe VM verwenden (vgl. Packer / Vagrant Slides)

‣  Puppet Code sollte mit „puppet apply“ testbar sein

‣  Puppet Code sollte auch ohne ENC testbar sein

‣  Hiera verwenden

‣  ENC nur als Classifier

‣  Puppet Code und Daten in Hiera sind versionierbar, die Daten in der ENC nicht

Workflow ... Empfehlung

15

Fazit ‣  Wer die Empfehlungen umsetzt, kann Änderungen am Puppet Code in wenigen

Sekunden lokal testen (in der Regel < 30s). Selbst nach einem „vagrant destroy“ und einer vollständigen Provisionierung laufen die Tests meist in 1-2 Minuten durch.

‣  Geschwindigkeit und Konventionen sind für eine schnelle Entwicklung entscheidend, welche am einfachsten lokal umzusetzen ist.

Workflow ... Empfehlung

Workflow

16

Skeleton ... eine Vorlage für alle Module

Containment Skeleton Modul

Benutzer- verwaltung

17

Problem 1 ‣  Wie beginne ich mit einem neuen Modul?

‣  Wie muss ein Modul aussehen?

Skeleton ... eine Vorlage für alle Module

http://www.devco.net/archives/2012/12/13/simple-puppet-module-structure-redux.php 18

Beispiel: Verzeichnisstruktur ‣  Typischer Dreiklang: install, config und service

‣  In der init.pp muss die gesamte Funktionsweise des Moduls ersichtlich sein

‣  Vorteil: man findet sich schnell in allen Modulen zu recht

‣  Struktur minimal halten und bei komplizierteren Modulen bei Bedarf erweitern

Skeleton ... Überblick

19

Fail fast Prinzip ‣  Beispiel:

Skeleton ... abbrechen wenn die Plattform nicht getestet wurde

20

Validierung ‣  Alle Parameter der Klasse sollten validiert werden

‣  Beispiel:

Error: No valid sting(optional default value) for string1 defined. at /srv/repositories/puppet/modules/skeleton/manifests/init.pp:26 on node

Skeleton ... Parameter auf Korrektheit prüfen

21

Reihenfolge der Klassen festlegen ‣  Eine Möglichkeit (vgl. Containment Kapitel)

Skeleton ... Abhängigkeiten zwischen Klassen festlegen

22

Beispiel: Modulefile ‣  Enthält die Metadaten eines Moduls

Skeleton ... Metadaten festlegen

23

Modul Syntax prüfen - pcheck ‣  Bash Funktion, um den Modul-Syntax zwischen durch zu testen, falls im Modul

unter tests/ ein check Skript liegt

‣  Vorteil: schnell und zeigt Syntaxfehler

‣  Aber: Vagrant & SSD sind so schnell, das ich es fast nicht mehr verwende

Einleitung ... worum es in diesem Vortrag geht

Workflow

24

Containment ... Abhängigkeiten zwischen Klassen modellieren

Containment Skeleton Modul

Benutzer- verwaltung

25

Problem 4 ‣  Ach wie schön, ein Dependency Cylce J

‣  Was bedeutet Containment?

Containment ... Abhängigkeiten zwischen Klassen modellieren

http://docs.puppetlabs.com/puppet/latest/reference/lang_containment.html 26

Zitat ‣  However, unlike resources, Puppet does not automatically contain classes when

they are declared inside another class. This is because classes may be declared in several places via include and similar functions. Most of these places shouldn’t contain the class, and trying to contain it everywhere would cause huge problems.

‣  Instead, you must manually contain any classes that need to be contained.

Containment ... Abhängigkeiten zwischen Klassen modellieren

27

Beispiel 1 – include

Containment ... include

28

Beispiel 1 – include

Containment ... include

29

Beispiel 2 – require

Containment ... require

30

Beispiel 2 – require

Containment ... require

31

Beispiel 3 – Chaining

Containment ... chaining

32

Beispiel 3 – Chaining

Containment ... chaining

33

Beispiel 4 – Chaining zweiter Versuch

Containment ... chaining .. chaining

34

Beispiel 4 – Chaining zweiter Versuch

Containment ... chaining

35

Beispiel 5 – Anchor Pattern (Puppet < 3.4)

Containment ... anchor

36

Beispiel 5 – Anchor Pattern (Puppet < 3.4)

Containment ... anchor

37

Beispiel 6 – contain, Verwendung wie include (Puppet >= 3.4)

Containment ... contain

38

Beispiel 6 – contain, Verwendung wie include (Puppet >= 3.4)

Containment ... contain

Workflow

39

Entscheidungen im Vorfeld ... Papier und Stift bitte

Containment Skeleton Modul

Benutzer- verwaltung

40

Möglichkeiten 1.  Zentrale Benutzerverwaltung über ein Tool (beispielsweise LDAP)

2.  Datei basierte Benutzerverwaltung mit Puppet und Hiera

Aufgaben ‣  Benutzer verwalten

‣  SSH Keys verwalten

‣  Sudo Regeln verwalten

Hands-on ... um die Übersicht zu behalten

41

Eine Define für die Verwaltung der Ressourcen

Hands-on ... um die Übersicht zu behalten

42

Benutzer in Hiera definieren ‣  Struktur

‣  YAML

Hands-on ... um die Übersicht zu behalten

43

Eine Liste aller verfügbaren Benutzer aufbauen (virtual)

Hands-on ... um die Übersicht zu behalten

44

Benutzer anhand von Kriterien ausrollen wo sie benötigt werden

Hands-on ... um die Übersicht zu behalten

45

Next Steps 1.  Tools installieren

2.  Beispiel aus unserem Git Server clonen

3.  Skripte ausprobieren, Beteiligung an der Weiterentwicklung erwünscht! J

4.  Dokumentation der Tools vollständig lesen!

http://docs.puppetlabs.com/puppet/latest/reference/lang_containment.html

Hands-on ... um die Übersicht zu behalten

46

Fazit ‣  Verzeichnisstruktur nach Aufgaben und Umgebungen sortieren

‣  Die lokale Testumgebung ist der erste Umgebung die funktionieren muss!

Fazit ... um die Übersicht zu behalten

47

Vielen Dank für Ihre Aufmerksamkeit

Kontakt Alexander Pacnik IT Engineering & Operations Project Management inovex GmbH Ludwig-Erhard-Allee 6 76133 Karlsruhe Mobil: +49 (0)173 3181 040 Mail: alexander.pacnik@inovex.de

Anhang

49

Quellen ‣  Puppet Style Guide

http://docs.puppetlabs.com/guides/style_guide.html

‣  Puppet Language Guide

http://docs.puppetlabs.com/guides/language_guide.html

‣  Puppet Referenzen

http://docs.puppetlabs.com/references/latest/

‣  Puppet Guides

http://docs.puppetlabs.com/guides/

‣  Puppet Blog

https://puppetlabs.com/blog/

Lizenz des Vortrags ‣  Creative Commons (by-nc-nd)

Anhang ... wo sie in Ruhe nachlesen können