German webinar: Verwaltung & Automatisierung von MariaDB Galera Cluster

© MariaDB Corpora,on Ab

Verwaltung und Automa,sierung von MariaDB Galera Cluster

Jean-‐Jérôme Schmidt, VP Marke,ng -‐ [email protected] Ralf Gebhardt, Sales Engineer -‐ [email protected]

* * 13.10.14 1


Agenda

• Introduc,on • MariaDB Galera Cluster Essen,als • Partner presenta,on: Severalnines • MariaDB Enterprise and MariaDB Enterprise Cluster

13.10.14 2


About MariaDB Corpora,on

●  Home for the founders and original developers of the core of MySQL

●  Home for the commercial offering of MariaDB

●  Provides support and services for MySQL and derived databases like MariaDB

●  Flagship product is MariaDB Enterprise: It includes support, tools and services for MariaDB

13.10.14 3

mariadb.com


Data Redundancy with MariaDB

• MariaDB Internal Replica,on • Asynchronous • Semi-‐Synchronous • Storage based redundancy (Ac,ve/Passive) • DRBD (Distributed Replicated Block Device) • SAN (Storage Area Network) • VMWare replica,on • MariaDB Galera Cluster

13.10.14 4


HA using MariaDB Replica,on

• This is in many cases a good enough solu,on, but it has some issues

• The cluster is very loosely coupled, not all nodes are aware of all the other nodes for example

• Replica,on is asynchronous, so failing over is more difficult than usually

• Adding a slave is difficult

13.10.14 5


MariaDB Galera Cluster Architecture

• MariaDB Galera Cluster is a so]ware-‐only solu,on with many advantages

• No failover requirements -‐ the nodes are all ac,ve and are all masters

•  “Proper” Cluster with built-‐in failover, locking and split-‐brain protec,on

• Synchronous replica,on with low overhead due to op,mis,c locking

• Automated online add node • No applica,on change scale out

13.10.14 6


HA using MariaDB Replica,on

13.10.14 7

MariaDB Galera Cluster

MariaDB Server MariaDB Server MariaDB Server

Galera wsrep Library Galera wsrep Library Galera wsrep Library

Synchronous Replication

Load Balancer / Failover

Application / Application Server


Seang up MariaDB Galera Cluster

• MariaDB Galera Cluster consists of the MariaDB binary that in turns talks to the Galera wsrep library

• Once set up, Galera is configured using the usual my.cnf file, and is monitored / managed per node using SHOW GLOBAL STATUS and SHOW GLOBAL VARIABLES commands

13.10.14 8

Confidential

Automatisierung & Verwaltung von Datenbank-Clustern mit Severalnines

08. Oktober 2014

Jean-Jérôme Schmidt

Severalnines

[email protected]

Confidential

Agenda

¤  Lebenszyklus der Datenbank Infrastruktur ¤  Einsatz, Überwachung, Verwaltung, Skalierung

¤  ClusterControl Übersicht

¤  ClusterControl 1.2.8 – Neue Funktionalitäten

¤  Demo

10

Copyright Severalnines AB

Confidential

Lebenszyklus der Datenbank-Infrastruktur

11

Copyright 2013 Severalnines AB

Confidential

Datenbank TCO

12


Source: IDC, Maximizing the Business Value of Enterprise Database Applications

Confidential

Infrastruktur-Lebenszyklus

13


Manage Scale

Monitor Deploy

Confidential

Deployment - Jenseits von Puppet oder Chef

¤  Puppet/Chef sind vor allem für eine Gruppe von individuellen Knoten-Komponenten geeignet ¤  Z.B. Webserver können Klone voneinander sein

¤  Verteilte Datenbanken sind komplex ¤  Verschiedene Typen von Knoten und Rollen

¤  Die Orchestrierung von Prozeduren bedarf einer bestimmten Reihenfolge

¤  Chef benutzen, um eine verteilte Datenbank einzusetzen ¤  Ja, es ist möglich

¤  Wenige Chef-Funktionalitäten kommen zum Einsatz

¤  Seien Sie darauf gefasst, Code schreiben zu müssen!

14


Confidential

Monitoring - Jenseits von Nagios

¤  Was tun, wenn die Applikation langsam ist?

¤  Ist es die Platte? CPU? RAM? Schlecht geschriebene Queries?

¤  Was sind die Auslöser? (Replikations-Queues, Seitenfehler, Locks, Anzahl Anschlüsse, …)

¤  Wie können Probleme verhindert werden?

¤  Wie werden Kapazitäten geplant?

15


Confidential

Verwaltung - Jenseits von Einsatz (Monitoring)

16


Confidential

Skalierung - Jenseits des Klempners

17


Confidential

ClusterControl Übersicht

18


Confidential

ClusterControl In 4 Worten

19


Manage Scale

Monitor Deploy

Confidential

Unterstützte Datenbanken

SQL

¤  MariaDB Cluster

¤  MySQL Galera Cluster (Codership)

¤  Percona XtraDB Cluster

¤  MySQL Cluster (NDB)

¤  MySQL Replikation – mit GTID

¤  Standalone MySQL/MariaDB

NoSQL

¤  MongoDB Sharded Cluster

¤  MongoDB Replica Set

¤  TokuMX Cluster


20

Confidential

ClusterControl Automatisierung & Verwaltung

¤  Provisioning ¤  Einsatz eines Clusters innerhalb von Minuten

¤  Vor Ort oder in der Cloud (AWS oder Openstack)

¤  Monitoring ¤  Systemsicht

¤  1Sek Auflösung

¤  DB / BS Statistiken & Leistungsberater/anzeiger

¤  Konfigurierbare Dashboards / Armaturenbretter

¤  Query Analyzer

¤  Echtzeit / historisch

21


Confidential

ClusterControl Automatisierung & Verwaltung

¤  Verwaltung ¤  Multi-Cluster/Data-Center

¤  Automatisierung von Repair/Recovery

¤  Datenbank-Upgrades

¤  Backups

¤  Konfigurationsverwaltung

¤  Cloning

¤  Ein-Klick Skalierung


22

Confidential

Grundlagen

¤  Dedizierte VM für den Controller

¤  Specs ¤  2 CPU cores ¤  2-4GB RAM ¤  20GB disk space

¤  Keine Agents ¤  Host-Statistiken werden via SSH gesammelt

¤  Installation ¤  YUM/APT ¤  SSH-Zugang zu den Datenbank-Knoten aufsetzen

23


Confidential

Beispiel-Architektur

24


Confidential 25


Confidential

ClusterControl 1.2.8 Neue Funktionalitäten

26


Confidential

ClusterControl 1.2.8 - Highlights ¤  YUM/APT Repositories für ClusterControl

¤  Einsatz und Skalierung individueller MySQL, MariaDB und/oder MongoDB Knoten

¤  Verfolgen von Alarmen und Vorfällen mit PagerDuty

¤  Vereinheitlichter Ereignisanzeiger

¤  Neues, flexibles Alarm- und Email-Benachrichtigungssystem

¤  Audit Protokollierung – Folgen der Administratoraktivitäten

¤  Globale MySQL Benutzer-Verwaltung

¤  Neue, voreingestellte Dashboards für MySQL/MariaDB

¤  Puppet-Modul für ClusterControl

¤  Verbesserter LDAP-Support für Active Directory und FreeIPA

27


Confidential

Einsatz individueller MariaDB, MySQL & MongoDB Knoten

¤  Einsatz individueller Datenbank-Knoten

¤  Mit einem Klick zu Clustern skalieren

28


Confidential

Verfolgen von Alarmen & Vorfällen: PagerDuty-Integration

¤  Integration von ClusterControl Alarmen mit PagerDuty

¤  Telefon und SMS Alarme zu ClusterControl zufügen

29


Confidential

Cluster-weite MariaDB / MySQL Benutzer Verwaltung

¤  Anlegen von MySQL Benutzern über mehrere Cluster

¤  Alle Privilegien verwalten

30


Confidential

Neue, voreingestellte Dashboards für MariaDB & MySQL ¤  InnoDB IO - zeigt IO read/write Statistiken für InnoDB an

¤  Query Performance - für Queries wie Tabellen-Scans und Tabellen-Joins ohne Indexe

¤  Galera Flow Control – zeigt die Replikations-Performance an

31


Confidential

Demo

32


Confidential

Kunden

33


Confidential

Danke

¤  Cluster Configurator ¤  www.severalnines.com/config

¤  ClusterControl ¤  www.severalnines.com/clustercontrol

¤  Severalnines Blog ¤  www.severalnines.com/blog

¤  Contact: jj@severalnines

34


Full product and service offering for MariaDB and MySQL available today

•  MariaDB & MySQL Server

•  MySQL compa,ble

•  Fully open source

•  Feature enhanced

•  Galera Cluster

•  NoSQL compa,ble (Cassandra, LevelDB)

•  Tools for MariaDB & MySQL

•  Monitor, manage, backup

•  High availability

•  Cloud deployment

•  Clients for Java and C

•  Services for MariaDB & MySQL

•  Opera,ons support

•  Developer support

•  Consul,ng, training, remote DBA

13.10.14 35

Enterprise Subscrip,ons Annually renewed bundle of DB tools and services

MariaDB/MySQL Server

Services Tools


MariaDB Enterprise Subscrip,on Offers

13.10.14 36

MariaDB Enterprise MariaDB Enterprise Cluster

Summary Powerful enterprise data management. Highly available database cluster for the most demanding use cases.

Supported Database Pla?orms

●  MariaDB (Included) ●  MySQL ●  Percona XtraDB

●  MariaDB Galera Cluster (Included) ●  MySQL + Galera ●  Percona XtraDB Cluster

Comprehensive Benefits: ●  30 min. support response ●  Unlimited incidents ●  Updates and bug fixes ●  Security patches ●  Advice, hot-‐fixes ●  InstallaMon, configuraMon help ●  Email, web, remote login ●  Exclusive content ●  Roadmaps ●  OpMonal enterprise products ●  OpMonal services including

Remote DBA, ConsulMng, Training, NRE

✔ ✔

Included Third-‐party Products

●  Monitoring: MONyog ●  Query Editor: SQLyog ●  Backup: XtraBackup, Zmanda Backup

●  Cluster Deployment, Management & Monitoring : SeveralNines ClusterControl

●  Monitoring: MONyog ●  Query Editor: SQLyog ●  Backup: XtraBackup, Zmanda Backup


Fragen?

www.mariadb.com www.facebook.com/mariadb.dbms

www.twiker.com/mariadb

Software

German webinar: Verwaltung & Automatisierung von MariaDB Galera Cluster