MySQL Cluster: HA als StorageEngine - · PDF fileWhat About Hochverfugbarkeit mit MySQL Topic Wir wollen Hochverf ugbarkeit Daten Service Und wie erreichen? Erkan Yanar (linsenraum.de)

MySQL Cluster: HA als StorageEngine

Erkan Yanar

linsenraum.de

25. April 2012

Erkan Yanar (linsenraum.de) MySQL Cluster: HA als StorageEngine 25. April 2012 1 / 34

What About

Hochverfugbarkeit mit MySQL

Topic

Wir wollen Hochverfugbarkeit

Daten

Service

Und wie erreichen?


Datenredundanz/Verfugbarkeit Replication

Losungsmoglichkeiten:

HA auf Basis von Replikation

Replikation

Datenredundanz

Slave read only(Scaleout)

HA

Daten redundant?





Replikation

Datenredundanz


HA

Daten redundant?





Replikation

Datenredundanz


HA

Daten redundant?





Replikation

Datenredundanz


HA

Daten redundant?



Sicherheit semisync vs. Performance async

Failover

Daten


Datenredundanz/Verfugbarkeit Blocklevel

Blocklevel

2 Nodes Limit

Nur ein Rechner

Failover

Daten

Recoverydowntime

Keine Skalierung


Datenredundanz/Verfugbarkeit Blocklevel

Blocklevel

2 Nodes Limit

Nur ein Rechner

Failover

Daten

Recoverydowntime

Keine Skalierung


Datenredundanz/Verfugbarkeit StorageEngines

Modulares MySQL

Storage Engine

Authentication

INFORMATION SCHEMA

General

Replication

Audit

. . .



Modulares MySQL

Storage Engine

Authentication

INFORMATION SCHEMA

General

Replication

Audit

. . .



Local Storage Engine

CREATE TABLE tablename (...) ENGINE=...



Storage Engines


Local Storage

INNODB/XtraDB

MYISAM

Aria

PBXT

OQGraph

. . .



Weite Welt




Network Storage

FedratedX

SpiderSE

NDB (Network Database)

CREATE TABLE tbl a(col a int,col b int,PRIMARY KEY(col a))ENGINE = FEDERATEDCONNECTION’mysql://ich:[email protected]/db/tbl a’;



Network Storage

FedratedX

SpiderSE


CREATE TABLE tbl a( col a int, col b int, PRIMARY KEY(col a))ENGINE = SPIDERCONNECTION ’ table tbl a, user ich, password auch ’PARTITION BY RANGE( col a ) (PARTITION p1 VALUES LESS THAN (1000) COMMENT ’host 192.168.178.25’,PARTITION p2 VALUES LESS THAN (2000) COMMENT ’host 192.168.178.26’,PARTITION p3 VALUES LESS THAN (MAXVALUE) COMMENT ’host 192.168.178.27’ );



Network Storage

FedratedX

SpiderSE


CREATE TABLE imha ( . . . ) ENGINE=NDB;


MySQL Cluster


MySQL Cluster

Network Storage

Speicher Engine

Shared Nothing

HA: 99,999%

ACID

READ COMMITTED

Row Locking

Two Phase Commit

Keine FK

Key/Value Applikation!

ALTER TABLE . . . ENGINE=NDB

Hash-Partitionierung/Sharding

Durchsatz, Parallelitat

Scaleout


MySQL Cluster Komponenten

Komponenten

ndb(mt)d

mgmd

MySQL/API



Komponenten

ndb(mt)d

mgmd

MySQL/API

Datenknoten

Partitionierung/Redundanz

2-Phase-Commit

Failover

max. 48 Nodes



Komponenten

ndb(mt)d

mgmd

MySQL/API

Managementdeamon/knoten:

Konfiguration

Logging

Arbitrator

Managementinterface



Komponenten

ndb(mt)d

mgmd

MySQL/API

API

Kommunikation via ndb-api

ENGINE=NDB


MySQL Cluster NoOfReplicas

Implementing HA

ndb(mt)d

NoOfReplicas

Primary lead

Failover


MySQL Cluster 2PC

Impelenting HA: 2PC

Datenkonsitenz a la 2PC

TransactionCoordinator

Prepare

Commit

Latenz


MySQL Cluster 2PC

Impelenting HA: 2PC

100.000 Inserts:

InnoDB 0m7.911s

NDB 1m47.806s


MySQL Cluster Changing Data

INSERT/UPDATE

Changing Data

Parallel Inserts

Parallel Updates

Multi Data-Nodes

Multi Api-Nodes!


MySQL Cluster SELECTs

SELECT

NDB SELECTs

Key Lookups

Nested Loop Join

Push-Down-Join (SPJ)

Parallel Scans



a SELECT id2 FROM a WHERE id=@a; 100.000 x uniform

b SELECT COUNT(*) FROM a JOIN b using (id);

c SELECT COUNT(*) FROM a JOIN b using (id) where a.id=100; 100.000x

d SELECT COUNT(id2) FROM a JOIN b using (id2) where a.id=1000;

Query InnoDB 5.5.20 ndb 7.1.0 ndb 7.2.5

a 8.526s 29.290s 29.290s

b 0.130s 16.290s 0.750sc 8.131s 40.285s 44.043sd 34.844s 560.717s 559.317s








a 8.526s 29.290s 29.290sb 0.130s 16.290s SPJ 0.750s

c 8.131s 40.285s 44.043sd 34.844s 560.717s 559.317s








a 8.526s 29.290s 29.290sb 0.130s 16.290s 0.750sc 8.131s 40.285s 44.043s

d 34.844s 560.717s 559.317s








a 8.526s 29.290s 29.290sb 0.130s 16.290s 0.750sc 8.131s 40.285s 44.043sd 34.844s 560.717s 559.317s








a 8.526s 29.290s 29.290sb 0.130s 16.290s 0.750sc 8.131s 40.285s 44.043sd 34.844s 560.717s 559.317s


MySQL Cluster Making the whole Cluster HA

Begrenztes HA

HA der MySQLd?

Loadbalancer

Connectoren

Pacemaker


NDB best used for:

UseCases

Viele kleine Trans.

Key/Value Lookups

HA

Hoher Durchsatz

Telco

Gaming

. . .


Memory

Memory Only NDB

Speicheraufteilung

IndexMemory

DataMemory

Hard Limit

UNIQUE/PK Indices

Indices und Data

Pages stick to table

Kein Auslagern


Memory

Memory Only NDB

Speicheraufteilung

IndexMemory

DataMemory

Hard Limit

UNIQUE/PK Indices

Indices und Data


Kein Auslagern


Memory

Memory Only NDB

Speicheraufteilung

IndexMemory

DataMemory

Hard Limit

UNIQUE/PK Indices

Indices und Data


Kein Auslagern


Memory Fixed Arrays

Frohliches Konfigurieren

IndexMemory PK, UNIQUE

DataMemory Data, (Ordered) Indices,

StringMemory Out of string memory, ...Permanent error: Schema error

MaxNoOfOrderedIndexes Maximale Zahl der Ordered Indices

MaxNoOfAttributes Max. Tabellen, Indices, Columns etc.

MaxNoOfUniqueHashIndexes Max. Unique Indices die nicht PK sind.

MaxNoOfConcurrentOperations Operation Records in TC1KB

ndb config -f: -q Id,MaxNoOfConcurrentOperations


Memory Memory hitting Disk

Und was ist mit Disk?

Disk IO!

MySQL Cluster schreibt inDiskCheckpointSpeed DataMemory (alsLCP) mit TimeBetweenLocalCheckpointsAbstand auf die Disk.

Das Redo Log (NoOfFragmentLoges *

FragmentLogFileSize) muss groß genug

sein, um die Anderungen wahrend 2x LCP

zu speichern.


Konfiguration

MySQL Cluster: Konfiguration

config.ini

Verwaltet vom mgmd

Definiert Mitglieder

Konfiguriert Teilnehmer


Konfiguration

StartUp

host1# ndb_mgmd [--initial] --config-file=/tmp/config.ini

host2# ndbd [--initial] --ndb-connectstring=host1

host3# ndbd [--initial] --ndb-connectstring=host1

host4# mysqld --ndb-connectstring=host1


Konfiguration

config.ini

[NDB_MGMD]

HostName = 10.10.10.23

NodeID = 1

[NDBD DEFAULT]

NoOfReplicas = 2

DataDir = /data/cluster

IndexMemory = 20M

DataMemory = 100M

[NDBD]

NodeID = 21

HostName = 10.10.10.21

[NDBD]

NodeID = 22

HostName = 10.10.10.22

[mysqld]

NodeID = 60

HostName = 10.10.10.20

[mysqld]

NodeID = 61

HostName = 10.10.10.24


Konfiguration

config.ini

[NDB_MGMD]

HostName = 10.10.10.23

NodeID = 1

[NDBD DEFAULT]

NoOfReplicas = 2

DataDir = /data/cluster

IndexMemory = 20M

DataMemory = 100M

NoOfFragmentLogFiles = 32 # 32 * (16M*4)

TimeBetweenLocalCheckpoints = 20 # 20=4MB,21=8MB,22=16MB

TimeBetweenGlobalCheckpoints = 2000

#ndbmtd: MaxNoOfExecutionThreads

# cores value

# 2 2 -> 1LQH

# 4 4 -> 2LQH

# 8 8 -> 4LQH

# Partitionen= 8*LQH

# Partition = 46.137.488 Rows

[NDBD]

NodeID = 21

HostName = 10.10.10.21

[NDBD]

NodeID = 22

HostName = 10.10.10.22

[mysqld]

NodeID = 60

HostName = 10.10.10.20

[mysqld]

NodeID = 61

HostName = 10.10.10.24


Konfiguration

Prozesskonfig in my.cnf

[mysqld]

ndbcluster

ndb-cluster-connection-pool = 1

[mysql_cluster]

ndb-connectstring = 10.10.10.23

[ndb_mgmd]

configdir = /data/cluster


Maintenance Rolling Restart

Rolling Restarts/Upgrades

Cluster muss oft restartet werden :(

Service soll HA sein.

auch bei Upgrades!

Solution: Rolling Rolling Rolling . . .

Rolling Restart halt die Datennodes hochverfugbar.



Rolling Restarts/Upgrades

Cluster muss oft restartet werden :(

Service soll HA sein.

auch bei Upgrades!

Solution: Rolling Rolling Rolling . . .

Rolling Restart halt die Datennodes hochverfugbar.





Online Operations

ROLLING RESTART

ADD INDEX

DROP INDEX

ADD COLUMN

BACKUP

ADD/CREATENODEGROUP

REORGANIZEPARTITION

SW-UPGRADE


Ignored

Lost

TableSpace

(WAN) Replication

memcached-api

mod ndb

. . .


Maintenance

Wofur kann man die Losung gut gebrauchen?


Maintenance

Ende Gelande

Morgen Galera Cluster: (fast) alles besser!

Erkan [email protected]. . .linsenraum.de/erkuleswww.xing.com/profile/Erkan Yanar


Documents

MySQL Cluster: HA als StorageEngine - · PDF fileWhat About Hochverfugbarkeit mit MySQL Topic Wir wollen Hochverf ugbarkeit Daten Service Und wie erreichen? Erkan Yanar (linsenraum.de)