E count – Tipps und Tricks beim Importieren 6. Mai 2010 – Zürich - BusinessCafe

ecount – Tipps und Tricks beim Importieren

6. Mai 2010 – Zürich - BusinessCafe

„Tipps und Tricks beim Importieren“

Ralf Kamphues, Systemberater

Daniel Widmer, System Ingenieur

Import Datenflüsse / Zusammenh.

Jobs

Ablage

comimport[.cmd¦.sh] datenimport[.cmd¦.sh]

[koma]

Konfiguration

./config

./config.properties

IMAP A

POP3 B

FTP C

Format X

Format Y

ComImport

Datenquelle 1

Datenquelle 2

HTTP D Format Z

Datenimport

GHI

Kanäle

Linien

ecount-Dateiimport

./config/import/

../config.properties

../datenimport.ini

./[filter].properties, z.B.:

./ebix.properties

Datei-Import [xy]…Import File Workflow

StammdatenautomatikGerätehistorie (Datenimport)

[Datenbank]

typ. alle 5..10 Minuten

KomA

KOMA: comimport

Job:

comimport[.cmd¦.sh]

config.properties

ecount /esales Datenbank

<liest>

<liest>

Import -> Konfigurationsautomatisierung(Abfragezyklus, wichtige Konteneinstellungen)

Import -> Kommunikationseinstellungen (Formate, Verbindungen)

KomA

Import -> Kommunikationseinstellungen

Read-only: Verhindert das „Löschen“ der Dateien!. Ecount muss zusätzliche Informationen ablegen um sich die Dateien zu merken, welche bereits importiert wurden!

Kommunikationseinstellungen - Formate

Format wie in

datenimport.ini

Import-Verzeichnis wie in

datenimport.ini

Import -> Kommunikationsautomatisierung

Import-Kommunikation - Konten

Kommunikations-

einstellungen

- Format

Kommunikations-

einstellungen

- Verbindung

Für Ermittelung von Antwort-Adressen erforderlich

comimport - zu beachten:

Mit „zip“ Format wird sichergestellt, dass Konten-Attribute (Nachrichtenadresse, Datenquelle, Betreff…) erhalten bleiben.

Mit Attribut „Server“ kann ein Import-Konto einem Koma-Server zugewiesen werden. Dies ermöglicht statische Lastverteilung auf mehrere KomA-Installationen

– Config.properties: importcom.comserver = 1

Hinweis: Das Skript „comimport“ beendet sich nie selbsständig, sondern muss explizit gestoppt werden.

Der Skript comimport_console kann mit eigenem Debug-Level für manuelle Analyse gestartet werden.

KOMA: datenimport

Job:

datenimport[.cmd¦.sh]

config.properties

ecount /esales Datenbank

<liest>

<schreibt>

Import -> Importdateien (Zwischentabelle)

Hier können bereits erste Probleme erkannt werden!

datenimport.ini

KomA

Zwischentabelle

ecount - Importdateien

ID der Import-Datei

Datei von ComImport – Konto 4 Format EDI

Verbindung zur importierten Email-Nachricht

datenimport - zu beachten:

Gepackte (zip,gz) Dateien sollen über comimport importiert werden (Zeichensatzproblematik!)

Die Reihenfolge der Imports wird über die Reihenfolge der Einträge im „datenimport.ini“ festgelegt.

ZIP Dateien sind für den Datenimport transparent. Der Datenimport kann für die Formate CSV und Excel mit dem

Import-Konfigurator (lizenzpflichtig) komfortabel bearbeitet werden.

Der Skript datenimport_console kann mit eigenem Debug-Level für manuelle Analyse gestartet werden.

ecount: „Datei-Import“ Job

ecount /esales Zwischentabelle

Import -> Importüberwachung- Zwischentabelle Statistik- Problembehaftete Kanäle- Unzugeordnete Kanäle- Import Fehlerarten usw.

Datenbank - Jobs:

Datei-Import [xy]

Import File Workflow

ecount /esales DatenbankWird übertragen wenn:

- GHI vorhanden oder

- Stammdatenautomatik eingerichtet

„Datensumpf“

Daten welche nicht zugeordnet oder fehlerhaft sind, verbleiben in der Zwischentabelle

Analyse

ecount: „Datei-Import“ –zu beachten:

Wenn der Import zeitkritisch ist, muss das Timing der Jobs richtig gewählt werden.

Imports sollten regelmässig überwacht werden, und Regeln hinterlegt werden, wie mit fehlerhaften oder nicht importierten Zeitreihen zu verfahren ist. Z.b. „aussteuern“ oder manuell löschen.

Unverarbeitete Daten verbleiben in der Zwischentabelle und können zu erheblichen Datenmengen anwachsen. (Backup, Performanceverlust, Ressourcennutzung)

Stammdatenautomatik

Ermöglicht automatische Erstellung von - Zählpunkten - Linien - Gerätehistorien

vorausgesetzt die Daten enthalten die für die automatische Generierung erforderlichen Informationen.

Die Parametrierbarkeit muss pro Datenquelle lizensiert werden.

SDAT Importe nutzen bereits ausgiebig die Möglichkeiten der Stammdatenautomatik

…Stammdatenautomatik…

SDA Baukasten

ecount /esales Datenbank

Zählpunkte

Linien

Geräte-historien

ecount /esales

Zwischentabelle

Stammdatenautomatik…

Wir sind für Sie da…

Ralf Kamphues, Systemberater

Tel.: +41 79 72 73 137Email: ralf.kamphues@robotron.ch

Daniel Widmer, System IngenieurTel.: +41 79 570 24 46Email: daniel.widmer@robotron.ch

…für Fragen – jetzt oder auch später!

Copyright

Weitergabe und Vervielfältigung dieser Publikation oder von Teilen daraus sind, zu welchem Zweck und in welcher Form auch immer, ohne die ausdrückliche schriftliche Genehmigung durch die Robotron Datenbank-Software GmbH nicht gestattet. In dieser Publikation enthaltene Informationen können ohne vorherige Ankündigung geändert werden.Die von der Robotron Datenbank-Software GmbH oder deren Vertriebsfirmen angebotenen Softwareprodukte können Softwarekomponenten auch anderer Softwarehersteller enthalten.Microsoft®, WINDOWS®, NT®, EXCEL®, Word®, PowerPoint® und SQL Server® sind eingetragene Marken der Microsoft Corporation.IBM®, DB2®, DB2 Universal Database, OS/2®, Parallel Sysplex®, MVS/ESA, AIX®, S/390®, AS/400®, OS/390®, OS/400®, iSeries, pSeries, xSeries, zSeries, z/OS, AFP, Intelligent Miner, WebSphere®, Netfinity®, Tivoli®, Informix und Informix® Dynamic ServerTM sind Marken der IBM Corporation in den USA und/oder anderen Ländern.ORACLE® ist eine eingetragene Marke der ORACLE Corporation.UNIX®, X/Open®, OSF/1® und Motif® sind eingetragene Marken der Open Group.Citrix®, das Citrix-Logo, ICA®, Program Neighborhood®, MetaFrame®, WinFrame®, VideoFrame®, MultiWin® und andere hier erwähnte Namen von Citrix-Produkten sind Marken von Citrix Systems, Inc.HTML, DHTML, XML, XHTML sind Marken oder eingetragene Marken des W3C®, World Wide Web Consortium, Massachusetts Institute of Technology. JAVA® ist eine eingetragene Marke der Sun Microsystems, Inc. JAVASCRIPT® ist eine eingetragene Marke der Sun Microsystems, Inc., verwendet unter der Lizenz der von Netscape entwickelten und implementierten Technologie. MarketSet und Enterprise Buyer sind gemeinsame Marken von SAP AG und Commerce One.SAP, SAP Logo, R/2, R/3, mySAP, mySAP.com und weitere im Text erwähnte SAP-Produkte und -Dienstleistungen sowie die entsprechenden Logos sind Marken oder eingetragene Marken der SAP AG in Deutschland und anderen Ländern weltweit. robotron*ecount, robotron*esales, robotron*eportal, robotron*SEA, robotron*EdifactKonverter und weitere im Text erwähnte Robotron-Produkte und -Dienstleistungen sowie die entsprechenden Logos sind Marken oder eingetragene Marken der Robotron Datenbank-Software GmbH in Deutschland und anderen Ländern weltweit. Alle anderen Namen von Produkten und Dienstleistungen sind Marken der jeweiligen Firmen