Aktuell migrieren wir die Daten unserer Lotus Notes Vertriebsdatenbank VIS in unser aktuelles, eigenentwickeltes CRM System namens BPM (Business Partner Management). Ziel der Aktion ist es, die Notes Datenbank ‚abzuschalten‘ (also nicht mehr aktiv zu nutzen und nur noch für Archivzwecke zugreifbar zu haben).

Der Ablauf der Migration erfolgt dabei in mehreren Schritten:

• Export der Altdaten (ca. 100.000 Datensätze) in CSV Dateien. Alle Spalten liegen nur in Textform vor.
• Import der CSV Dateien mit Hilfe des SQL Loaders (Oracle) in Arbeitstabellen. Alle Felder sind weiterhin Texte, um den Import möglichst simpel und schnell zu gestalten.
• Transfer der Daten per SQL Query in weitere Arbeitstabellen. Dabei werden die erst Typkonvertierungen (Datum, Zahlen, Feldlängen, etc.) vorgenommen.
• Transfer der Daten in die Zieltabellen. Die Quelldaten werden mit einem Cursor gelesen und in einer LOOP verarbeitet. Per Insert Statements werden die Zieltabellen mit den Daten aus der Arbeitstabelle gefüllt.

Klingt alles ganz einfach, aber der Teufel steckt wie immer im Detail. Viele Felder waren in der Quelldatenbank reine Textfelder uns somit nicht formatiert. Die Anwender haben also im Laufe der Jahre eine gewisse Eigeninterpretation der Felder genutzt.

Ein Beispiel: Bei der Dokumentation von Bonitätsinformationen (z.B. Crefo) gibt es im BPM das Feld ‚Geschäftsverbindung zulässig‘, es hier hier eine ja/nein Information, für die nur ein Haken gesetzt wird oder nicht. Die Notes Datenbank hatte hier ein Texteingabefeld, welches kreativ genutzt wurde. Ganze 231 verschiedene Texte fanden sich hier in der Altdatenbank. Was gilt dabei nun als ja und was als nein? Hier hilft es nun, nach Textmustern (ja, zulässig, etc.) zu suchen, um diese Frage zu beantworten.

Auch müssen die geeigneten Mappings für die Daten gesucht und gefunden werden. Manche Informationen werden im Quell- und Zielsystem unterschiedlich zugeordnet oder werden gar nicht mehr benötigt. Hier ist neben einer guten Kenntnis der Datenstrukturen der Dialog mit der Fachabteilung zwingend erforderlich, um alles Notwendige zu migrieren und sich nicht mit mittlerweile überflüssigen Informationen unnötig aufzuhalten.

Die Entwicklung der Migrationsqueuries kann sich somit etwas hinziehen, da man die ganzen Stolpersteine im Vorfeld gar nicht alle vorhersehen kann. Immerhin ist es beruhigend zu wissen, dass der eigentliche Durchlauf der Migration (Import der CSV bis zum Import in die Zieltabellen) in weniger als 10 Minuten erledigt ist.