Eksport i import folderów w konsoli @ L.V. Expertise X3

Eksport folderu

Funkcja eksportu folderu zapewnia utworzenie katalogu SVG zawierającego dane folderu w płaskiej strukturze. Ma to na celu umożliwienia późniejszego importu folderu w innym rozwiązaniu za pomocą funkcji importu folderu.

Aby wyeksportować folder należy uruchomić konsolę konfiguracyjną SAFE X3 i kliknąć na przycisk Eksportuj na karcie Foldery rozwiązania po wybraniu folderu do wyeksportowania.

W oknie dialogowym „Wprowadzanie parametrów” należy wybrać katalog, który będzie zawierać wyodrębnione dane w płaskiej strukturze. Konsola domyślnie proponuje SVG.

Import zapisanego folderu z katalogiem danych o płaskiej strukturze SVG

Następująca metodologia opiera się o to, że folder do zaimportowania został wyeksportowany i skopiowany w strukturze folderów aplikacji. Tabele są eksportowane w płaskiej strukturze do katalogu za pomocą funkcji eksportu tabel aplikacji X3 lub funkcji eksportu w konsoli.

Kopia katalogu z folderu do zaimportowania w [ŚcieżkaSerweraAplikacji]\DOSSIERS\
Kopia katalogu X3_PUB z folderu do zaimportowania w [ŚcieżkaSerweraAplikacji]\DOSSIERS\X3_PUB\

Business Intelligence: Uwaga, jeśli importowany jest folder demonstracyjny dostarczony na DVD produktu, jeśli funkcjonalności Business Intelligence mają działać prawidłowo w folderze po zakończeniu importu konieczne jest opublikowanie rozwiązania na serwerze Business Objects przed importem folderu,

UWAGA:
Konsola może importować wyłącznie foldery przechowywane na tym samym wolumenie, co folder główny (odniesienie do ADXVOLUMES).
Konsola nie uwzględnia opcji „Rzeczywisty rozmiar w srf” dostępnej podczas eksportu folderów. Aby skorzystać z tej optymalizacji należy zaimportować folder za pomocą klienta SAFE X3.

Aby zaimportować folder należy uruchomić konsolę konfiguracyjną SAFE X3 i kliknąć na przycisk Importuj na karcie Foldery rozwiązania.

W oknie dialogowym „Importuj folder” należy wybrać folder do zaimplementowania i podkatalog, który zawiera wyeksportowane dane w płaskiej strukturze. Konsola automatycznie proponuje SVG, jeśli jest obecne.

Import folderu w bazie danych Oracle

Aby zaimportować folder w bazie danych Oracle konsola umożliwia wskazanie rozmiaru przestrzeni tabel.

Import folderu w bazie danych SQL Server

Aby zaimportować folder w bazie danych SQL Server konsola umożliwia wskazanie, czy import folderu odbędzie się w nowej grupie plików:

Używaj grupy plików (zaznaczone) – import folderu utworzy dwa pliki SQL Servera:

[NazwaBazy]_[NazwaFolderu]_DAT.ndf do przechowywania danych.
[NazwaBazy]_[NazwaFolderu]_DAT.ndf do przechowywania indeksów.

W celu poprawy wydajności zalecane jest używanie grup plików. W tej konfiguracji można wskazać początkowe rozmiary plików danych i indeksów.

Nie używaj grup plików (niezaznaczone) – import folderu odbędzie się w pierwszym pliku danych:

[NazwaBazy]_data.mdf

Parametry importu

Konsola ma możliwość uwzględnienia niektórych inicjalizacji zaimportowanego folderu. Aby tego dokonać należy dostarczyć użytkownika połączenia aplikacji. Konsola zapisze przy pomocy tego użytkownika nowy zaimportowany plik folderu, zaleca się więc uzupełnienie użytkownika ADMIN aplikacji. Użytkownik ten musi być ważny i musi móc połączyć się z głównym katalogiem rozwiązania.

Parametry „Folder referencyjny” i „Kopia folderu” pokazują poprzednie parametry folderu, który został zaimportowany oraz umożliwiają wybór tych, które mają zostać użyte podczas tworzenia rekordu folderu spośród listy folderów już istniejących w aplikacji.

Można zaimportować zarchiwizowany folder w tym samym czasie, co folder. W tym celu należy wskazać zarchiwizowany folder do zaimportowania z listy rozwijanej, jeśli nie został on wstępnie wybrany. Jeśli nie wybrano żadnego zarchiwizowanego folderu w konsekwencji zmodyfikowany zostanie rekord folderu! Utracony zostanie więc ewentualny, istniejący zarchiwizowany folder! I odwrotnie, jeśli zaznaczono pole „importuj tylko zarchiwizowany folder” to import danych odbędzie się tylko dla zarchiwizowanego folderu i umożliwia to na przykład jego import po folderze, z którym jest powiązany. Katalog SVG zarchiwizowanego folderu musi nazywać się dokładnie tak samo, jak katalog SVG folderu do zaimportowania.

Pole wyboru „nie importuj danych” umożliwia import pełnej struktury folderu i ewentualnie jego zarchiwizowanego folderu. Natomiast wszystkie tabele zaimportowanych folderów będą całkowicie puste, więc w konsekwencji nie będzie można się połączyć ani z tym folderem ani z powiązanym, zarchiwizowanym folderem. Ta opcja jest przydatna w przypadku importów folderów z dużą ilością danych, ponieważ w ten sposób można zaimportować strukturę folderu za pomocą konsoli i odtworzyć bazę danych za pomocą zoptymalizowanej metody w skrypcie końca importu uruchomionego za pomocą konsoli (zobacz init_console w akapicie „dowiedz się więcej...”).

Import folderu z innego rozwiązania

Aby zaimportować folder z innego rozwiązania należy uruchomić konsolę konfiguracyjną SAFE X3 V2 i kliknąć przycisk Zdalny import na karcie Foldery rozwiązania. Asystent przeprowadza użytkownika przez etapy konieczne do skopiowania folderu z innego rozwiązania do bieżącego rozwiązania. Dzięki temu asystentowi mona również zmigrować folder z innego rozwiązania dostępnej niższej wersji bez ręcznych etapów oraz dodatkowych aspektów technicznych.

Uwaga: aby skorzystać z funkcji zdalnego importu z rozwiązaniem zainstalowanym na serwerze typu Unix, narzędzia „tar” i „gzip” muszą być zainstalowane i dostępne w PATH.

Uwaga 2: podczas transferu folderu konsola tworzy „archiwum”, które zostanie skopiowane z rozwiązania źródłowego do rozwiązania docelowego. Domyślnie to archiwum jest skompresowane w celu optymalizacji rozmiaru raportu/poziomu transferu, ale w systemach o bardzo dużej przepustowości ta kompresja powoduje zwiększenie całkowitego czasu operacji transferu względem prostej kopii plików. Zob. akapit „poziom kompresji podczas transferów folderów” poniżej.

Etap 1 zdalnego asystenta importu

Pierwszy etap umożliwia zapoznanie się z typem źródłowego rozwiązania folderu. Można wybrać rozwiązanie typu V130 lub rozwiązanie o wyższej wersji, zarządzane przez konsolę. Rozwiązania typu V130 nie są administrowane przez konsolę i nie są dostępne do pomocy silnika administracji adxadmin. Metoda połączenia z aplikacją i wybór folderów do zmigrowania różnią się więc od rozwiązania zarządzanego przez konsolę.

Etap 2 zdalnego asystenta importu

Zawartość tego etapu zależy od typu rozwiązania, który wybrano w etapie 1.

W przypadku folderu V130 dostępnego do zmigrowania użytkownik jest proszony o podanie informacji połączenia do aplikacji. Sewer przetwarzania V130 może wykonywać niektóre operacje takie same, co silnik administracji i dlatego ekrany połączenia są identyczne. Należy podać nazwę serwera, port nasłuchu serwera przetwarzania V130 i nazwę konta połączenia systemu z hostem serwera przetwarzania V130. Konto połączenia aplikacji nie jest konieczne, ponieważ konsola nigdy nie będzie potrzebowała połączyć się z aplikacją źródłową V130.

W przypadku rozwiązania źródłowego typu administrowanego przez konsolę użytkownik jest proszony o wybranie rozwiązania z listy rozwiązań zarządzanych przez instancję konsoli. Nie można wybrać tego samego rozwiązania jako źródłowe i docelowe.

Etap 3 zdalnego asystenta importu

Ten ekran pozwala wybrać dostępny folder do zaimportowania do bieżącego rozwiązania z dostępnego rozwiązania źródłowego. Wymieniane są tylko foldery wolumenu A.

Etap 4 zdalnego asystenta importu

Ten ekran umożliwia zdecydowanie, czy zarchiwizowany folder ma zostać zaimportowany w tym samym czasie, co dostępny folder. W przypadku rozwiązania administrowanego przez Konsolę konfiguracyjną SAFE X3 V2, zarchiwizowany folder jest wykrywany automatycznie.

W przypadku źródłowego rozwiązania typu V130, należy wykryć zarchiwizowany folder. W tym celu należy uzupełnić wstępnie podane hasło administratora bazy danych, a następnie nacisnąć przycisk „Wykrywanie”. Skrypt sql jest wykonywany przez serwer przetwarzania 130 na serwerze źródłowym, co umożliwia określenie nazwy i miejsca przechowywania zarchiwizowanego folderu. W razie niepowodzenia komunikat podaje konieczne informacje dotyczące braku wykrycia.

Etap 5 zdalnego asystenta importu

Ten ekran umożliwia zdefiniowanie opcji eksportu źródłowego folderu do zmigrowania. Możliwe są dwie opcje w zależności od zgodności i żądanej wydajności.

Pierwszy tryb używa płaskiego, neutralnego formatu pliku w katalogu typu SVG, dla którego należy wskazać nazwę. Ten format oferuje mniejszą wydajność można natomiast zmigrować folder rozwiązania używając bazy SQL Servera do Oracle i odwrotnie. Ten format nie jest dostosowany do dużych rozmiarów, ale jest dostosowany do migracji ze zmianą typu bazy danych. Można zaznaczyć pole „nie eksportuj danych”, co spowoduje eksport wyłącznie struktury folderu ze wszystkimi tabelami pustymi. Dane mogą zostać zaimportowane za pomocą spersonalizowanego skryptu uruchamianego na koniec importu przez konsolę konfiguracyjną Sage | Sage X3 i używającą zoptymalizowanych narzędzi kontrahenta.

Drugi tryb używa narzędzi eksportu właściwych dla źródłowej bazy danych dla danych, jak format SVG z pustymi tabelami dla struktury folderu. Ten tryb jest dostosowany do większych rozmiarów, ale ogranicza docelową bazę danych do tej samej platformy technicznej co baza źródłowa. Eksport Oracle może zostać odczytany tylko w celu uzupełnienia bazy Oracle, a eksport SQL Servera może uzupełnić tylko bazę SQL Servera, ponieważ użyte narzędzia to „exp” dla Oracle i „bcp” dla SQL Servera. W konsekwencji bazy danych Oracle 7 i 8 nie są wspierane. Konsola nie uwzględnia narzędzi kontrahenta umożliwiających konwersję platformy technicznej bazy danych. Dla tego typu funkcjonowania zalecane platformy to Oracle 9i i 10g, jak również SQL Server 2000 i 2005. Jeśli wybrano ten tryb to eksport bazy zostanie automatycznie odtworzony w docelowej bazie danych przy użyciu tych samych opcji i narzędzi.

We wszystkich przypadkach hasło administratora bazy danych musi być uzupełnione na tym ekranie, ponieważ jest ono wymagane dla zadań takich, jak np. eksport sekwencji.

Etap 6 zdalnego asystenta importu

Ten etap zawiera takie same opcje co ekran standardowego importu zapisanego folderu. Należy zapoznać się z akapitami wyjaśniającymi dotyczącymi opcji tworzenia grup plików, rozmiarów przestrzeni tabel, folderów referencyjnych i kopiowania itd.

Dodatkowe pole umożliwia zmianę nazwy folderu podczas transferu. To pole nie jest dostępne w niektórych przypadkach, które korzystają z opcji użycia eksportu właściwego dla Oracle (użycie narzędzi exp i imp).

Etap 7 zdalnego asystenta importu

Klasyczne okno postępu informuje o postępie etapów migracji folderów. W przypadku błędów należy zapoznać się z logami, aby określić przyczyny niepowodzenia. Foldery są wyodrębniane jako skompresowane archiwum, które jest przekazywane do serwera docelowego. Tam archiwum odtwarza foldery na wolumenie. Następnie uruchamiany jest standardowy import folderu z opcjami zdefiniowanymi w asystencie.

Migracja folderu poprzedniej wersji lub niższego poziomu łatki

Po zakończeniu importu folderu w konsoli należy:

obowiązkowo ponownie zatwierdzić zaimportowany folder z poziomu głównego folderu rozwiązania oraz
zapisać rekord folderu w funkcji Folder oraz go zatwierdzić (zob. metoda migracji).

Po zakończeniu tych operacji folder zostanie zmigrowany do ostatniej dostępnej wersji i będzie możliwe połączenie się z nim.

SEEWARNING Nie należy importować folderu wyższej wersji lub wyższego poziomu łatki niż główny folder rozwiązania.

Wykonanie spersonalizowanego skryptu na końcu importu folderu

Na koniec importu można automatycznie wykonać skrypt użytkownika. Ten skrypt umożliwia np. integrację danych w bazie za pomocą spersonalizowanych i zoptymalizowanych poleceń po imporcie struktury folderu w normalnym procesie za pomocą konsoli konfiguracyjnej, ale z pustymi tabelami. Użycie takiego skryptu użytkownika jest w szczególności zalecane w przypadkach kopiowania folderu, którego rozmiar danych podstawowych jest duży tak, aby skorzystać z jak najlepszej wydajności korzystając ze zoptymalizowanych narzędzi docelowej architektury.

We wszystkich przypadkach importu zdalnego lub nie, konsola wykrywa obecność pliku init_console[.cmd|.sh] w katalogu folderu do zaimportowania i wykonuje ten plik polecenia, jeśli jest obecny. Rozszerzenie .cmd lub .sh jest określane w zależności od platformy, na której folder jest importowany. Konsola wykrywa kody błędów danych zwrotnych i standardowych danych wyjściowych strerr. W przypadku wykrycia błędu ostrzeżenie jest wysyłane podczas etapów importu i w logu importu wyświetlają się standardowe dane wyjściowe strerr i strout.

Poniżej znajduje się przykład spersonalizowanego skryptu Unix/Oracle przydatnego w przypadku importu zdalnego lub migracji folderu, ponieważ umożliwia on kopiowanie danych z bazy danych do innej bazy danych za pomocą linku sieci, używa więc on przepustowości narzędzi datapump Oracle do zarządzania danymi.

Ten skrypt jest przykładem umożliwiającym wyjaśnienie mechanizmu spersonalizowanego skryptu na końcu importu i nie stanowi referencji. Każdy skrypt musi zostać wdrożony zgodnie z architekturą i potrzebami docelowymi.

#!/bin/bash

ORACLE_HOME=/opt/oracle/product/11.2.0.1
ORACLE_SID=ORCL

NEWFOLDER=NEWFOLDER
OLDFOLER=OLDFOLDER

export ORACLE_HOME ORACLE_SID NEWFOLDER OLDFOLDER

###############################################
# Drop all folder sequences and truncate tables
$ORACLE_HOME/bin/sqlplus -L NEWFOLDER/tiger << EOF

set serveroutput on

BEGIN
FOR s IN (SELECT SEQUENCE_NAME FROM USER_SEQUENCES WHERE SEQUENCE_NAME LIKE 'SEQ_%') LOOP
dbms_output.put_line ('Processing table ' || SUBSTR(s.SEQUENCE_NAME,5));
EXECUTE IMMEDIATE ' DROP SEQUENCE ' || s.SEQUENCE_NAME ;
EXECUTE IMMEDIATE ' TRUNCATE TABLE ' || SUBSTR(s.SEQUENCE_NAME,5);
END LOOP;
END;
/

EOF

###############################################
# import data with datapump and dblink
$ORACLE_HOME/bin/impdp system/manager DIRECTORY=dmpdir SCHEMAS=$OLDFOLDER NETWORK_LINK=OLDDB REMAP_SCHEMA=$OLDFOLDER:$NEWFOLDER INCLUDE=TABLE_DATA,SEQUENCE TABLE_EXISTS_ACTION=REPLACE

W tym przykładzie skryptu Unix uwzględnia się użycie opcji „tylko import struktury tabel”. Wynika to z tego, że pierwsza część skryptu polega na „przygotowaniu” folderu poprzez usunięcie wszystkich sekwencji, które są zainicjalizowane przy użyciu wartości minimalnej, a nie rzeczywistej wartości wynikającej z poprzedniej opcji. Następnie, uwzględniwszy przypadek, gdzie skrypt zostanie dodany wielokrotnie, wszystkie tabele są czyszczone przed rzeczywistym importem danych.

W końcu w ostatniej części skryptu datapump Oracle jest używany za pomocą linku sieci w celu bezpośredniego skopiowania danych i sekwencji z bazy danych. Nie ma konieczności kopiowania innych danych, ponieważ konsola konfiguracyjna już utworzyła całą strukturę folderu, obiekty i uprawnienia.

Dowiedz się więcej...

Jeśli napotkano na błąd typu „Użytkownik SYS nie może połączyć się z bazą danych: SP2-0640: Nie połączono.”

Aby rozwiązać najczęstsze problemy podczas konfiguracji baz danych należy zapoznać się z sekcją „Uwagi” klikając tutaj.

Jeśli napotkano błąd typu „cmd538647161.sh: line 3: gzip: nie znaleziono polecenia” podczas użycia funkcji importu zdalnego

Wystąpiła próba przekazania folderu z lub do rozwiązania zainstalowanego na serwerze Unix, ale narzędzia „tar” i „gzip” nie są zainstalowane lub nie są dostępne w PATH.

Po zaimportowaniu folderu za pomocą konsoli folder nie wyświetla się na karcie Foldery rozwiązania.

Jeśli konsola nie może ukończyć tworzenia folderu należy zapoznać się z logiem, aby określić przyczynę przerwania tworzenia rekordu folderu. Aby zaimportowany folder wyświetlał się na liście folderów rozwiązania należy albo zapisać rekord folderu zaimportowanego z poziomu folderu matki w przypadku duplikowania folderu, albo ponownie zatwierdzić zaimportowany folder z poziomu folderu matki w przypadku migracji folderu poprzedniej wersji.

Uwaga na import bardzo dużych folderów za pomocą konsoli (ponad 2 godziny valfil).

Jeśli konsola uruchamia operację na serwerze oczekuje ona na odpowiedź z maksymalnym limitem czasu oczekiwania (domyślnie 720 000 milisekund, czyli 2 godziny). Limit czasu oczekiwania może zostać zwiększony w preferencjach konsoli. Karta Rozwiązanie, pole config.solution.comm.timeout.long.
Tę wartość należy zwiększyć jeśli 2-godzinny limit czasu oczekiwania jest niewystarczający i blokuje import folderu. Pole musi zostać uzupełnione w milisekundach. Jeśli pole nie jest już obecne na liście można je dodać do listy wartości.

Błąd „AINSTCONS – proces nie istnieje w archiwum”.

Po zakończeniu importu konsola łączy się z aplikacją za pomocą katalogu głównego w celu zainstalowania nowo zaimportowanego folderu. Po połączeniu konsola uruchamia funkcję INIT_CONSOLE procesu AINSTCONS. Jeśli wyświetla się komunikat „AINSTCONS – proces nie istnieje w archiwum” należy zaktualizować aplikację poprzez wgranie dostępnych łatek i ponowne uruchomienie importu.

Poziom kompresji podczas transferów folderów.

Podczas transferu folderu konsola tworzy „archiwum”, które zostanie skopiowane z rozwiązania źródłowego do rozwiązania docelowego. Domyślnie to archiwum jest skompresowane w celu optymalizacji rozmiaru raportu/poziomu transferu, ale w systemach o bardzo dużej przepustowości ta kompresja powoduje zwiększenie całkowitego czasu operacji transferu względem prostej kopii plików.

Kontrola mechanizmu kompresji jest możliwa w Konsoli konfiguracyjnej Safe X3 w celu ulepszenia czasu transferu folderu w przypadku, gdy serwery są połączone przez system o bardzo dużej przepustowości.

Parametr „config.solution.configuration.nocompression” musi być dodany w preferencjach Konsoli konfiguracyjnej Safe X3 na karcie „Rozwiązanie”. Jeśli wartość jest ustawiona jako „prawda” to:

- w systemie Windows narzędzie kompresji 7Zip otrzyma opcję -mx0 (store only)

- w systemie Unix narzędzie kompresji gzip zostanie użyte na poziomie kompresji -1 (minimalna kompresja)

Jeśli konieczna jest raczej kontrola poziomu kompresji niż użycie opcji „nocompression”, należy wtedy dodać parametr „config.solution.configuration.compressionlevel” z wartością zawartą w zbiorze {"1", "3", "5", "7", "9"}, a wszystkie inne wartości są ignorowane.

Jeśli opcja „nocompression” jest ustawiona jako „prawda”, to wszystkie wartości compressionlevel są ignorowane.

W końcu, jeśli opcja „nocompression” nie jest ustawiona lub nie ma wartości „prawda”, a opcja „compressionlevel” także nie jest ustawiona dla dozwolonej wartości, to maksymalny poziom kompresji jest używany dla narzędzi 7Zip i gzip w zależności od platformy. Jest to domyślne zachowanie podczas transferu folderów w Konsoli konfiguracyjnej Safe X3.