ETL procesu implementācija, problēmas un risinājumi

Abstract

ETL procesu izmantošana paliek ar vien populārāka, un to rīku daudzums un dažādība arī palielinās un katram no tiem ir savi plusi un mīnusi, un katrs rīks ir piemērots atšķirīgai nozarei vai ETL procesa veidam. Šajā darbā tiek pētīti trīs ETL rīki Pentaho, Talend, CloverDX un to problēmas, datu transformāciju implementācijas, un risinājuma izvēle. Lai veiktu precīzākus mērījumus un labāk izprastu kā katrs rīks strādā, tika izveidoti trīs plāni pēc kuriem vadīties, pirmajā plānā transformācijai jāsastāv tikai no soļiem, otrajā plānā transformācijai jāsastāv no vaicājuma, trešajā plānā transformācija jāveido uz pieredzē balstītas optimizācijas, ko nepieciešams izpildīt katrā rīkā, lai saprastu kurš plāns kurā rīkā izpildās ātrāk, kurā rīkā veidojot transformācijas ir vismazāk problēmu, kāds plāns vislabāk ir pārredzams. Eksperimentējot tika noskaidrots, ka katram plānam un katram rīkam ir savi plusi un mīnusi, ka visātrāk visu trīs transformāciju plānus izpildīja Pentaho rīks, kā arī tika noskaidrots, ka neviesos rīkos ir pieejami vienādi soļi, un soļu skaits dažādos rīkos var atšķirties.

The use of ETL processes remains more popular and the number and variety of tools also increases and each has its own benefits and risks, and each tool is suitable for a different industry or type of ETL process. This work explores three ETL tools for Pentaho, Talend, CloverDX and their problems, data transformation implementations, and choice of solution. To perform more accurate measurements and better understand how each tool works, three plans were created to guide, the first plan for transformation must consist only of steps, the second plan for transformation must consist of a query, the third plan must consist of an experience-based optimization that needs to be executed in each tool to understand which plan in which tool is performed more quickly, in which tool when transformations are the least problems, what plan is most transparent. Experimenting showed that each plan and each tool had its own benefits and minuses, that the Pentaho tool performed the three transformation plans at the earliest, and it was found that there were similar steps available in the non-guest tools, and the number of steps in the various tools could vary.