Lielo datu apstrādes problēmas un to risinājumi

Abstract

Pateicoties straujajai tehnoloģiju attīstībai un to lietotāju skaitu pieaugšanai, datu apjoms datoros nepārtraukti pieaug un kopā ar to arī datu apstrādes problēmas., piemēram, sociālajos portālos, fizikas simulācijās un bioinformātikā. Darba mērķis ir uzzināt vairāk par lielo datu apstrādes problēmu un to sastāvdaļām, kā arī apskatīt vairākus eksistējošus risinājumus, ar kuriem iespējams apstrādāt lielos datus un piedāvāt iespējamus risinājumus lielo datu apstrādei. Darba rezultātā tika apskatītas lielo datu apstrādes problēmas, kā arī vairāki risinājumi, ar kuriem iespējams apstrādāt lielos datus. Papildus tika praktiski apskatīts Hadoop risinājuma uzstādīšanas un pielietošanas process, kā arī piedāvāti divu veidu risinājumi, kuros iespējams izmantot datora grafisko procesoru, lai paātrinātu lielo datu apstrādi.

Thanks to the rapid evolution of technology and the growing user base, the amount of data in computer systems is steadily increasing and with that the amount of problems of processing this data, like for example, in social portals, physics simulations and bioinformatics. The goal of this paper is to find out more about the big data processing problems and its components as well as examining existing big data processing solutions and to propose other ways to process big data. As a result of this paper several problems of processing big data were examined as well as existing solutions for those processing problems. Additionally the process of installing and using the Hadoop solution was examined and two possible solutions were proposed which utilize the computer GPU to speed off the big data processing.