Rasmotāja izstrāde Latvijas Atvērto datu portāla analīzei

Abstract

Rasmošana ir veids kā ātri iegūt nepieciešamo informāciju no tīmekļu vietnēm. Darba mērķis ir izstrādāt rasmotāju Latvijas Atvērto datu portālam. Darbā tiek apskatīts rasmošanas princips un tās vēsture. Tiek izpētīta rasmotāju darbība un veikts trīs brīvi pieejamu rasmotāju pārskats un analīze. Analīzes rezultāti kalpo par izstrādājamā rasmotāja specifikāciju, kā arī rasmošanas rezultātā iegūtie faili tiek salīdzināti ar izstrādāto rasmotāju. Pirms rasmotāja izstrādes darbā tiek arī apskatīts “atvērto datu” jēdziens un vēsture. Tā kā izstrādātais rasmotājs tiks testēts Latvijas Atvērto datu portālā, tas tiek īsi analizēts. Darba mērķis ir sasniegts un rasmotājs ir izstrādāts, iegūstot CSV failu ar Latvijas Atvērto datu portālu aprakstošo informāciju. Izstrādātais rasmotājs ir publiski pieejams GitHub repozitorijā.

Web scraping is a way to quickly obtain the necessary information from websites. The goal of the thesis is to develop a web scraper for the Latvian Open Data portal. The principle of web scraping and its history is looked at in thesis. Operations of web scraper are analysed and an overview of three freely available web scrapers is carried out, the results of which are compared with the developed web scraper. Before the development of web scraper thesis explores the concept and history of the “open data” term. As the developed web scraper will be tested on the Latvian Open Data Portal, it is briefly analysed. The goal has been reached and the web scraper has been developed - CSV file is obtained with the necessary information. The developed web scraper is publicly available in the GitHub repository.