Sintētisko datu izmantošana attēlu aprakstu ģenerēšanai ar dziļajiem neironu tīkliem

Abstract

Attēlu aprakstu ģenerēšana ar mākslīgā intelekta metodēm ir strauji augošs pētniecības lauks, kas ir saistīts gan ar datorredzi, gan ar dabiskās valodas apstrādi. Labākie rezultāti tajā pašlaik tiek sasniegti, izmantojot dziļos neironu tīklus, taču tiem piemīt arī būtisks trūkums, proti, vajadzība pēc liela apmācības datu apjoma. Viens no iespējamiem risinājumiem ir sintētisko datu izmantošana – vai nu dabisko datu vietā, vai nu papildinot dabisko datu kopu ar tiem līdzīgiem sintētiskiem attēliem. Šī bakalaura darba mērķis ir izpētīt iespējas uzlabot attēlu aprakstu ģenerēšanas kvalitāti ar neironu tīkliem, izmantojot sintētiskos datus, kas tiks ģenerēti ar pašlaik ļoti populāriem tekstu par attēliem (angl. “text-to-image”) pārveidojošiem dziļajiem neironu tīkliem.

Image description generation using artificial intelligence methods is a fast-growing field of research, which is related both to Computer Vision and Natural Language Processing. The best results in it are currently achieved using Deep Neural Networks, yet they also have a significant disadvantage, namely, the need for the large amount of the training data. One of the possible solutions is the use of synthetic data: either instead of the real-world data or by augmenting the real-world datasets with the similar synthetic data The goal of this bachelor is to explore the opportunities for improving image description generation quality with neural networks using synthetic data that will be generated using currently very popular text-to-image deep neural network models.