Ugunsdzēšamo aparātu klasifikācijas iegūšana no attēliem ar dziļo mašīnmācību

Abstract

Mūsdienās būvniecības informācijas modelēšana ir kļuvusi par neatņemamu rīku visos ar būvniecību saistītajos procesos. Tā ļauj izveidot augstas precizitātes būves modeli kuru var izmantot ēku pārvaldīšanai sākot no celtniecības stadijas. Būvniecības informācijas modeļi paātrina procesus saistītus ar ēkas pārvaldīšanu un dod iespēju automatizēt to. Šie modeļi pārsvarā tiek izstrādāti būvniecības sākuma procesā un ēkas kuras būvniecības sākuma stadijā nebija modelētas negūst ieguvumus ko piedāvā digitālie modeļi. Pēdējajos gados pētnieki ir mēģinājuši izstrādāt vairākus veidus kā izveidot būvniecības informācijas modeļus un viens no tiem ir izmantojot mašīnmācīšanos. Šī darba mērķis ir sniegt ieguldījumu šajā jomā izstrādājot jaunu metodi ugunsdzēšamo aparātu dzēšanas klases noteikšanai no attēliem, ko var integrēt būvniecības informācijas modelēšanas procesā. Šajā pētījumā ir izklāstīta daudzpakāpju pieeja, kas apvieno objektu atpazīšanas, sejas orientieru noteikšanas un optiskās rakstzīmju atpazīšanas metodes, lai precīzi identificētu, atrastu un iegūtu tekstu no attēliem, kuros ir ugunsdzēšamie aparāti. Pētījuma laikā tika apkopota datu kopa ar 283 augstas izšķirtspējas ugunsdzēšamo aparātu attēliem no dažādām sabiedriskām vietām Rīgā. Pēc tam attēli tika anotēti un apstrādāti, lai izveidotu piemērotu datu kopu mašīnmācīšanās modeļu apmācībai. Šis darbs ietver YOLOv5 modeļa apmācīšanu, lai atrast interešu reģionu, kas satur ugunsdzēšamo aparātu klasifikāciju, kam seko dlib orientieru noteikšanas modeļa apmācīšana, lai atpazītu marķējuma izliektās robežas. Kad šie reģioni ir identificēti un izdalīti, tikka izmantotas attēla transformācijas metodes, lai iztaisnotu bildi ar klasifikācijas tekstu, tā uzlabojot tā lasāmību optiskās rakstzīmju atpazīšanas vajadzībām. Tikka izmantota Pytesseract bibliotēka, lai no pārveidotajiem attēliem iegūtu attiecīgo klasifikācijas informāciju. Darba rezultāti liecina, ka izveidotā pieeja sniedz daudzsološus rezultātus, precīzi identificējot un iegūstot ugunsdzēšamo aparātu klasifikācijas informāciju no attēliem. Šai pieejai ir potenciāls uzlabot ugunsdrošības pārbaužu efektivitāti un precizitāti, kā arī BIM izveides procesu, īpaši lielās un sarežģītās ēkās. Kā arī uzlabot procesus saaistītus ar būvniecības informācijas modelēšanu no attēliem, jo pieeja var tikt pielietota rakstzīmju noteikšanai arī no citiem objektiem. Tomēr, novērtējot pētījuma rezultātus, jāņem vērā pētījuma ierobežojumus kuri var atšķirties no pieejas pielietošanas praksē. Darba nākotnē būtu jākoncentrējas uz pieejas testēšanu reālajos apstākļos, jāpaplašina datu kopa, iekļaujot tajā dažādu valstu ugunsdzēšamos aparātus, un jāizpēta tās pielietojamība citām drošības iekārtām. Pētījuma laikā izveidotā pieeja veic ieguldījumu automatizētā būvniecības informācijas modeļu izveidē no attēliem un apraksta pieeju kuru var izmantot optiskā rakstzīmju atpazīšanai no dažādu objektu attēliem būvniecības vidē. Atslēgvārdi: mašīnmācīšanās, datorredze, objektu atpazīšana, optiskā rakstzīmju atpazīšana, būvniecības informācijas modelēšana, ugunsdrošība

This thesis aims to contribute to the field of Scan to Building Information Modeling by developing a method for automatically extracting fire extinguisher classification information from images. Scan to BIM is a modern approach that generates accurate and detailed representations of buildings, which includes vital fire safety equipment information. Automating the extraction of fire extinguisher classification information can enhance the efficiency and accuracy of building inspections and emergency response planning. The research focuses on the principles of computer vision and deep learning by exploring their potential applications in extracting fire extinguisher classification information from images. High-resolution images of fire extinguishers were collected in Riga, Latvia, and used to develop and test the proposed approach. The research method consists of the following steps: data collection, preprocessing, and annotation of images; machine learning model selection and solution design; and evaluation of the method's performance. In this research YOLOv5 was utilized for region recognition, dlib library for landmark detection, image transformation techniques for improving text readability, and optical character recognition to extract text from the images. The results demonstrate the potential of the proposed method in accurately identifying and extracting fire extinguisher classification information from images. This contributes to the creation of comprehensive and reliable Scan to BIM models, leading to improvements in fire safety inspection procedure. Despite the study's limitations, such as the use of a limited dataset and potential challenges in real-world applications, the findings suggest a promising direction for future research and improvements in automating text extraction within the Scan to BIM Roberts Rigačovs 2 domain. Furthermore, the proposed approach demonstrates a general framework for text extraction from images with multiple objects. Keywords: machine learning, computer vision, object recognition, optical character recognition, building information modeling, fire safety