Uz redzi balstīta gatavu dārzeņu noteikšana un satveršana ar robotizētu satvērēju

Abstract

Šajā rakstā aprakstīta integrēta pieeja automatizētai tomātu noteikšanai un novākšanai, izmantojot datorredzes un robotizētas satveršanas metodes. Pētījuma mērķis bija izstrādāt un eksperimentāli pārbaudīt sistēmu, kas spēj reāllaikā noteikt tomātu augļus uz augiem, noteikt to trīsdimensiju koordinātas un veikt saudzīgu novākšanu, nebojājot miziņu. Teorētiskajā daļā analizēti jaunākie objektu segmentēšanas un noteikšanas algoritmi, tostarp YOLOv8 metode un konvolūcijas neironu tīkli, kā arī uz centroidu balstītas izsekošanas un atslēgas punktu aprēķināšanas pieejas, izmantojot attāluma transformācijas metodi. Aprakstīti dažādu veidu satvērēju dizaini un prasības to materiāliem un izpildmehānismiem, lai apstrādātu maigus augļus. Praktiskajā daļā tika izstrādātā programmatūra, kura pamatā ir Intel RealSense RGB-D kamera un robotizēts satvērējs. Programmā integrēti attēla pirmapstrādes, dārzeņu noteikšanas, sekošanas un satvērēja vadības komandu ģenerēšanas moduļi. Eksperimentālajā daļā 15 testos tika fiksētas punktu Ot un Sc koordinātas un salīdzinātas ar iepriekš noteiktām etalonvērtībām. Rezultāti rāda, ka Y un Z koordinātes abiem punktiem (Ot un Sc) pārsvarā bija ļoti tuvu ideālajām vērtībām — piemēram, Ot_y = 0.068 m un Ot_z = 0.768 m tika fiksēti ar vislielāko biežumu. Sc_y = –0.032 m un Sc_z = 0.565 m arī atkārtojās visbiežāk, apliecinot augstu precizitāti šajās dimensijās. Savukārt X koordinātēs tika novērotas sistemātiskas novirzes: piemēram, Sc_x mērījumi koncentrējās ap 0.049–0.051 m, kas ievērojami atšķiras no ideālās 0.115 m vērtības. Tas liecina par iespējamām kļūdām koordinātu aprēķinos vai dziļuma datu uztverē šajā plaknē. Secinājumos norādīts, ka piedāvātā sistēma ar augstu precizitāti nosaka telpiskās koordinātas vismaz divās no trim asīm, tomēr tās praktiska ieviešana prasa tālāku uzlabojumu, īpaši dziļuma interpretācijā un pilnas simulācijas nodrošināšanā.

Vision-based detection and gripping of ripe vegetables with a robotic gripper This paper describes an integrated approach for automated detection and harvesting of tomatoes using machine vision and robotic gripping techniques. The aim of the study was to develop and experimentally test a system capable of real-time detection of tomato fruits on plants, determination of their three-dimensional coordinates and gentle harvesting without damaging the skin. The theoretical part analyses state-of-the-art object segmentation and detection algorithms, including the YOLOv8 method and convolutional neural networks, as well as centroid-based tracking and key-point estimation approaches using the distance transform method. Designs of different types of grippers and their material and actuator requirements for handling delicate fruits are described. In the practical part, software based on an Intel RealSense RGB-D camera and a robotic gripper was developed. The software integrates modules for image pre-processing, vegetable detection, tracking and gripper control command generation. In the experimental part, the coordinates of points Ot and Sc were recorded in 15 tests and compared with previously defined reference values. The results show that the Y and Z coordinates for both points (Ot and Sc) were generally very close to the ideal values — for example, Ot_y = 0.068 m and Ot_z = 0.768 m were observed most frequently. Similarly, Sc_y = –0.032 m and Sc_z = 0.565 m also occurred most often, indicating high accuracy in these dimensions.However, systematic deviations were observed in the X coordinates: for instance, Sc_x measurements were concentrated around 0.049–0.051 m, which significantly differs from the ideal value of 0.115 m. This suggests potential errors in coordinate calculations or inaccuracies in depth data perception in this plane. The conclusions indicate that the proposed system determines spatial coordinates with high precision in at least two out of three axes; however, its practical implementation requires further improvements, especially in depth interpretation and full simulation integration.