Transformeru neironu tīklu un fizikā balstītu transformeru interpretējamības salīdzinājums fizikas problēmu risināšanā

Abstract

Darbā salīdzināta parasto un fizikā balstīto transformeru interpretējamība fizikas problēmu risināšanā. Tika trenēti transformeri vienkārša harmoniskā oscilatora un 1D difūzijas vienādojuma risināšanai. Pēc trenēšanas to slēptajos stāvokļos tika meklēti fizikāli starplielumi. Rezultāti rāda, ka fizikā balstītie transformeri dažos gadījumos ir vieglāk interpretējami.This thesis compares the interpretability of standard and physics-informed transformers in solving physics problems. Transformers were trained on simple harmonic oscillator and 1D diffusion tasks. After training their hidden states were probed for physical intermediate quantities. Results show that physics-informed models are more interpretable in certain cases.