Ziel ist die Entwicklung und Validierung einer wissenschaftlich fundierten Metrik zur objektivierten Bewertung großer Sprachmodelle (LLMs) hinsichtlich mathematischer Kompetenz. Im Zentrum stehen dabei folgende forschungsleitende Fragestellungen:

• Wie lässt sich die semantische und fachliche Korrektheit KI-generierter Annotationen systematisch bewerten?
• Welche Kriterien und linguistischen Merkmale sind geeignet, die mathematische Sprachkompetenz eines LLMs messbar zu machen?
• Wie kann die inhärente Mehrdeutigkeit und Vagheit natürlicher Sprache bei der Entwicklung objektiver Metriken berücksichtigt werden?
  

• Prof. Dr. Lucy Weggler (Projektleitung)

• Dr. Christian Krumnow (Projektmitarbeiter_in)
• Benjamin Voigt (Projektmitarbeiter_in)
• Daniil Aragon (Studentische Hilfskraft)