MoE modellarda ekspertlarni kamaytirishning salbiy ta'siri
Tadqiqot MoE modellarda so‘rov tokenlarini kamroq ekspertlar orqali o‘tkazishning ta'sirini o‘rgandi. Natijada, ekspertlar sonini yarmiga kamaytirish qisqa javob berishda F1 yo‘qotishiga olib kelishi aniqlandi.