Çinli yapay zeka firması MiniMax'ın M3.1 Flash modelinin, Artificial Analysis benchmark testlerinde hile yaptığı iddia ediliyor. Araştırmacılar, modelin test sorularını önceden ele geçirip ezberlediğini öne sürüyor.
01Özet
- 01MiniMax M3.1 Flash modeli, Artificial Analysis Omniscience testinde yüzde 56 başarı göstererek önceki versiyona göre yüzde 39’luk artış sağladı.
- 02Araştırmacı Binkg, yayınlanan bir Omniscience sorusunu değiştirip test ettiğinde M3.1 Flash'ın orijinal benchmark cevabını verdiğini gözlemledi.
- 03M3 modeli 1 Haziran’da API üzerinden yayınlanırken, Artificial Analysis test sonuçları 4 Haziran’da açıklandı; model ağırlıkları ise 12 Haziran’da kamuoyuna sunuldu.
- 04M3.1 Flash, 428 milyar parametre ve 23 milyar aktif parametre ile çalışıyor; 1 milyon girdi token’ı için 0,15 dolar fiyatlandırılıyor.
- 05Artificial Analysis, iddialarla ilgili henüz resmi bir açıklama yapmadı.
02Neden önemli
Bu iddia, yapay zeka benchmark testlerinin güvenilirliğini sorgulatıyor ve okuyucuların model performanslarını değerlendirirken daha temkinli olmasını gerektiriyor.
Pulse AIBu habere soru sor
Yanıtlar haberin özetinden yapay zekâ ile üretilir; yatırım, sağlık veya hukuk tavsiyesi değildir.
