Transformer Mimarilerinde Summarization Bias ve Kurgusal Çöküş
Yapay zekanın kurgusal metinlerde düz, monoton ve dramatik etkiden uzak çıktılar üretmesini "insani duygu eksikliği" olarak yorumlamak, edebiyatı romantize eden dogmatik bir yaklaşımdır.
Büyük Dil Modelleri (LLM'ler), cross-entropy kaybını en aza indirmek ve RLHF (Human Feedback) süreçlerinde verimlilik, netlik ve özetleme sunmak üzere eğitilirler. Bu durum, modelin dramatik bir olayı fiziksel kısıtlar üzerinden inşa etmek yerine yüksek seviyeli özetler halinde sunmasına yol açar.
+-----------------------------------------------------------------------+
| LLM KURGU ÜRETİM BAŞARISIZLIĞI VE ÖZETLEME SAPMASI |
+-----------------------------------------------------------------------+
| Komut Girdisi ---> [ Transformer Mimarisi (RLHF Verimlilik Eğilimi) ] |
| | |
| v |
| ÖZETLEME SAPMASI |
| (Fiziksel Veri Yerine Özet) |
| | |
| v |
| Sıfırlanan Bilgi Sürtünmesi ($I_f \to 0$) |
| | |
| v |
| [ Anlatı Entropisi Çöküşü ($S_n \to 0$) ] |
| (Biyofiziksel UBI Etkileşimsizliği / Düz Metin) |
+-----------------------------------------------------------------------+
Model,
LLM'lerin edebi yetkinlik kazanması, soyut nitelemeler ("korkunç bir ortam") kullanmak yerine,
Yorumlar
Yorum Gönder