LLMs (Large Language Models) aslida fikrlash qobiliyatiga egami?

Birinchi nigohda go'yo LLMs (masalan GPT mahsulotlari) shunchaki internetdagi matnlarni "yodlab olib", savol berilganda shu yodlangan so'z va gaplardan mosini topib beradigandek. Shu tufayli ham bunday modellarga "Stochastic parrot" (tasodifiy to'tiqush) sifatida qarash keng tarqaldi. Chindan ham GPT qanday ishlashini tushuntirishga harakat qiladigan manbalarni ko'rib chiqish shunday tushunchani keltirib chiqarish ehtimoli katta - "N ta so'zni o'qiyman, keyingi so'zni ombordan topib beraman". Sodda statistik modellashtirganda ham shu jarayondan foydalanish mumkin. Ammo, inson intellekti ham to'liq gapni birdaniga tuza olmaydi, so'zlarni qandaydir ketma ketlik bilan hosil qiladi.

"Keyingi so'zni topib berish va fikrlash yer bilan osmonchalikku", - deyishingiz mumkin.

"Fikrlash" tushunchasiga qanday ta'rif berishga bog'liq.

Quyida LLMs ga oid ba'zi qiziqarli ilmiy asoslangan yoki tekshirilgan faktlarni keltiraman:

1. LMlar so'zlarni o'zida vector ko'rinishda tasvirlaydi (e.g. word2vec). Raqamlar orqali so'zlar to'plamidagi ma'noni aks ettirishiga ishonish qiyin, ammo namunaviy ilmiy tajribalar ko'rsatadiki, qaysidir "o'rganilgan" qism fazoning qaysidir yo'nalishi, misol uchun, jinsni ifodalaydi. Masalan, word2vec("king") - word2vec("queen") va word2vec("male") - word2vec("female") ayirmalar bir biriga o'xshash. Bu tasodif emas, bunday mosliklar stabil tarzda kuzatiladi.

2. Shunga o'xshash, "haqiqat" tushunchasi ham o'rganilgan fazoning qaysidir yo'nalishi, aytaylik A, bilan qoniqarli ifodalanishi kuzatiladi. Ya'ni "to'g'ri" va "noto'g'ri" tushunchalarini bir biridan (oddiygina chiziqli classifier bilan!) qoniqarli tarzda ajrata olish ko'nikmasi borligi ko'rildi.

3. Umuman, tushirib qoldirilgan so'zni gap ma'nosini buzib yubormay topish uchun ongimizdan aynan nima talab etiladi? Gap mazmunini tushunish talab etilmaydimi?

Sanab o'tilganlar oddiy observation'lar bo'lishi mumkin, ammo "tasodifiy to'tiqush" masalan shunday xususiyatlarni o'zida namoyish eta olarmidi? Sarlavhadagi savol aslida munozarali savol. AI'ning hozirgacha erishgan muvofaqqiyati siri aynan nimada ekanligi yetarlicha tushunilmaganligi "Ha" deyish uchun ham "Yo'q" deyish uchun ham to'sqinlik qiladi.