Penelitian terbaru dari peneliti Apple mengungkapkan bahwa Model Bahasa Besar (LLMs) mungkin tidak secerdas yang dipikirkan banyak orang. Menurut studi ini, kecerdasan yang diperlihatkan oleh LLMs lebih cenderung merupakan pencocokan pola yang canggih daripada penalaran logis sejati.
Untuk menguji hipotesis ini, para peneliti menambahkan frasa tambahan yang tidak perlu pada masalah matematika. Hal ini bertujuan untuk melihat bagaimana model-model tersebut bereaksi. Sebagai contoh, mereka memberikan masalah berikut:
"Oliver mengambil 44 kiwi pada hari Jumat. Kemudian dia mengambil 58 kiwi pada hari Sabtu. Pada hari Minggu, dia mengambil dua kali lipat jumlah kiwi yang dia ambil pada hari Jumat, tetapi lima di antaranya lebih kecil dari rata-rata. Berapa banyak kiwi yang dimiliki Oliver?"
Hasilnya menunjukkan penurunan kinerja yang signifikan di seluruh model yang diuji. Model OpenAI's o1 Preview menunjukkan penurunan akurasi sebesar 17,5 persen. Meskipun masih tergolong buruk, itu tidak seburuk model Phi 3 milik Microsoft yang mengalami penurunan sebesar 65 persen.
Dalam contoh kiwi tersebut, studi menemukan bahwa LLMs cenderung mengabaikan lima kiwi yang lebih kecil tanpa memahami bahwa ukuran kiwi itu tidak relevan dengan masalah yang diberikan. Hal ini menunjukkan bahwa model-model ini lebih cenderung mengubah pernyataan menjadi operasi tanpa benar-benar memahami maknanya. Ini mendukung hipotesis bahwa LLMs mencari pola dalam masalah penalaran, alih-alih memahami konsep itu sendiri.
Penting untuk dicatat bahwa para penulis studi ini bekerja untuk Apple, yang merupakan pesaing besar bagi Google, Meta, dan bahkan OpenAI. Meskipun Apple dan OpenAI memiliki kemitraan, Apple juga sedang mengembangkan model AI-nya sendiri.
Model Bahasa Besar penelitian Apple kecerdasan pola