از زمان انتشار ChatGPT در اواخر سال ۲۰۲۲، میلیونها نفر استفاده از مدلهای زبانی بزرگ را برای دسترسی به دانش آغاز کردهاند. و دلیل محبوبیت آنها هم روشن است: یک سؤال میپرسید، یک جمعبندی شستهورفته تحویل میگیرید و ادامه میدهید—احساس میشود که یادگیری بدون زحمت است.
به گزارش انتخاب و به نقل از .sciencealert؛ اما مقالهی جدیدی که من همراه با همکارم نوشتهام، شواهد تجربی نشان میدهد که این سهولت ممکن است هزینهای داشته باشد: وقتی افراد برای دریافت خلاصهی اطلاعات درباره یک موضوع به مدلهای زبانی بزرگ متکی میشوند، در مقایسه با یادگیری از طریق جستجوی معمولی گوگل، دانش سطحیتری درباره آن موضوع پیدا میکنند.
من و «جین هو یون»، هر دو استاد بازاریابی، این یافته را در مقالهای مبتنی بر هفت مطالعه با بیش از ۱۰ هزار شرکتکننده گزارش کردهایم.
بیشتر این مطالعات یک الگوی یکسان داشت: از شرکتکنندگان خواسته میشد درباره موضوعی—مثلاً اینکه چگونه یک باغچهی سبزیجات پرورش دهند—مطالعه کنند و بهطور تصادفی به یکی از دو روش هدایت میشدند:
یا با استفاده از یک مدل زبانی مثل ChatGPT،
یا «به روش قدیمی»، یعنی جستجو با گوگل و مرور لینکها.
هیچ محدودیتی در نحوه استفاده از ابزارها وجود نداشت؛ آنها میتوانستند هرقدر میخواهند در گوگل جستجو کنند یا اگر لازم میدانستند از ChatGPT سؤالهای بیشتری بپرسند.
پس از پایان تحقیق، از آنها خواسته شد برای دوستی، بر اساس دانستههایشان، توصیههایی درباره موضوع بنویسند.
نتایج یک الگوی ثابت را نشان داد:
افرادی که از طریق یک مدل زبانی به موضوعی پرداخته بودند (در مقایسه با جستوجوی وب)، احساس میکردند کمتر یاد گرفتهاند،
برای نوشتن توصیهها تلاش کمتری کردند
و در نهایت متنی کوتاهتر، کمتر واقعی، و کلیتر نوشتند.
در ادامه، وقتی این توصیهها برای گروه مستقلی از خوانندگان—که نمیدانستند نویسندگان از چه ابزاری استفاده کردهاند—ارائه شد، آنها این نوشتهها را کماطلاعاتتر، کمفایدهتر و کماحتمالتر برای بهکارگیری ارزیابی کردند.
ما این تفاوتها را در زمینههای مختلف نیز تأیید کردیم. یکی از احتمالات این بود که شاید دلیل اینکه کاربران LLM توصیههای کلیتری مینویسند این باشد که مدلهای زبانی آنها را در معرض اطلاعات کمتری قرار میدهند.
برای کنترل این احتمال، آزمایشی انجام دادیم که در آن شرکتکنندگان با مجموعهای کاملاً یکسان از اطلاعات روبهرو میشدند—چه از طریق گوگل و چه از طریق ChatGPT.
همچنین، در آزمایشی دیگر، پلتفرم جستجو ثابت بود (گوگل)، اما برخی شرکتکنندگان از نتایج معمول گوگل یاد میگرفتند و گروه دیگر از قابلیت «AI Overview» گوگل.
نتایج نشان داد که حتی زمانی که اطلاعات و پلتفرم یکسان باشد، یادگیری از پاسخهای خلاصهشدهی مدلهای زبانی به دانش سطحیتری منجر میشود—در مقایسه با زمانی که فرد خودش اطلاعات را جمعآوری، تفسیر و ترکیب میکند.
اهمیت موضوع
چرا استفاده از مدلهای زبانی باعث کاهش یادگیری میشود؟
یکی از اصول بنیادین رشد مهارت این است که یادگیری زمانی عمیقتر میشود که فرد درگیرِ فعالِ موضوع باشد.
وقتی درباره یک موضوع از طریق گوگل جستجو میکنیم، با «اصطکاک» بیشتری روبهرو میشویم: باید به لینکهای مختلف سر بزنیم، منابع مختلف را بخوانیم و خودمان آنها را تفسیر و ترکیب کنیم.
اگرچه سختتر است، اما همین درگیری باعث ایجاد درک عمیقتر و اصیلتر از موضوع میشود.
اما با مدلهای زبانی، همه این فرایند توسط سیستم انجام میشود و یادگیری از یک فرآیند فعال به فرآیندی منفعلانه تبدیل میشود.
گام بعدی چیست؟
روشن است که راهحل این مسئله این نیست که کلاً از مدلهای زبانی استفاده نکنیم—بهویژه با توجه به مزایای انکارناپذیر آنها.
پیام ما این است که مردم باید استفاده هوشمندانهتر و استراتژیکتری از LLMها داشته باشند—و این از درک اینکه چه موقع استفاده از آنها مفید و چه موقع مضر است، آغاز میشود.
نیاز به پاسخ سریع و واقعی به یک سؤال دارید؟
با خیال راحت از دستیار هوش مصنوعی استفاده کنید.
اما اگر میخواهید دانشی عمیق و قابلانتقال درباره یک حوزه ایجاد کنید، اتکا به خلاصههای مدلهای زبانی چندان کمککننده نیست.
به دنبال فهم عمیقتری هستید؟ شاید LLM بهترین مسیر نباشد.
در بخشی دیگر از پژوهشهای من درباره روانشناسی فناوریهای نو، این سؤال مطرح بود که آیا ممکن است یادگیری با مدلهای زبانی را فعالتر کرد یا نه.
در آزمایشی دیگر، شرکتکنندگان با یک مدل GPT تخصصی کار کردند که در کنار پاسخها، لینکهای منبع را نیز ارائه میداد.
اما نتایج نشان داد که وقتی افراد خلاصهی LLM را دریافت میکنند، دیگر انگیزهای برای مراجعه به منابع اصلی ندارند.
در نتیجه، همچنان دانش سطحیتری پیدا میکنند—در مقایسه با کسانی که فقط از جستجوی معمول استفاده میکردند.
با توجه به این موضوع، پژوهش آینده من به مطالعه ابزارهای هوش مصنوعی مولد میپردازد که برای یادگیری «اصطکاک سالم» ایجاد میکنند—یعنی بررسی اینکه چه نوع محدودیتها، توقفها یا چالشهایی میتواند افراد را به یادگیری فعالتر وادار کند.
چنین ابزارهایی برای آموزش متوسطه مهم به نظر میرسند؛ جایی که یکی از چالشهای اصلی معلمان این است که چگونه به دانشآموزان کمک کنند تا مهارتهای اصلی خواندن، نوشتن و ریاضی را توسعه دهند، در حالی که برای دنیایی واقعی آماده میشوند که در آن، مدلهای زبانی احتمالاً بخش جداییناپذیری از زندگی روزمرهشان خواهند بود.
