پژوهشگران اپل در بررسی تازه‌ای نشان دادند که مدل‌های پیشرفته‌ی هوش مصنوعی با قابلیت استدلال —که با عنوان مدل‌های استدلالی بزرگ (LRM) شناخته می‌شوند— در انجام وظایف با پیچیدگی متوسط عملکرد بهتری نسبت‌به مدل‌های زبانی متداول (LLM) دارند، اما هر دو نوع مدل در مواجهه با مسائل بسیار پیچیده به‌کلی ناتوان می‌شوند.
در تحقیق تازه‌ای که توسط گروهی از پژوهشگران اپل انجام شده، توانایی مدل‌های LRM مانند Claude 3.7 Sonnet Thinking و DeepSeek-R1 در حل مسائل منطقی بررسی شد. محققان با طراحی محیط‌هایی کنترل‌شده مثل معمای برج هانوی و عبور از رودخانه، سطوح مختلفی از پیچیدگی را تعریف کردند تا عملکرد مدل‌ها را نه فقط در ارائه‌ی پاسخ نهایی، بلکه در نحوه‌ی استدلال درونی‌شان ارزیابی کنند.
نتایج نشان می‌دهد در وظایف ساده، مدل‌های زبانی معمولی —که مکانیزم‌های استدلالی مشخصی ندارند— عملکرد دقیق‌تر و موثرتری داشتند و با منابع محاسباتی کمتر نتایج بهتری ارائه کردند.
در سطوح پیچیده‌تر، مدل‌هایی که از ساختارهای استدلالی مانند «زنجیره‌ی تفکر» بهره می‌بردند، برتری پیدا کردند؛ اما زمانی که پیچیدگی بیش‌ازحد افزایش یافت، عملکرد همه‌ی مدل‌ها به‌کلی فروپاشید و دقت‌شان به صفر رسید؛ حتی در شرایطی که منابع محاسباتی کافی در اختیار داشتند.
تحلیل دقیق‌تر مسیرهای استدلالی مدل‌ها نیز رفتارهای غیرمنتظره‌ای را آشکار کرد. در مراحل ابتدایی، مدل‌ها با افزایش پیچیدگی، فرآیند تفکر خود را طولانی‌تر می‌کردند؛ اما نزدیک به نقطه‌ی شکست، این روند برعکس شد و مدت تفکر کاهش یافت؛ حتی زمانی که امکان استفاده‌ی بیشتر از منابع وجود داشت.
مقاله‌های مرتبط
وقتی مدل‌ها به‌صورت صریح دستورالعمل‌های درست و مرحله‌به‌مرحله دریافت می‌کردند، باز هم در اجرای دقیق آن‌ها در مسائل پیچیده ناتوان بودند که نشان‌دهنده‌ی ضعف در توان محاسباتی منطقی است.
عملکرد مدل‌ها در مواجهه با معماهای آشنا به‌مراتب بهتر از معماهای کمتر شناخته‌شده بود؛ مسئله‌ای که وابستگی شدید مدل‌ها به داده‌های آموزشی را نشان می‌دهد؛ نه توانایی واقعی در استدلال قابل تعمیم.
