شکست هوش مصنوعی در تاریخ

گروهی از پژوهشگران اخیراً معیار جدیدی را برای سنجش توانایی سه مدل اصلی زبانی در پاسخگویی به پرسش‌های تاریخی طراحی کرده‌اند. این معیار که “Hist-LLM” نام دارد، به‌طور ویژه صحت پاسخ‌های تولید شده توسط مدل‌ها را با استفاده از پایگاه داده جامع تاریخی Seshat ارزیابی می‌کند. Seshat یک پایگاه داده معتبر و گسترده است که اطلاعات دقیق و مهم تاریخی را از سراسر جهان گردآوری کرده و به نام الهه خرد مصر باستان نام‌گذاری شده است.

براساس گفته‌های محققان، هدف اصلی این مطالعه این است که حتی اگر مدل‌های بزرگ زبانی (LLM) در بسیاری از زمینه‌ها توانمندی‌های چشمگیری نشان دهند و به پرسش‌های عمومی و ساده پاسخ دهند، هنوز قادر به درک و تحلیل دقیق تاریخ در سطوح پیچیده و تخصصی نیستند. به‌ویژه در حوزه‌های تحصیلی پیشرفته مانند تاریخ و پژوهش‌های دکتری، این مدل‌ها به اندازه کافی قابل اتکا و موثر نیستند. مدل‌ها ممکن است در مواردی که اطلاعات سطحی و کلی لازم است، عملکرد مناسبی داشته باشند، اما در مواجهه با واقعیت‌های تاریخی پیچیده‌تر نمی‌توان به آنها به‌طور کامل اعتماد کرد و اغلب دقت لازم را ندارند.

نتایج این پژوهش به نوعی نشان می‌دهد که هوش مصنوعی اگرچه می‌تواند ابزاری مفید در حوزه‌های مختلف باشد، اما همچنان به پیشرفت و بهبود قابل توجهی در برخی زمینه‌ها نیازمند است.

منبع: برنا