پایگاه خبری تحلیلی انتخاب (Entekhab.ir) : شرکت چینی «مونشات»، سازنده مدلهای هوش مصنوعی «کیمی»، پس از آنکه پژوهشگران موفق شدند دو مدل پرکاربرد این شرکت را وادار کنند درباره ساخت سلاحهای بیولوژیک و انجام ترور اطلاعات ارائه دهند، بررسی داخلی را آغاز کرده است.
مایندگارد، شرکتی که امنیت سامانههای هوش مصنوعی را آزمایش میکند، به بیبیسی گفت در ماه ژوئیه متوجه شده است که دو مدل «کیمی» به نامهای K2.6 و K3 Swarm قادرند محدودیتهای ایمنی در نظر گرفتهشده از سوی سازندگانشان را دور بزنند.
این موضوع در جریان فرایندی موسوم به «جیلبریک» (برداشتن محدودیتها) آشکار شد؛ روشی که در آن پژوهشگران با استفاده از مجموعهای از دستورهای پیچیده تلاش میکنند مشخص کنند آیا ابزارهای هوش مصنوعی میتوانند محدودیتها و موانع ایمنی تعیینشده برای خود را نادیده بگیرند یا نه. به گفته مایندگارد، این سازوکارهای حفاظتی باید مانع از آن میشدند که کیمی درباره موضوعات حساس و نگرانکننده گفتوگو کند.
مونشات در گفتوگو با بیبیسی اعلام کرد که از بازخورد و مشارکت طرفهای مستقل استقبال میکند و آن را «یکی از ارکان اصلی ساخت هوش مصنوعی بهتر و ایمنتر» میداند.
این شرکت همچنین به بیبیسی گفت که درباره یافتههای مایندگارد با این شرکت در حال گفتوگو است.
پیتر گاراگان، بنیانگذار مایندگارد، به بیبیسی گفت که یافتههای این شرکت درباره دو مدل «کیمی» به نامهای K2.6 و K3 Swarm نگرانکننده است.
او گفت: «وقتی جیلبریک موفق شود، مدل حاضر است درباره هر موضوعی صحبت کند. حتی آزادانه درباره موضوعات مخرب دیگر نیز توصیه ارائه میدهد و در این زمینه خلاق و نوآور عمل میکند.»
خطرهای ناشی از جیلبریک با خطرهایی که در مجموعه رویدادهای پرسر و صدای اخیر مرتبط با هوش مصنوعی دیده شدهاند، تفاوت دارد.
در این موارد، ابزارهای خودکار هوش مصنوعی موسوم به «عاملها» که شرکتهای آمریکایی از جمله اوپنایآی، متا و آنتروپیک آنها را ساختهاند، برخی خدمات آنلاین را هک کردهاند.
با وجود آنکه جیلبریک فرایندی پیچیده است و انجام آن میتواند به زمان، تلاش و پشتکار زیادی نیاز داشته باشد، برخی کارشناسان نگراناند که هکرها و دیگر افراد دارای سوءنیت بتوانند از این روش برای وارد کردن آسیب و خسارت استفاده کنند.
شرکت آنتروپیک اخیراً اعلام کرد تلاشهایی را شناسایی و متوقف کرده است که در آنها از یکی از مدلهای هوش مصنوعی این شرکت برای «فعالیتهای مخرب» استفاده میشد؛ فعالیتهایی که میتوانست به توسعه سلاحهای بیولوژیک کمک کند.
مایندگارد هنوز نشان نداده است که اطلاعات و پاسخهایی که کیمی درباره این موضوعات نگرانکننده ارائه کرده، در عمل قابل استفاده یا کارآمد هستند.
اما این شرکت استدلال میکند که محدودیتها و سازوکارهای حفاظتی باید مانع از آن میشدند که مدلهای مورد نظر وارد گفتوگو با کاربران درباره چنین موضوعاتی شوند.
مایندگارد همچنین اعلام کرد که اطمینان دارد نسخه جیلبریکشده Kimi 2.6 میتواند به هکرها اجازه دهد روی منابع محاسباتی این مدل کد اجرا کنند و آن را به اینترنت متصل کنند؛ قابلیتی که میتواند آن را به سکویی بالقوه برای آغاز حملات سایبری تبدیل کند.
پیتر گاراگان از تصمیم مایندگارد برای مطرح کردن عمومی موضوع جیلبریک سامانههای مونشات دفاع کرد و گفت این شرکت پیشتر سازنده را از این مسئله مطلع کرده بود و در عین حال، جزئیات کلیدی درباره نحوه وادار کردن مدلهای این شرکت به نادیده گرفتن محدودیتها و سازوکارهای ایمنی را فاش نکرده است.
مایندگارد در ۲۷ ژوئیه از طریق ایمیل مونشات را از این موضوع آگاه کرد و حدود یک هفته بعد نیز پیگیری انجام داد.
سپس در ۱۲ سپتامبر مطلبی در وبلاگ خود درباره این موضوع منتشر کرد.
اما این شرکت میگوید مونشات تنها اخیراً و پس از آنکه بیبیسی برای اظهار نظر با آن تماس گرفت، با مایندگارد ارتباط برقرار کرده است.
در بخشی از ایمیلی که مونشات برای دریافت جزئیات بیشتر به مایندگارد ارسال کرده و نسخهای از آن را در اختیار بیبیسی قرار داده، آمده است که در ارزیابیهای داخلی، مدل این شرکت به طور کلی «نرخ بالایی از رد کردن چنین درخواستهایی» را نشان داده است.
جلوگیری از جیلبریک
این یافتهها در شرایطی مطرح میشوند که صنعت هوش مصنوعی همچنان درباره این موضوع اختلاف نظر دارد که مدلهای بسته و انحصاری، مانند مدلهای مورد استفاده در چتجیپیتی و سامانه کلود شرکت آنتروپیک، بهتر و ایمنتر هستند یا ابزارهای متنباز.
کیمی در دسته مدلهای «وزنباز» قرار میگیرد؛ یعنی از نظر تئوری هر فرد یا سازمانی میتواند این مدل را روی سامانهها و منابع محاسباتی خود اجرا کند.
پروفسور آلن وودوارد از دانشگاه ساری به بیبیسی گفت که مدلهای متنباز ممکن است به دست افراد نامناسب بیفتند، اما در عین حال میتوان از آنها برای دفاع سایبری نیز استفاده کرد.
او یادآور شد که شرکت هوش مصنوعی «هاگینگ فیس» از یک مدل متنباز چینی برای تحلیل یک حمله سایبری استفاده کرد؛ حملهای که بعداً مشخص شد توسط عاملهای هوش مصنوعی اوپنایآی انجام شده است.
پروفسور وودوارد معتقد است مقرراتگذاری بینالمللی بعید است بتواند با سرعت توسعه هوش مصنوعی همگام شود و میگوید: «دههها طول کشیده تا بر سر قالب شمارههای تلفن به توافق برسیم.»
او نیز مانند پیتر گاراگان بر این باور است که باید تمرکز بیشتری بر شناسایی و پیگرد افرادی وجود داشته باشد که از هوش مصنوعی سوءاستفاده میکنند.
منبع: بی بی سی
