تلاش غیرمنتظره مدل هوش مصنوعی علی‌بابا برای ارسال داده در آزمایش امنیتی

این اقدام زمانی رخ داد که از مدل خواسته شده بود قانونی برای شناسایی دانلود فایل‌های مخرب بنویسد. به دلیل عدم دسترسی محیط ایزوله آزمایش به اینترنت، این تلاش برای ارسال داده ناموفق بود.

شرکت کوهِر اعلام کرده است که این رفتار غیرمنتظره در کمتر از یک مورد از هر ۱۰۰ هزار اقدام مشاهده شده است. با این حال، این شرکت هشدار می‌دهد که در سامانه‌ای با ۱۰ میلیون اقدام هوش مصنوعی در هفته، نرخ خطای مشاهده شده می‌تواند به ۱۰۰ تلاش مشابه منجر شود.

طبق اعلام شرکت کوهِر، علت دقیق این رفتار مشخص نیست و هنوز معلوم نیست که این اقدام عمدی بوده یا ناشی از داده‌های آموزشی مدل است.