ربات‌ها بدون حضور زنده‌ی انسان ۹۲٫۱ درصد موفق شدند

هر برنامه پیش از ۳۰ آزمایش ارزیابی جداگانه ثابت شد و دیگر به‌روزرسانی نشد. در زمان اجرای ارزیابی، نه انسان و نه عامل کدنویسی در حلقه اجرا حضور نداشتند و برنامه‌ها با ادراک و کنترل زنده کار می‌کردند.

در مرحله توسعه، کمک انسانی شامل راهنمایی متنی و نمایش‌هایی بود که فرد بازوهای ربات را به‌صورت فیزیکی هدایت می‌کرد. در توسعه، حداکثر ده بازنشانی صحنه با کمک انسان برای هر وظیفه مجاز بود و بازنشانی‌های جمع‌آوری نمایش از این شمار مستثنا بودند.

آزمایش ربات شارژر ۳۰ از ۳۰ موفقیت داشت و بسته‌بندی نان با ۲۵ موفقیت ضعیف‌ترین نتیجه بود. در مقایسه شارژر، شبیه‌سازی به‌موقع برنامه‌ای با ۱۰۰ درصد موفقیت ارزیابی تولید کرد، در برابر ۸۶٫۷ درصد بدون شبیه‌سازی؛ هر شرط یک اجرای توسعه داشت.

زمان توسعه با شبیه‌سازی ۲٫۶ ساعت و بدون آن ۳٫۷ ساعت گزارش شد و مصرف توکن خروجی از ۷۳۰ هزار به ۱ میلیون و ۹۰ هزار افزایش یافت.

محققان می‌گویند برای سنجش ثبات فرایند توسعه باید اجراهای توسعه جداگانه در وظایف مختلف انجام شود و تعیین ثبات هنوز انجام نشده است. همچنین به گفته‌ی محققان، استفاده مجدد از برنامه‌ها در شرایط جدید هنوز اثبات نشده و آزمایش در شرایط تازه گام بعدی است.