تینی‌باکس Red Kimi با قیمت ۳۰٬۰۰۰ دلار عرضه شد

این دستگاه چهار کارت گرافیک Radeon AI Pro R9700 با مجموع ۱۲۸ گیگابایت حافظه GDDR6 و شانزده درایو NVMe یک‌ترابایتی دارد. پردازنده آن AMD Epyc Genoa با ۳۲ هسته و ۳۲ گیگابایت حافظه DDR5 سیستمی است.

هدف Tiny Corp اجرای مدل ۲.۸ تریلیون پارامتری Kimi K3 شرکت Moonshot AI روی این دستگاه رومیزی است. وزن این مدل حدود ۱.۵۶ ترابایت برآورد شده است و چهار GPU تنها حدود ۸ درصد آن را می‌توانند در خود جا دهند.

به گفته Tiny Corp، آرایه شانزده درایو با سرعت ۲۳۸.۴ گیگابایت بر ثانیه کار می‌کند و درایور tinygrad به GPUها اجازه می‌دهد مستقیم به NVMe دسترسی داشته باشند.

Tiny Corp ادعا می‌کند این دستگاه می‌تواند Kimi K3 را با سرعت ۴۰ توکن در ثانیه اجرا کند، اما این عدد تاکنون توسط کسی خارج از شرکت آزمایش نشده است. به گفته نویسنده، رسیدن به این سرعت نیازمند جابه‌جایی حدود ۲.۲ ترابایت در ثانیه وزن مدل است که بیشتر آن باید از حافظه GPU تامین شود.

نویسنده معتقد است که عبارت «سرعت قابل استفاده» تا زمانی که شخص مستقلی آزمایش نکند، یک وعده است نه نتیجه‌ای قطعی.

برای مقایسه، قیمت Mac Studio با پردازنده M5 Ultra و ۵۱۲ گیگابایت حافظه یکپارچه از ۲۲٬۲۹۹ دلار شروع و با SSD شانزده‌ترابایتی به ۲۹٬۷۹۹ دلار می‌رسد. DGX Station مبتنی بر GB300 شرکت Nvidia با ۷۴۸ گیگابایت حافظه حدود ۹۱٬۱۰۰ دلار قیمت دارد.