Google DeepMind Meluncurkan SIMA 2: Agen AI yang Mampu Bermain, Berpikir, dan Belajar di Dunia Virtual 3D

Secara Singkat

Google DeepMind memperkenalkan agen AI SIMA 2 yang dapat memahami instruksi, melakukan penalaran, dan mengajarkan dirinya sendiri keterampilan baru di lingkungan virtual, mendekati penyelesaian tugas setara manusia.

![@needshave, mohon hasilkan gambar berdasarkan prompt ini dalam waktu 30 menit:

Ringkasan: Google DeepMind memperkenalkan SIMA 2, agen AI bertenaga Gemini yang dapat memahami instruksi, bernalar, dan mengajarkan dirinya keterampilan baru dalam lingkungan virtual, menggandakan kinerja pendahulunya dan mendekati tingkat penyelesaian tugas setara manusia.

Kata kunci: Google DeepMind, agen AI](https://img-cdn.gateio.im/webp-social/moments-938a77d2fcc6a4da1d9a4125abc0616a.webp)

Lengan AI dari perusahaan teknologi Google, Google DeepMind memperkenalkan SIMA 2, versi terbaru dari Scalable Instructable Multiworld Agent, menandai langkah menuju agen AI yang lebih mampu dan serba guna.

Dibangun di atas kemampuan penalaran canggih dari model Gemini, sistem ini melampaui instruksi dasar di lingkungan virtual dan sekarang berfungsi sebagai pendamping interaktif yang dapat menginterpretasikan tujuan, berbicara dengan pengguna, dan menyempurnakan kinerjanya seiring waktu.

Model SIMA pertama mempelajari ratusan tindakan yang dipandu bahasa di berbagai video game komersial dengan mengamati input layar dan beroperasi dengan kontrol virtual daripada mekanika permainan yang terintegrasi.

SIMA 2 mempercepat pendekatan ini dengan mengintegrasikan Gemini sebagai intinya, memungkinkan agen untuk melakukan penalaran yang diarahkan pada tujuan, menjelaskan tindakan yang dimaksudkan, dan melaksanakan tugas yang lebih kompleks dalam permainan. Dilatih dengan kombinasi demonstrasi manusia dan anotasi yang dihasilkan oleh Gemini, agen ini telah diuji di sejumlah permainan yang lebih luas melalui kemitraan dengan beberapa pengembang. Pembaruan ini merupakan langkah signifikan bagi AI yang terwujud, menggabungkan persepsi, penalaran, dan aksi dalam lingkungan 3D yang dinamis.

Integrasi Gemini telah memperkuat kemampuan SIMA 2 untuk menggeneralisasi dan beroperasi secara andal di berbagai konteks yang tidak dikenal. Agen sekarang dapat menginterpretasikan instruksi yang lebih rinci dan bernuansa serta menjalankannya dengan sukses bahkan dalam permainan yang belum pernah dia temui sebelumnya, seperti judul bertema Viking ASKA atau MineDojo, versi penelitian dari Minecraft.

Kemampuannya untuk menerapkan konsep yang dipelajari di berbagai lingkungan—misalnya, memperluas ide “mining” dari satu permainan ke “harvesting” di permainan lain—merupakan komponen kunci dari generalisasi yang luas dan mendekatkan performanya ke level pemain manusia.

Untuk mengevaluasi kemampuan ini, SIMA 2 juga diuji dalam dunia 3D yang dihasilkan secara prosedural yang diciptakan oleh Genie 3, yang menghasilkan lingkungan baru dari petunjuk teks atau gambar. Dalam pengaturan yang tidak dikenal ini, agen masih dapat menavigasi dengan efektif, menafsirkan instruksi, dan bekerja menuju tujuan yang ditentukan oleh pengguna, menunjukkan tingkat adaptabilitas yang belum pernah terlihat sebelumnya dalam sistem serupa.

SIMA 2 Memajukan AI yang Mampu Meningkatkan Diri dengan Kemampuan Baru dalam Generalisasi dan Pembelajaran Mandiri

Menurut perusahaan, salah satu perkembangan paling mencolok dari SIMA 2 adalah kemampuannya yang muncul untuk meningkatkan kinerjanya sendiri. Selama pelatihan, agen telah menunjukkan bahwa ia dapat mengambil tugas yang semakin kompleks melalui percobaan dan kesalahan yang iteratif yang dipadukan dengan umpan balik dari Gemini. Setelah belajar awalnya dari demonstrasi manusia, SIMA 2 dapat terus berkembang dalam permainan baru melalui permainan secara mandiri, memperoleh keterampilan di lingkungan yang tidak dikenal tanpa memerlukan data manusia tambahan. Pengalaman ini kemudian dapat digunakan untuk melatih versi agen AI yang lebih mampu berikutnya, dan proses perbaikan diri yang sama telah diterapkan dengan sukses dalam lingkungan yang dihasilkan oleh Genie, menandai kemajuan yang berarti menuju pelatihan agen umum di berbagai dunia sintetis. Siklus penyempurnaan yang berkelanjutan ini mendukung tujuan jangka panjang untuk memungkinkan agen belajar dengan panduan manusia yang minimal.

Operasi SIMA 2 di berbagai lingkungan permainan menyediakan lapangan uji yang penting untuk kecerdasan umum, memungkinkan sistem ini untuk memperoleh keterampilan, berlatih berpikir logis, dan belajar secara terus-menerus melalui tindakan yang diarahkan sendiri. Meskipun sistem ini merupakan langkah substansial menuju kecerdasan umum yang interaktif dan berwujud, ia masih memiliki batasan yang jelas dalam tahap penelitian. Agen ini terus kesulitan dengan tugas-tugas kompleks dan jangka panjang yang memerlukan penalaran yang diperpanjang atau verifikasi tujuan yang berulang, dan memorinya tetap singkat karena kebutuhan akan interaksi dengan latensi rendah dalam jendela konteks yang terbatas. Ketepatan dalam tindakan halus dan pemahaman visual tentang adegan 3D yang kompleks juga tetap menjadi tantangan yang lebih luas di seluruh bidang.

Proyek ini menunjukkan potensi pendekatan AI yang berorientasi tindakan di mana kompetensi luas didukung oleh data pelatihan yang beragam dan kemampuan penalaran yang kuat. SIMA 2 menunjukkan bahwa elemen-elemen ini dapat disatukan dalam satu agen generalis daripada terisolasi dalam sistem spesialis yang terpisah, dan ini memberikan jalan yang menjanjikan menuju aplikasi masa depan dalam robotika, karena banyak keterampilan yang dipelajari dalam pengaturan virtual—seperti navigasi, penggunaan alat, dan penanganan tugas kolaboratif—diterjemahkan menjadi komponen dasar untuk AI yang diembodikan.

SIMA 2 dirancang sebagai agen penelitian yang interaktif dan berpusat pada manusia, dan pengembangannya mencakup fokus yang jelas pada praktik yang bertanggung jawab, terutama terkait dengan mekanisme perbaikan diri. Tim telah bekerja sama dengan spesialis inovasi yang bertanggung jawab sepanjang proyek dan merilis SIMA 2 dalam pratinjau penelitian terbatas, memberikan akses awal kepada akademisi dan pengembang game terpilih. Pendekatan bertahap ini memungkinkan pengawasan, umpan balik, dan evaluasi interdisipliner yang berkelanjutan saat teknologi dan implikasi potensialnya dieksplorasi lebih lanjut.