AI sekarang dapat melakukan banyak hal - menghasilkan level, merancang musuh, bahkan membentuk karakter. Tetapi ada masalah fatal: ia tidak dapat menjelaskan mengapa ia melakukannya.

Model seperti FET, hasil outputnya menakjubkan, tetapi proses pengambilan keputusannya? Sama sekali sebuah kotak hitam.

Misalnya: Anda menghabiskan waktu untuk melatih musuh AI yang ganas, tetapi tiba-tiba ia mulai berkeliaran di seluruh peta. Anda ingin memperbaiki bug? Maaf, bahkan tidak tahu apa masalahnya. Jika Anda tidak mengerti bagaimana model berpikir, Anda tidak bisa mengambil tindakan.

Tim penelitian BeamAI sedang menghadapi tantangan besar ini—membuat logika keputusan AI "terlihat". Jika para pengembang dapat memahami jalur penalaran di dalam model, pengalaman bermain game akan menjadi lebih stabil dan seimbang, dan perilaku AI juga akan lebih sesuai.

Ketika AI belajar "mengumpulkan tugas" dan bukan hanya "memberikan jawaban", seluruh proses pengembangan akan berbeda.