Google DeepMind phát hành Magenta RealTime 2, mô hình âm nhạc thời gian thực dành cho Mac với độ trễ dưới 200 mili giây

Theo Beating, Google DeepMind đã phát hành Magenta RealTime 2 (MRT2), một mô hình tạo nhạc thời gian thực mã nguồn mở được tối ưu cho MacBook chạy Apple Silicon. Mô hình cho phép nhạc sĩ điều khiển việc tạo âm thanh thông qua tín hiệu MIDI, lời nhắc dạng văn bản hoặc các mẫu âm thanh với độ trễ dưới 200 mili giây.

MRT2 hỗ trợ ba chế độ tương tác: đệm theo MIDI hướng dẫn, tự động tạo phần đệm dàn nhạc dựa trên đầu vào hợp âm; tổng hợp từ văn bản sang nhạc cụ để tạo theo phong cách; và giả lập âm thanh để bắt chước các đặc điểm âm thanh đầu vào. Có hai phiên bản tham số—mrt2_small 230 triệu tham số cho mọi Mac chạy Apple Silicon và mrt2_base 2,4 tỷ tham số cho các chip M-series Pro và Max cao cấp hơn. Thư viện suy luận magenta-rt và công cụ suy luận dựa trên C++ hiện đã được mã nguồn mở trên GitHub, đồng thời có sẵn các ứng dụng macOS độc lập và plugin cho DAW.