Apple está en conversaciones con PrismML, una startup respaldada por Khosla Ventures, para evaluar una tecnología de compresión de modelos de IA que podría permitir que potentes modelos de IA se ejecuten directamente en los iPhone, dijo el CEO de PrismML, Babak Hassibi, a CNBC. PrismML lanzó públicamente versiones comprimidas del modelo Qwen de Alibaba el martes, reduciendo el modelo de aproximadamente 54 GB a menos de 4 GB mientras mantiene los 27 mil millones de parámetros para dispositivos iPhone 15 o posteriores. Las discusiones buscan abordar las limitaciones de la estrategia de IA de Apple, mientras la compañía abría un día antes la beta pública de iOS 27, dando a los propietarios de iPhone acceso a una Siri renovada y, al mismo tiempo, manteniendo más procesamiento en el dispositivo. Hassibi calificó las conversaciones como “muy tempranas”, pero dijo que “las cosas avanzan bien”, con Apple y otras empresas evaluando la velocidad, la eficiencia energética y el rendimiento de la tecnología. La tecnología podría reducir los costos de computación en la nube y respaldar la postura de privacidad de Apple al permitir que las funciones de IA funcionen sin conexiones a internet.
PrismML libera un modelo Qwen comprimido con reducción de 54 GB a 4 GB
PrismML, un spinout del California Institute of Technology, redujo el modelo Qwen de código abierto de Alibaba de aproximadamente 54 GB a menos de 4 GB el martes. La compresión permite que los 27 mil millones de parámetros se ejecuten en un iPhone 15 o un dispositivo más reciente. La startup reduce los modelos de IA simplificando cómo se almacena la información interna, reduciendo cada valor de 16 bits a solo uno o tres valores posibles. Hassibi comparó el enfoque con el movimiento de la industria de chips de la computación de ocho bits a la de cuatro bits.
Los modelos comprimidos usan entre 10 y 15 veces menos memoria, generan respuestas de seis a ocho veces más rápidas y consumen entre tres y seis veces menos energía que las versiones convencionales que se ejecutan en el hardware existente, según PrismML. Hassibi reconoció que los modelos normalmente pierden algunos puntos porcentuales de rendimiento general, debilitándose el recuerdo factual antes que habilidades como razonamiento, matemáticas y codificación. PrismML lanzará dos versiones comprimidas del modelo de forma gratuita, diseñadas para ejecutarse en iPhones, MacBooks y PCs con Nvidia.
Apple evalúa el procesamiento de IA en el dispositivo para reducir la dependencia de la nube
“Realmente están evaluando nuestra tecnología ahora mismo”, dijo Hassibi sobre Apple. Las discusiones siguen sin estar claras hacia dónde llevarán, pero Hassibi dijo que las cosas avanzan. Apple puede enviar solicitudes complejas a modelos basados en la nube, pero ejecutar más IA directamente en el iPhone reduciría la demora asociada con enviar datos a un servidor remoto, disminuiría los costos de computación en la nube y respaldaría la postura de privacidad de la compañía. El enfoque también permitiría que ciertas funciones funcionen sin conexión a internet.
Carolina Milanesi, presidenta y analista principal de Creative Strategies, dijo que los modelos más pequeños podrían permitir que Apple traslade a más funciones exigentes al iPhone, incluidas la fotografía computacional, la generación de video y herramientas de salud o fitness que dependen de datos personales sensibles. “Cuanto más puedas hacer en el dispositivo, mejor”, dijo, señalando los datos de salud y medicación que los usuarios querrían mantener privados. Apple ya ejecuta partes de su sistema de IA localmente, incluida la traducción, cierta resumición y funciones vinculadas estrechamente a información personal.
PrismML recaudó 16,25 millones de dólares en una ronda semilla en marzo
La tecnología surgió del grupo de investigación de Hassibi en Caltech. La universidad posee las patentes subyacentes y las licencia de forma exclusiva a PrismML. En marzo, la empresa recaudó una ronda semilla de 16,25 millones de dólares respaldada por Khosla Ventures y otros inversores. Hassibi dijo que el modelo de código abierto Gemma de Google es lo siguiente en la hoja de ruta, seguido de modelos mucho más grandes, incluidos los de labs en la frontera que hoy generalmente requieren hardware de centros de datos.
Según PrismML, la tecnología podría, en última instancia, extenderse mucho más allá de teléfonos y portátiles hacia robótica, sistemas autónomos y otros productos que necesitan tomar decisiones rápidamente sin depender de una conexión a la nube. “Es muy importante que la inteligencia sea local y que pueda ejecutarse rápido”, dijo Hassibi. Horace Dediu, fundador de Asymco, dijo que Apple probablemente intenta mantener la gran mayoría de las interacciones comunes con Siri en el dispositivo, reservando las tareas más exigentes para la nube.
Los analistas cuestionan el impacto en la batería y el rendimiento en el mundo real
Tarun Pathak, director de investigación en Counterpoint Research, dijo que el rendimiento del modelo en indicaciones largas, el consumo de batería durante la multitarea y la fiabilidad en millones de solicitudes serán cruciales. “La prueba definitiva serán millones de consultas, miles de combinaciones de dispositivos y pruebas robustas a escala”, dijo Pathak. Phil Solis, que lidera la investigación de IDC sobre procesadores de clientes, dijo que el consumo de energía podría ser la mayor incógnita. Un modelo lo suficientemente capaz como para usarse con frecuencia o de forma continua en segundo plano para tareas tipo agente podría agotar la batería de un teléfono incluso si requiere menos memoria.
Gil Luria, analista de D.A. Davidson, dijo que reducir los modelos no eliminaría la necesidad de procesadores o memoria. Simplemente podría mover más de esos chips de los centros de datos a los teléfonos y otros dispositivos. “No es que no vayas a necesitar el chip”, dijo Luria. “Vas a necesitar la GPU y vas a necesitar la memoria”. Añadió que ejecutar IA en dispositivos individuales puede ser en realidad menos eficiente que usar infraestructura compartida de centros de datos porque los chips en los teléfonos pueden quedarse inactivos gran parte del tiempo.
Morgan Stanley estima que el costo promedio de memoria RAM dinámica de acceso aleatorio (DRAM) de Apple por bit podría aumentar aproximadamente un 190% interanual en el año fiscal 2027, con los costos de NAND subiendo alrededor de un 180%. La firma espera que Apple aumente el precio inicial de modelos comparables de iPhone 18 en aproximadamente 200 dólares para proteger los márgenes. Las acciones de Micron cayeron con fuerza en marzo después de que Google publicara su paper TurboQuant sobre la reducción del uso de memoria sin dañar el rendimiento del modelo, aunque la acción luego se recuperó. Pathak dijo que la combinación de IA en la nube y en el dispositivo puede ofrecer una experiencia de IA más completa, eficiente y centrada en la privacidad, con tareas complejas descargadas en la nube y tareas sensibles y críticas por latencia ejecutadas en el dispositivo.
Preguntas frecuentes
¿Qué lanzó PrismML el martes?
PrismML lanzó públicamente versiones comprimidas del modelo Qwen de código abierto de Alibaba el martes. La compañía redujo el modelo de aproximadamente 54 GB a menos de 4 GB, permitiendo que los 27 mil millones de parámetros se ejecuten en un iPhone 15 o un dispositivo más reciente.
¿Cómo funciona la tecnología de compresión de PrismML?
PrismML reduce los modelos de IA simplificando drásticamente cómo se almacena la información interna, reduciendo cada valor de 16 bits a solo uno o tres valores posibles. Según la empresa, los modelos comprimidos usan entre 10 y 15 veces menos memoria, generan respuestas de seis a ocho veces más rápidas y consumen de tres a seis veces menos energía que las versiones convencionales.
¿Por qué Apple evalúa el procesamiento de IA en el dispositivo?
Ejecutar más IA directamente en el iPhone reduciría la demora asociada al envío de datos a un servidor remoto, bajaría los costos de computación en la nube y respaldaría la postura de privacidad de la compañía. Según la fuente, el enfoque también permitiría que ciertas funciones funcionen sin conexión a internet.
