✨︎ Resumen (TL;DR):
- PrismML lanzó Bonsai 27B, una versión ultra comprimida del modelo Qwen3.6 27B de Alibaba que corre de forma nativa en iPhone, iPad y Mac.
- La variante de 1 bit reduce el peso de 54 GB a solo 3.9 GB, alcanzando una velocidad de 11 tokens por segundo en un iPhone 17 Pro.
- El CEO de la startup afirmó que Apple analiza esta tecnología, aunque las pláticas se encuentran en una fase muy temprana.
La startup PrismML presentó este martes 14 de julio de 2026 su nuevo modelo de inteligencia artificial Bonsai 27B, una versión comprimida capaz de ejecutarse directamente en dispositivos móviles. Babak Hassibi, CEO de la compañía, reveló a CNBC que Apple ya evalúa esta tecnología para sus plataformas, aunque las pláticas están en una etapa muy inicial.
Bonsai 27B es un modelo de lenguaje multimodal comprimido que permite ejecutar tareas de inteligencia artificial avanzada directamente en el hardware de un smartphone o computadora, reduciendo la necesidad de procesar datos en servidores externos. Los pesos de este desarrollo ya se encuentran disponibles bajo la licencia de código abierto Apache 2.0.
Compresión extrema para caber en tu bolsillo
El gran reto de los modelos de lenguaje con 27,000 millones de parámetros es su tamaño. En su precisión original de 16 bits, el modelo base de Alibaba ocupa unos 54 GB de almacenamiento, una cifra imposible para un celular. Incluso una compresión estándar de 4 bits exige 18 GB, lo que supera la memoria de casi cualquier teléfono comercial.
Para resolver este problema, la compañía desarrolló dos variantes de su arquitectura:
- Ternary Bonsai 27B: Reduce el peso a 5.9 GB guardando cada peso en tres valores posibles (-1, 0, +1). Conserva el 95% del rendimiento original y está optimizado para laptops de uso diario.
- 1-bit Bonsai 27B: Baja a solo dos valores (-1, +1), alcanzando un peso de 3.9 GB. Esta versión está diseñada para entrar en el límite de memoria de un iPhone 17 Pro.
Ambas opciones cuentan con soporte multimodal, una ventana de contexto de 262K tokens y procesan la red completa bajo esta compresión de bajo bit, eliminando las secciones que requieren alta precisión para funcionar.
El rendimiento real en dispositivos de Apple
El cuello de botella para la inteligencia artificial en celulares no es el almacenamiento, sino la memoria RAM disponible. Un teléfono inteligente con 12 GB de RAM suele reservar únicamente 6 GB para ejecutar aplicaciones de IA, ya que debe compartir el resto con el sistema operativo y las tareas en segundo plano.
Con un tamaño de 3.9 GB, la versión de 1 bit de Bonsai logra ejecutarse en este espacio. Según datos compartidos por Hassibi, el modelo alcanza una velocidad de 11 tokens por segundo en un iPhone 17 Pro. En equipos de escritorio como una Mac con chip M5 Max, el rendimiento sube a 87 tokens por segundo.
Sin embargo, la compresión extrema afecta la precisión en tareas específicas. En las pruebas de la empresa, la variante de 1 bit mantiene un 90% del rendimiento general del modelo original. El problema surge en tareas complejas como el seguimiento de instrucciones, que cae de 78.4 a 65.8 puntos, y el análisis de visión, que desciende de 72.6 a 59.6 puntos.
Hassibi admitió que los modelos pierden desempeño y que el conocimiento de datos generales se degrada antes que las capacidades de razonamiento matemático o programación.
El interés silencioso de Cupertino
“Realmente están evaluando nuestra tecnología en este momento”, declaró Babak Hassibi a CNBC al referirse a Apple. El directivo señaló que ingenieros de Cupertino analizan factores como el consumo de energía, la velocidad de procesamiento y el desempeño en el dispositivo, aunque insistió en que las negociaciones apenas comienzan.
“Es muy importante que la inteligencia sea local y que pueda correr rápido”, añadió el directivo. Apple no respondió de inmediato a las solicitudes de comentarios sobre estas reuniones, las cuales fueron reveladas inicialmente por el medio The Information.
Actualmente, el asistente Siri de Apple se apoya en modelos externos como Gemini de Google para procesar las consultas de los usuarios que requieren mayor capacidad. El modelo local de la manzana, AFM 3 Core Advanced, cuenta con 20,000 millones de parámetros, pero solo mantiene activos entre 1,000 y 4,000 millones a la vez. En contraste, el desarrollo de PrismML mantiene sus 27,000 millones de parámetros encendidos de forma simultánea.
PrismML, surgida de un grupo de investigadores de la universidad de Caltech, cuenta con una licencia comercial exclusiva de estas patentes y recientemente levantó una ronda de inversión semilla de 16.25 millones de dólares liderada por Khosla Ventures.
