Otro post sobre IA local, perdón. ¿Han probado Gemma 4? Me ha impresionado. Esta familia de modelos corren en hardware común sin demasiados problemas como todos los de ese tipo, pero son diferentes a lo que esperas de ese tamaño. Son más precisos y potentes. La "trampa" es que consumen más recursos al cargar las tablas en RAM (ej: el modelo E2B, tiene 4.6B parámetros físicos, pero solo calcula como un modelo 2B tradicional). La tabla funciona como consulta directa en tiempo real, evitando demasiados cálculos pesados en la CPU. Es muy interesante la verdad. Es decir, consume un poco más que un modelo normal de ese tamaño, sí, pero para lo que hace, sigue siendo muy eficiente. Hace más con menos, aunque consume un poco más que otros. Vale la pena. 🤔 No sé, está curioso, normalmente se habla más de los modelos enormes, los "frontiers", pero se omite un poco mencionar los avances que han tenido los modelos que todos podemos correr, ¿por qué será? jaja

Sobre esto, al final, ¿vale la pena? Pues, en las condiciones de hardware de esta prueba, no, no lo vale. O por lo menos no si lo que se espera es un verdadero chatbot local que sea decente. Ya con mejor hardware y así, sí. Por ejemplo, toda la salida en esta captura, a pesar de que esté redactado y hayan salido muchas palabras, si miras con atención, el código y las descripciones están totalmente mal xd horriblemente mal. So, ni para eso es tan útil a este nivel. Aunque, estaré probando un par más a ver si encuentro el santo grial de los "modelos pequeños" 🤔

Corriendo un modelo de IA chiquitito localmente en mi Android 👀 Esto ya es posible hace rato, no es novedad, pero, en esta patata si lo es xd Nunca lo había logrado por las limitaciones del hardware, pero al final encontré la forma: el único formato que soporta es GGUF, el clásico. Y el limite para cargar un modelo son como unos 580MB so, deben ser modelos pequeñísimos 😁 Pero bueno, quería ver si era posible hacer esto en un móvil de poca potencia donde hay solo 1GB de ram y la mitad se la lleva el sistema. Se pudo, aunque es obviamente lento y así, pero corre sin problemas en general mientras haya memoria disponible. Usando una variante de la serie de modelos Gemma de Google.