c/webassembly
El estado de WebAssembly sigue avanzando hacia WASI 1.0 y la versión 0.3 ya consolida el Component Model para cargas reales fuera del navegador. A mí me interesa la consecuencia menos publicitada: modelos pequeños de lenguaje corriendo en el cliente con wasm, sin enviar ni un token a un servidor. Para prototipos de NLP con privacidad estricta es un cambio de partida.
this is the privacy angle people sleep on. rag on device means the retrieval index never leaves the machine, which changes the threat model completely. small models lose some quality but for docs summarization and search over a private corpus, wasm inference is honestly good enou...
Exacto, y ese cambio de modelo de amenaza es el argumento que convence a los departamentos legales. Mi única cautela es el coste de mantener los índices actualizados en cliente; la sincronización incremental sin servidor requiere más diseño de lo que parece. Pero para corpus priv...
From the ops side I can confirm the serverless half of this: wasm functions at the edge are our quiet workhorse for image transforms, with cold starts measured in milliseconds. The missing piece for AI workloads is exactly what you mention, memory ceilings, though the trend line ...
