✨︎ Resumen (TL;DR):
- Anthropic publicó FlashProve, un prototipo de código abierto que comprueba criptográficamente si un token coincide con la salida de un modelo fijado de antemano.
- La demostración usó Llama 4 Maverick de Meta. Cada prueba revisó un token, ocupó unos 19 MB y tardó 17 segundos con 24 hilos de CPU.
- El sistema no evalúa si una respuesta es verdadera, segura o apropiada, y generar las pruebas exigió entre 70 y 95 veces el tiempo de GPU de la referencia con vLLM.
Anthropic presentó FlashProve, un prototipo de código abierto que permite comprobar criptográficamente si un token de una respuesta coincide con la salida de un modelo de inteligencia artificial fijado de antemano. La herramienta busca detectar sustituciones de modelos por intermediarios, pero la demostración solo verificó un token por prueba y se realizó con una versión de Llama 4 Maverick de Meta, no con una conversación pública de Claude.
FlashProve es un prototipo de código abierto que relaciona la huella criptográfica de un modelo con una entrada y un token de salida para que un cliente compruebe el cálculo sin recibir los pesos del modelo.
La huella que permite comprobar un token
El proveedor empieza por fijar una huella criptográfica de los pesos del modelo, los parámetros que determinan cómo procesa la información. Después genera una prueba que relaciona esa huella con una entrada y un token de salida, siguiendo las reglas de cálculo del protocolo.
El cliente puede verificar la prueba con la entrada, el token y la huella, sin recibir los pesos. Una prueba de conocimiento cero es una técnica criptográfica que permite comprobar ese cálculo sin revelar la información protegida. La arquitectura del modelo, en cambio, no queda oculta.
La huella debe identificar al modelo que el cliente quiere verificar y obtenerse de una fuente confiable, no del mismo servidor cuya respuesta se examina. Si el servidor entrega también la huella, podría generar una prueba válida para un modelo distinto del esperado.
El alcance de la comprobación es concreto: la prueba indica si el token coincide con el cálculo del modelo fijado. No determina si el contenido es verdadero, seguro o apropiado para quien lo recibe.
La demostración midió una prueba por token
El 2 de noviembre, Anthropic publicó su investigación y el código del sistema. Para la demostración utilizó una versión de Llama 4 Maverick, el modelo de Meta, y no una conversación pública de Claude. La compañía afirma que Claude ayudó a construir el sistema y encontró mejoras para las pruebas criptográficas utilizadas.
El equipo procesó lotes de 24 solicitudes con ventanas de 1,024 tokens en una GPU Nvidia H100 y un servidor con 24 núcleos de CPU. Los datos del ensayo fueron:
- Cobertura: cada prueba verificó un solo token de salida.
- Tamaño: cada prueba ocupó unos 19 MB.
- Verificación: tardó 17 segundos con 24 hilos de CPU o 21 segundos con un solo hilo.
Anthropic también reportó una cifra de unos 110 tokens por segundo. Ese dato corresponde al procesamiento de los contextos en el ensayo; no significa que el sistema haya verificado individualmente 110 tokens de respuesta por segundo.
Generar las pruebas exigió entre 70 y 95 veces el tiempo de GPU necesario para procesar las mismas solicitudes con vLLM, una biblioteca de inferencia. La comparación usó otra precisión numérica y 8 H100, con los tiempos normalizados por GPU. Por eso, esa cifra describe las condiciones del experimento y no una tarifa para los usuarios.
Cobertura y formalización todavía acotadas
FlashProve comprueba una versión completa de Llama 4 Maverick cuantizada a 4 bits. La prueba supone una generación que elige el token con la puntuación más alta en cada paso. Si una implementación utiliza cálculos en coma flotante o selecciona entre varias opciones mediante muestreo, puede producir un resultado diferente al comprobado.
El prototipo admite contextos de hasta 1,024 tokens y genera las pruebas después de producir el texto. En el ensayo publicado, una prueba no cubría por sí sola todos los tokens de una respuesta.
Anthropic también formalizó con Lean las propiedades de seguridad del protocolo, una herramienta para comprobar demostraciones matemáticas. Esa garantía no se extiende automáticamente al código rápido ejecutable: no asegura que el código, el informe y la versión formal coincidan por completo. Los posibles canales laterales, como el tiempo que tarda en generarse una prueba, quedan fuera del alcance declarado.
El uso de Claude para construir herramientas de verificación ya aparecía en otro trabajo de Anthropic. Allí, las demostraciones se centraron en propiedades de partes de bibliotecas de software; FlashProve aborda el cálculo asociado a la salida de un modelo.
Por ahora, Anthropic describe FlashProve como un proyecto de investigación. El repositorio lo identifica como un artefacto sin mantenimiento y señala que no acepta contribuciones. Lo que ofrece hoy es una comprobación criptográfica del cálculo de un modelo para un token concreto, con cobertura limitada y un costo computacional alto.
