✨︎ Resumen (TL;DR):
- OpenAI, Google y Microsoft apoyarán una señal común en
robots.txtpara que los sitios indiquen si rechazan el uso de su contenido en el entrenamiento de IA.- OpenAI prevé implementarla en los próximos meses; Google espera ofrecer soporte en 2027 y Microsoft comenzará a respetarla el 1 de febrero de 2027.
- La señal expresa una preferencia de entrenamiento, pero no impide por sí misma el rastreo ni decide otros usos, como el grounding.
OpenAI, Google y Microsoft apoyarán una señal común para que los sitios web indiquen si rechazan el uso de su contenido en el entrenamiento de inteligencia artificial. Anthropic también la respalda y ya la adoptó. La propuesta busca reducir el trabajo de mantener reglas separadas para cada proveedor.
Una regla para varios proveedores
La señal común de entrenamiento es una preferencia que los sitios publican en robots.txt para comunicar si rechazan el uso de su contenido en el entrenamiento de modelos generativos. robots.txt es el archivo que los sitios usan para enviar instrucciones a los rastreadores automáticos. La propuesta combina la etiqueta __usage_ai-training con reglas aplicables a todo el sitio o a rutas concretas.
Kevin Kelley, de Anthropic, presentó el borrador técnico. El documento se apoya en el trabajo del grupo de preferencias de IA del Internet Engineering Task Force (IETF), pero todavía es una propuesta individual en desarrollo. No es un estándar aprobado por la organización.
Un solo ajuste podría comunicar la misma preferencia a todos los proveedores que adopten la señal. La medida será voluntaria y no obligará por sí sola a los proveedores que decidan no implementarla.
Adopción escalonada y fechas clave
OpenAI prevé implementar la señal en los próximos meses y conservar sus controles actuales para rastreadores.
Google espera ofrecer soporte en 2027. Si un sitio rechaza el entrenamiento mediante la señal común y no especifica una regla para Google-Extended, la compañía planea interpretar esa preferencia como una desautorización de ese control propio.
Microsoft comenzará a respetar las nuevas preferencias a partir del 1 de febrero de 2027, conforme vuelva a rastrear los sitios. Anthropic ya adoptó la señal.
Los sitios que actualmente usan NoArchive o NoCache para comunicar sus preferencias a Microsoft tendrán que revisar la transición. Después del 1 de marzo de 2027, la compañía dejará de interpretar esas etiquetas como preferencias sobre el entrenamiento y sobre el uso del contenido en respuestas generadas.
Entrenamiento y grounding requieren controles distintos
El borrador separa la preferencia de entrenamiento del acceso de los rastreadores. La señal compartida expresa una decisión sobre el uso del contenido para entrenar modelos generativos, pero no ordena por sí misma que un rastreador deje de visitar una página. Un proveedor podría seguir accediendo al contenido para otros fines.
Grounding es el uso de páginas web como información para elaborar respuestas de IA. Microsoft ofrecerá una preferencia separada para este propósito. Según la compañía, un editor podrá rechazar el entrenamiento y permitir el grounding sin perder la elegibilidad del sitio para los resultados tradicionales de Bing, siempre que cumpla los requisitos habituales de rastreo e indexación.
Google señala que los sitios que permitan explícitamente Google-Extended pueden aparecer en respuestas de Gemini Apps mediante grounding. El efecto de cada ajuste depende del servicio que lo interprete.
La señal puede simplificar la decisión sobre el entrenamiento, pero no sustituye los controles específicos de cada proveedor. Los editores que también quieran limitar el rastreo, el grounding u otros usos de sus páginas tendrán que revisar esas reglas por separado.
