O robô do Google está lendo um novo protocolo de exclusão de páginas do seu sistema de busca. Com essa META Tag é possível informar para o Google até quando a página pode aparecer como disponível no resultado das buscas, ou se ela deve ficar em cachê ou ainda se ela não deve ser indexada pelo buscador.

Veja alguns exemplos:

X-Robots-Tag: unavailable_after: 30 Jul 2007 23:30:00 GMT

Na Tag acima informa que o documento não vai mais estar disponível após o dia 30 de Julho de 2007 e após as 23:30hs.

O padrão do formato da data deve seguir a RFC 850

Outras utilizações podem ser:

X-Robots-Tag: noindex
(Para que a página não seja indexada pelo Google)

X-Robots-Tag: noarchive
(Para não aparecer o link Cache)

Interessante esses recursos pois trás flexibilidade para os desenvolvedores em páginas de Promoção, nas quais tem uma data de término, ou ainda em páginas de Confirmações, assim essas páginas não ficam indexas na busca.

Maiores informações no Blog Oficial do Google