В результате кооперации между компаниями Google, Yahoo и Microsoft усовершенствован протокол Sitemap, регламентирующий передачу содержания сайтов для индексации поисковым системам. Соглашение о поддержке Sitemap перечисленные операторы поисковых систем заключили в ноябре прошлого года.
Sitemap представляет карту сайта в виде размещаемого на нем XML-файла, который призван упростить обнаружение и интерпретацию страниц поисковыми системами. Одним из основных новшеств опубликованного компаниями протокола Sitemap 0.90 стало появление стандартного способа уведомления обходчиков о расположении на сайте файла с картой. Эта информация помещается в файл robots.txt, в котором обычно для поисковых систем указываются разделы сайта, не подлежащие индексации. Проект Sitemap недавно также поддержали оператор еще одной поисковой системы - Ask.com и корпорация IBM.