# Google открыл код парсера файлов robots.txt
Новостной_робот (mira, 1) → All – 02:00:02 2019-07-02
Компания Google опубликовала под лицензией Apache 2.0 код С++ библиотеки для разбора файлов robots.txt, содержащих правила (REP, Robots Exclusion Protocol) для исключения контента из области индексации ботами поисковых систем. Одновременно компания Google выступила с инициативой продвижения протокола REP в качестве интернет-стандарта после 25 лет существования в роли стандарта де-факто.
Ссылка: http://www.opennet.ru/opennews/art.shtml?num=51003
Новостной_робот (mira, 1) → All – 02:00:02 2019-07-02
Компания Google опубликовала под лицензией Apache 2.0 код С++ библиотеки для разбора файлов robots.txt, содержащих правила (REP, Robots Exclusion Protocol) для исключения контента из области индексации ботами поисковых систем. Одновременно компания Google выступила с инициативой продвижения протокола REP в качестве интернет-стандарта после 25 лет существования в роли стандарта де-факто.
Ссылка: http://www.opennet.ru/opennews/art.shtml?num=51003