Обама, Буш і robots.txt

Дивний на перший погляд заголовок, але в цьому є технічна  ізюминка (*ля ненавижду це слово) особливість: інтернетно грамотні обивателі Злучених Держав Північної Америки (так називали і досі називають США представники української діаспори старших поколінь) відтепер слідкують і за інтернет-сайтом нового глави Білого Дому Барака Хусейна Обами.

І от що вони підмітили, коли проаналізували два зразки файлів robots.txt (відомо що він відповідає за довзоли роботам пошукових машин індексувати весь сайт, його частини чи вазагалі заборонити їх індексацію) зі сайту Білого Дому http://www.whitehouse.gov/ : перший - часів Джорджа Буша, другий - створений вже за Барака Обами і нової адміністрації.

So (тьху)  сучасний  http://www.whitehouse.gov/robots.txt має тільки один змістовний запис у собі:

obama.png

А от бушівський robots.txt значно об’ємніший…

 

bush.png

Повний зразок старого файлу можна подивитися тут - http://www.codeulate.com/misc/old-robots.txt.  І от що приходить  на думку - “варіант Буша” все-таки є правильним рішенням, адже, як бачимо, у ньому заборонено індексувати версії сторінок для друку (print) та текстові частини (text).

Таким чином, веб-майстер (очевидно теж вже “екс”, як і сам  “екс-Mr. President”Буш =)) ) зміг уникнути індексації дубльованих сторінок.

P.S. Хотів сьогодні наводити порядок на балконі, а там лежить картонная упаковка з-під холодильника. І що з нею робити? Картон все-таки не так просто порізати - це тобі не якісь жалюзи офисные.

Січень 21st, 2009 in Без рубрики, Оптимізація сайту