Клоакінг та ставлення пошукових систем до цього явища
Ще наприкінці 2005 року на конференції в Чикаго з обговорення стратегій пошукових систем було задано питання присутнім тоді представникам чотирьох найбільших пошукових систем – Google, Yahoo!, MSN і Ask.«Чи допустимо на сайтах показувати роботам пошукових систем не ті посилання, що видні користувачам, а зручніші для індексування версії?». Представники всіх пошукових систем відповіли: «Без проблем», а Чарльз Мартін з Google схопився з місця і вигукнув: «Зробіть це, будь ласка!».
За початковим визначенням, клоакінг - це демонстрація роботам пошукових систем url-посилань, відмінних від тих, що показуються користувачам. До тих пір, поки клоакінг стосується лише спрощення лінків заради зручності роботів ПС, ці самі ж пошукові системи і заохочують його. Йдеться про видаленні з адрес ідентифікаторів користувачів і сесій, стоп-символів і інших фрагментів, що ускладнюють перехід робота.
У мережі існують сайти, які показують різним користувачам різні варіанти одного сайту. Це також є клоакінг, оскільки користувач і пошуковий робот бачать різні варіанти сторінки (а часто і різні сайти взагалі - про це буде нижче :).
Робот не може коректно обробити AJAX (Ajax як Web-технологія. Плюси і мінуси), Javascript, DHTML, які присутні на сайті, тому зміст сторінки від нього ховається. І, хоча фахівці з Google хотіли б, щоб їх бот брав участь в тестуванні сайтів, інтернет-технології ще цього не досягли.
«Злочинним» (і таким, що карається) різновидом клоакінгу пошукові системи вважають навмисну демонстрацію одного смислового наповнення сайту пошуковому боту і зовсім іншого – користувачам. Наприклад, Гуглботу і не тільки йому, можна подавати насичену певними ключовими словами сторінку, а от прості користувачі побачать зовсім інший варіант або навіть інший сайт.
Як побачити замасковану від юзера сторінку, яку проіндексував робот?
Якщо маскування контенту базується на параметрі “user-agent”, то проблема вирішується за хвилину: треба просто самому прикинутись ботом ПС 
Варіанти перегляду сайту як робот ПС:
- Можна скористатися сервісом SEO-browser.com (про який я вже писав раніше) - підтримуються боти Гугла, Яху та MSN. (Якби ще для Yandexbot хтось придумав таку тулзу - ціни б йому не було)
- Також можна емулювати робота Google Bot, використавши плагін User Agent Switcher для Mozilla Firefox. Для цього треба вибрати в меню браузера пункт Tools, далі User Agent Switcher > Options > Options > Googlebot/2.1. Тепер ви бачитимете сторінки в тому вигляді, в якому їх індексує робот Google. Шкода, що в Опері такого немає :(, хоча Опера замаскується і під FF ,і під IE)
Інколи сервер визначає, який варіант сайту слід показати користувачеві, не за параметром user-agent, а за IP-адресою. Знаючи адреси, з яких зазвичай заходять індексатори пошукових систем, веб-майстер може зробити показ певного вмісту сторінки роботові, і зовсім іншого контенту – юзеру. Але і в цьому випадку можна побачити те, що призначене лише для пошукового робота
Тут допоможе перекладач сайтів Google Translate, а по суті – той самий бот Google, лише не для індексації, а для перекладу. Якщо адміністратор сайту, використовуючи клоакінг, не уточнив, який матеріал слід показувати пошуковому боту, а який – боту-перекладачеві, - користувач утиліти Google Translate побачить прихований від нього вміст.
Вердикт#1: Не всі види клоакінгу направлені на обман користувачів і пошукових систем. Є трюки з показом різних варіантів сторінки індекс-боту і користувачеві (клоакерство як окрема SEO-кваліфікація) , є корисне для пошукових систем спрощення синтаксису посилань, яке зовсім не зашкодить позиціюванню сайту.
Звідки взялося бажання написати такий матеріал? З життя оптимізаторів, а точніше з форуму SearchEngines.ru. Все зводилося до клоакінгу через використання директив у серверному файлі .HTACCESS - наприклад:
RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} (Googlebot|Slurp|msnbot)
RewriteRule ^ http://сайт-злочинців.ком/ [R=301,L]
І що ми в результаті отримуємо? Правильно - викидання з індексу Гугла, Яху та MSN, потім обнулення PageRank і все це позначиться на трафіку на сайт та можливості заработать на блоге. Тому треба завжди слідкувати за станом своїх сайтів і надійно берегти паролі-логіни від FTP-доступу до хостингів.
Успіхів у пошуковій оптимізації!
P.S. Бесплатный каталог статей пригодиться для просування сайтів статтями. Не знаю я три ловушки фильма “Секрет”, бо не дивився його. Збірка 84-х плагінів для WordPress є на блогі http://shakin.ru/.