Думаю многие владельцы сайтов заметили всплеск посещений их сайта через рефер semalt.com. В этом сервисе нет ничего нового, ищут ошибки на сайте, показывают исходящие ссылки, дают рекомендации, показывают социальные метрики. В общем в этом Semalt, ничего нового и уникального нет, тем более полный список услуг возможен лишь после оплаты. Лично я, для того, чтобы не портить себе статистику, решил блокировать им доступ на мой сайт.
Вот простое правило для .htaccess, которое не позволит в дальнейшем сервису semalt посещать ваш сайт (переносы строк уберите):
# блокируем semalt по реферу
RewriteEngine on
RewriteCond %{HTTP_REFERER} semalt\.com [NC]
RewriteRule .* – [F]
UPD. Теперь есть возможность удалить свой сайт из базы сервиса semalt.com по адресу: http://semalt.com/project_crawler.php
UPD2 Если указанный выше способ у вас не работает, попробуйте этот:
RewriteEngine on
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?semalt.com.*$ [NC]
RewriteRule .* http://semalt.com [L]
RewriteEngine on
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?semalt.semalt.com.*$ [NC]
RewriteRule .* http://semalt.com [L]
RewriteEngine on
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?crawler.semalt.com.*$ [NC]
RewriteRule .* http://semalt.com [L]
UPD2 Аналогичные проблемы может создавать домен tnwbill.com, с ним решение такое же как и с семальтом.
Читайте далее: