Er is geen CSS ondersteuning.
Spambots komen op jouw webpagina('s) om email-adressen te verzamelen. Leech-bots komen op jouw site om hem te "plunderen", en er zijn ook een aardige hoeveelheid bots die jouw pagina's willen crawlen. Het is een beetje naief om te denken dat, met een paar scriptjes en wat .htaccess "grappen", je de bots buiten de deur kunt houden. Het is ook niet zo handig om integraal te proberen om bots "op hun gedrag" uit te sluiten. Ik neem aan dat je het heel erg plezierig vindt dat de "goede bots" jou zo vaak als mogelijk bezoeken.
Sommige webmasters reageren erg overtrokken als sommige bots een beetje vaker dan normaal hun site bezoeken. Er wordt dan geschermd met bandbreedte en servers die overbelast raken. Nou... dat valt wel mee hoor... Kijk, een ddos- of synflood-attack brengt jouw servers gegarandeerd in de problemen, maar zelfs een leech-bot die te vaak langskomt moet gewoon (heden ten dage) probleemloos door de server(s) bediend worden. De enige voorwaarde is dat je geen "monsters" van pagina's maakt. Als je pagina's van een paar honderd Kb gaat maken krijg je al problemen als er teveel "normale" bezoekers op jouw website komen...
Als je er voor zorgt dat jouw html(omvang) binnen de perken blijft, en als je er voor zorgt dat jouw plaatjes op de juiste manier op de pagina gezet worden, komt het met het bandbreedte-verbruik wel goed. Kijk even naar dit staatje van awstats. De google-bot gebruikt het meeste. Who cares? Al verbruikt Google 100x meer. Ik vind het meer dan prima!
Wat wel een serieus probleem is, zijn de "email-bots". Het is (bijna) niet te doen
om de bots te traceren. Ze "vermommen" zich als gewone bezoekers en op hun ip-adres
kan je ze ook niet meer buiten houden (ze gebruiken tien-duizenden verschillende ip-adressen)
En soms moet je toch door de site email laten versturen. Begin er mee om
geen enkel email-adres in ascii op jouw pagina's te zetten. Zelfs versleutelen met een
script is zinloos. En (wat nog vervelender is) zelfs plaatjes kunnen de bots al "lezen".
Wat te doen?
Om met het verzenden van "site-mail" te beginnen: Gebruik deze procedure
om email (vanaf jouw site) te sturen. Pas in het script het gewenste adres
aan (maak een permanent adres in de code i.p.v. een keuze-mogelijkheid), dan is dit probleem opgelost.
De bot kan wel mail versturen, maar heeft geen flauw idee waar naar toe (en daar was het de bot om te doen...).
Het is al gezegd, denk er niet over om klakkeloos een email-adres in "gewone letters" op
jouw pagina te zetten. Als het nou echt niet ander kan is er nog een CSS-oplossing.
Het navolgende adres:
een-adres één @ABCD éné server....op nlgrappig
is lastig door een spambot te lezen. Kijk even in de broncode van deze pagina hoe het gedaan is.
Voorkomen is altijd beter dan genezen. Alleen als het echt, maar dan ook echt, noodzakelijk is
om een email adres op jouw pagina's te zetten, moet je dat doen. Bedrijven en overheden
kunnen natuurlijk niet anders. Maar die lossen meestal het spam-probleem aan de "ontvang-kant" op.
Mijn advies: Als je niet hoeft, niet doen... De bots slapen nooit.
cache 21-06-2010