Evitar boots molestos mediante htaccess

ByLuis

La gente de AskApache nos ofrece un ejemplo de htaccess que nos permitirá evitar que nos lean boots molestos. La lista llega a más de 400 robots, lo cual puede suponer un enorme ahorro en ancho de banda y recursos.

ErrorDocument 403 /403.html
RewriteEngine On
RewriteBase /
# IF THE UA STARTS WITH THESE
RewriteCond %{HTTP_USER_AGENT} ^(aesop_com_spiderman|alexibot|backweb|bandit|batchftp|bigfoot) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(black.?hole|blackwidow|blowfish|botalot|buddy|builtbottough|bullseye) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(cheesebot|cherrypicker|chinaclaw|collector|copier|copyrightcheck) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(cosmos|crescent|curl|custo|da|diibot|disco|dittospyder|dragonfly) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(drip|easydl|ebingbong|ecatch|eirgrabber|emailcollector|emailsiphon) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(emailwolf|erocrawler|exabot|eyenetie|filehound|flashget|flunky) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(frontpage|getright|getweb|go.?zilla|go-ahead-got-it|gotit|grabnet) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(grafula|harvest|hloader|hmview|httplib|httrack|humanlinks|ilsebot) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(infonavirobot|infotekies|intelliseek|interget|iria|jennybot|jetcar) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(joc|justview|jyxobot|kenjin|keyword|larbin|leechftp|lexibot|lftp|libweb) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(likse|linkscan|linkwalker|lnspiderguy|lwp|magnet|mag-net|markwatch) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(mata.?hari|memo|microsoft.?url|midown.?tool|miixpc|mirror|missigua) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(mister.?pix|moget|mozilla.?newt|nameprotect|navroad|backdoorbot|nearsite) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(net.?vampire|netants|netcraft|netmechanic|netspider|nextgensearchbot) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(attach|nicerspro|nimblecrawler|npbot|octopus|offline.?explorer) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(offline.?navigator|openfind|outfoxbot|pagegrabber|papa|pavuk) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(pcbrowser|php.?version.?tracker|pockey|propowerbot|prowebwalker) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(psbot|pump|queryn|recorder|realdownload|reaper|reget|true_robot) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(repomonkey|rma|internetseer|sitesnagger|siphon|slysearch|smartdownload) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(snake|snapbot|snoopy|sogou|spacebison|spankbot|spanner|sqworm|superbot) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(superhttp|surfbot|asterias|suzuran|szukacz|takeout|teleport) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(telesoft|the.?intraformant|thenomad|tighttwatbot|titan|urldispatcher) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(turingos|turnitinbot|urly.?warning|vacuum|vci|voideye|whacker) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(wget|widow|wisenutbot|wwwoffle|xaldon|xenu|zeus|zyborg|anonymouse) [NC,OR]
# STARTS WITH WEB
RewriteCond %{HTTP_USER_AGENT} ^web(zip|emaile|enhancer|fetch|go.?is|auto|bandit|clip|copier|master|reaper|sauger|site.?quester|whack) [NC,OR]
# ANYWHERE IN UA -- GREEDY REGEX
RewriteCond %{HTTP_USER_AGENT} ^.*(craftbot|download|extract|stripper|sucker|ninja|clshttp|webspider|leacher|collector|grabber|webpictures).*$ [NC]
# ISSUE 403 / SERVE ERRORDOCUMENT
RewriteRule . - [F,L]

También nos ofrecen una alternativa con SetEnvIfNoCase

Blocking Bad Bots and Scrapers with .htaccess

Similar Posts

| | |

Versión 1.7.0 de WAMP5

ByLuis

wamp.pngHa sido lanzada la versión 1.7.0 de la aplicación WAMP (Windows Apache MySQL PHP), que añade además phpmyadmin.

Las novedades que nos ofrece son las siguientes:

  • Módulo de idiomas para el administrador de WAMP5
  • Compatibilidad con Windows Vista
  • Añadidos inicialmente 14 idiomas y adaptación de las funcionalidades y add-ons por el módulo de lenguaje
  • Apache 2.2.4
  • PHP 5.2.1
  • PHP 4.4.5 (addon PHP4)
  • phpmyadmin 2.9.2

WAMP5

20 cosas para volver segura tu configuración de Apache

ByLuis

Os presento una lista que he encontrado de 20 cosas que se pueden hacer para volver más segura tu configuración de Apache:

  • Antes de nada, asegurate de que tienes instalados todos los parches de seguridad.
  • Oculta la versión de Apache y otra información sensible.
  • Asegúrate de que Apache se ejecuta con su usuario propio y su grupo de usuarios.
  • Los ficheros fuera del web root no deben ser accesibles.
  • Desactiva el listado de directorios.
  • Desactiva los server side includes.
  • Desactiva la ejecución de CGIs.
  • No permitir que Apache siga los symbolic links.
  • No permitas opciones de una única vez.
  • Desactiva el soporte a .htaccess.
  • Usa mod_security.
  • Desactiva módulos innecesarios.
  • Asegurate que solo el root tiene acceso al fichero de configuración de Apache y a los binarios.
  • Disminuye el valor del timeout.
  • Limita el tamaño de las requests.
  • Limita el tamaño del cuerpo de un XML.
  • Limita la concurrencia.
  • Restringe el acceso mediante IP.
  • Ajusta las opciones de KeepAlive.
  • Ejecuta Apache en un entorno Chroot.

20 ways to Secure your Apache Configuration

| |

Añadir variables a CSS mediante PHP y htaccess

ByLuis

Curioso script que nos permite añadir variables a nuestras CSS usando para ello PHP y htaccess. No es algo que recomendaría hacer por tema de rendimiento, pero sí para proyectos en los que quienes realicen las páginas no tenga demasiado conocimiento de desarrollo web.
El proceso es sencillo, las css mediante Apache se redireccionan a un script PHP, en las CSS se crean variables del siguiente modo $color: #FFF; y luego el nombre de la variable se usa en cada estilo. El PHP parsea el fichero CSS y sustituye cada aparición de la variable por su correspondiente valor. Se cachea el resultado y se muestra.
Puede que haya modos más eficientes, como que el archivo CSS realmente no exista, y cuando sea así, se ejecute el script y se cachee, así la próxima vez que se acceda, no se pasa por el script PHP.
How to Add Variables to Your CSS Files
Vía / CSS Globe

| | |

MAMP: Apache, MySQL y PHP para Mac

ByLuis

mamp.pngMAMP es un instalador de Apache, MySQL y PHP para Mac OS X sencillo y que con unos pocos clicks ya tenemos instaladas las aplicaciones más habituales para desarrollo web.
mamp.jpg
La versión está realizado bajo licencia GNU General Public License, aunque existe una versión PRO, con licencia, que dispone de funcionalidades extra.
MAMP

mod_qos: prioridades para peticiones en Apache

ByLuis

QoS (calidad del servicio) se trata mecanismos de control para proveer diferentes prioridades a diferentes usuarios, aplicaciones y conexiones, realmente es más gestión de recursos que calidad del servicio. Cuando queremos limitar el uso de Apache y dar prioridades a diferentes peticiones podemos usar mod_qos.

Ofrece mecanismos para gestionar:

  • Número máximo de peticiones concurrentes a una URL o a un dominio virtual.
  • Limitación del ancho de banda, ya sea por número de peticiones por segundo o kilobytes por segundo.
  • Posibilidad de detectar usuarios especiales que no sufriran las restricciones o lo harán en menor grado.
  • Denegar operaciones no autorizadas
  • Limitaciones en el nivel TCP, por ejemplo el número máximo de conexiones permitidas desde una IP.

mod_qos

Vía / Apache-es

Sitellite: CMS en PHP, MySQL y Apache

ByLuis

Sitellite es un CMS realizado en PHP que accede a MySQL en Apache que ha sido probado en IE6+, Firefox 2+ y Safari 3, y que ofrece las siguientes características:

  • Multilenguaje
  • Editor WYSIWYG
  • Auto-save por si error en el navegador
  • Seguridad contra spam o ataques contra la sesión
  • Workflow de mensajes
  • Opciones SEO
  • y mucho más

Sitellite