Luke: herramienta de diagnóstico para Apache Lucene

ByLuis

Luke es una herramienta de desarrollo y diagnóstico, que accede a los índices de Lucene y permite mostrar y modificar sus contenidos.
luke.png
Es posible navegar mediante el id del documento o por términos de búsqueda, permitiendo ver los documetos y copiarlos en el clipboard. Además permite ver una lista de los términos mas buscados, ejecutar búsquedas, analizar los resultados, borrar los resultados, editar los campos del documento original y reinsertarlos en el índice y optimizar índices.
Requiere Java 1.5 o superior.
Luke

Similar Posts

| |

Agregax : Buscador de contenidos

ByLuis

agregax.jpg Para algunos de los que escribimos aquí es una alegría que “nazca” algo como lo que ha “parido” Pau Iglesias. Un buscador de contenidos para el ámbito de la blogosfera hispana. Pau lo ha llamado agregax haciendo referencia al proceso de agregación de contenidos desde fuentes RSS.

“Se trata de un buscador de posts que indexa los contenidos procedentes de feeds XML y permite realizar búsquedas en titulares, etiquetar automáticamente los contenidos, localizar los posts de un determinado blog y consultar referencias a enlaces.”

Desde Sentidoweb lo apoyamos y deseamos muchísima suerte a un proyecto que esperábamos con muchas ganas. Ojalá dure y ojalá el servidor donde está albergado se siga comportando como lo está haciendo ahora mismo.

Agregax

Vía / Pau Iglesias

| | |

Laboratorio: marcar búsquedas de Google

ByLuis

Algo que suele ser interesante es cuando realizamos una búsqueda en Google, que en la página a la que accedemos desde los resultados de Google, nos resalte las palabras que hemos buscado, aunque la barra de Google ya te da la oportunidad de hacerlo.

El proceso es sencillo, tenemos que capturar la URL desde la que nos llaman, dada por $_SERVER[‘HTTP_REFERER’], obtener las palabras que hemos puesto a buscar el Google (vienen en el parámetro q) y después capturar la salida, como se realizaba en el caso de la caché, y cuando tenemos lo que vamos a enviar por la salida, sustituir cada una de las palabras por el código HTML que queramos que resalte la palabra en cuestión.

<?php
// Filtro para el array para quedarnos solo con la QUERY
function filtro($val) {
return strpos($val, 'q=') === 0;
}
// Obtenemos la página desde la que nos llaman
$url = $_SERVER['HTTP_REFERER'];
// Nos quedamos solo con los parámetros
$url = parse_url($url);
$url = $url['query'];
// Nos quedamos solo con el parámetro que nos interesa
$parametros = split("&", $url);
$cadena = array_filter($parametros, "filtro");
$cadena = urldecode(substr(array_shift($cadena), 2));
// Cacheamos la salida
ob_start();
?>
...
Página HTML
...
<?php
// Recuperamos el buffer de salida
$html = ob_get_clean();
// Por cada palabra de la cadena de búsqueda, la sustituimos por el HTML necesario para resaltar
$palabras = split(" ",$cadena);
foreach ($palabras as $palabra) {
$html = preg_replace('/('.$palabra.')/i', '<b>$1</b>', $html);
}
// Mostramos el buffer por la saliad
echo $html;
?>

Código

| |

Crear un buscador simple para tu página mediante PHP

ByLuis

Algo fundamental para una página web es el uso de un buscador para acceder al contenido deseado de forma sencilla. Hace tiempo que andaba buscando este artículo y gracias a dzone lo he encontrado.
Se trata de crear un script en PHP para crear un buscador en nuestro sitio web. Para ello primero tendremos que crear un estructura en la base de datos para almacenar la relación entre palabras y páginas. Se crearán tres tablas, una para almacenar las páginas, otra para almacenar las palabras y otra para almacenar la relación entre páginas y palabras.
En segundo lugar deberemos indexar las páginas, usando un script que pasándole una URL, se la baje, le elimine todas las etiquetas HTML, la separe en palabras y guarde todos los datos en las tablas.
Por último crear una página para realizar la búsqueda, un sencillo formulario y una consulta a la BD nos devolverá una lista de páginas que contiene dicha palabra.
La verdad es que más simple no puede ser, y lógicamente no parece muy óptimo. Se le podrían hacer varios ajustes al script, como por ejemplo crear una lista de palabras “tabú”, las cuales no indexará (preposiciones, artículos). También en la tabla de relaciones entre páginas-palabras se le podría incluir la posición de la palabra, así si queremos buscar dos palabras seguidas, poder localizar mejor estos casos. Otra opción sería localizar las etiquetas HTML de cabeceras (h1, h2, …) de la página, las etiquetas para resaltar texto (strong, em, b, i, u) y darle una mayor importancia o prioridad a esas palabras en la tabla de relaciones, así los resultados que nos devuelva la consulta, los podemos ordenar por prioridad, y no tener que encontrarnos entre los primeros resultados páginas que poco tienen que ver con lo que buscamos simplemente porque contienen la palabra. Y por último, se me ocurre que en la tabla de páginas se le podría añadir un campo que indicara el número de visitas que recibe, priorizando las busquedas en páginas más visitadas.
Este método no creo que sea el mejor, y seguro que hay algoritmos más optimos, pero creo que motores de búsqueda implementados en algunos CMS como por ejemplo WordPress son peores aún. Por ejemplo WordPress busca la palabra en cada post escrito y almacenado en la BD. Y si el CMS ya usa expresiones regulares peor aún, porque aún lo mucho que me gustan, si que es cierto que consumen muchos recursos. Así les ha podido pasar a algunos blogs que han tenido que usar la búsqueda mediante Google en vez de la que incluye su CMS.
Algo que también estaría muy bien sería dotar al motor de la capacidad de ignorar acentos, así si buscamos “cancion” nos debería devolver los mismos resultados que si buscamos “canción”. Con el método explicado sería relativamente sencillo, ya que solo habría que almacenar las palabras en la tabla de palabras sin acento y luego al ser enviada por el buscador, quitarle los acentos para que se busque sin ellos.
Building a Simple Search Engine with PHP
Vía / dzone

Nueva versión de Sphinx

ByLuis

Sphinx es un buscador de texto bastante rápido y potente (pensado para bases de datos grandes), que permite ser integrado con otras bases de datos como MySQL.

Acaban de sacar la versión 0.9.8 después de 15 meses de trabajo (y justo después de que yo ayer me bajara la versión anterior y la instalara). Existen más de 70 nuevas características, de las cuales destacaría:

  • Soporte para libstemmer, permitiendo stemmers para nuevos lenguajes.
  • Posibilidad de eliminar elementos HTML.
  • Decodificar entidades HTML.
  • Añadidas nuevos modos de crear excerpts.
  • Mejorado el motor para obtener queries.
  • Nuevos modos de ordenación de resultados.
  • Nuevas APIs para Java, C y Ruby.

Sphinx

SupoSE: búsquedas en el repositorio de SVN

ByLuis

Subversion Repository Search Engine (SupoSE) es un buscador implementado en Java que nos permite encontrar contenido dentro de nuestro repositorio SVN. Indexa todos los ficheros (menos los binarios) y ayuda a encontrar lo que quieres en todos los ficheros de texto, como por ejemplo los scripts de nuestras aplicaciones, en documentos OpenOffice…
No me queda muy claro si permite indexar ficheros Word, Excel y parecidos y si admite buscar en el historial del repositorio, en la página no lo indican muy bien.
SupoSE
Sea como fuera, es una buena herramienta a tener en cuenta.

|

Microsoft pagará a empresas por usar su buscador

ByLuis

live2.pngMicrosoft pretende probar un programa por el cual se pagará a las empresas para que usen su buscador web Live.
A cambio de que se use su buscador, Microsoft ofrece créditos para servicios o training. Lo que pretende conseguir es que a cambio de estos créditos, los usuarios envien comentarios de valor sobre el uso del buscador web.
Incialmente ofrecerá una cantidad fija de 25.000$ a la empresa y entre 2$ y 10$ por cada computadora anualmente, dependiendo esta última cantidad de la cantidad de búsquedas que realice. Así, por ejemplo una empresa con 10.000 ordenadores y desde la que se hagan muchas búsquedas, podrá ganar unos 120.000$, y una empresa con 50.000 ordenadores y un nivel de búsquedas normal, podrá ganar unos 200.000$.
Estoy de acuerdo con opiniones sobre lo absurdo de esta medida, porque aunque yo ya he visto que los administradores te añaden en el IE una barra de búsquedas, no quita que la gente pueda usar el Firefox, o que instale la de Google, o cualquier otra cosa que evite lo que Microsoft y la empresa pretenden.
Microsoft: Use our search and we’ll pay you