3.9. Внешние парсеры

3.9.1. Поддерживаемые типы парсеров

Indexer поддерживает четыре типа парсеров, такие что:

• читают данные из stdin и выдают результат в stdout;

• читают данные из файла и выдают результат в stdout;

• читают данные из файла и помещают результат в файл;

• читают данные из stdin и помещают результат в файл.

3.9.2. Установка парсеров

1. Конфигурирование типов файлов (mime types)

   Сконфигурируйте Ваш веб-сервер на выдачу соответствующего заголовка Content-Type. Например, для apache, смотрите файл mime.types, большинство типов файлов уже указаны в нём.

   Если необходимо индексировать файлы на локальной файловой системе, или используя протокол ftp используйте команду AddType в indexer.conf для привязки типа файла к расширению файлов. Например:

   AddType text/html *.html

2. Добавление парсеров

   Добавление строк с определениями парсеров. Эти строки имеюют следующий формат с треми аргументами:

   Mime <from_mime> <to_mime> [<command line>]

   Например, следующая строка определяет парсер для man-страниц:

   # Use deroff for parsing man pages ( *.man )
   Mime  application/x-troff-man   text/plain   deroff

   Этот парсер будет получать данные из stdin и повещать результат в stdout.

   Некоторые парсеры не могут работать с stdin, а требуют указания имени файла для чтения данных. В этом случае indexer создаёт временный файл в директории /tmp, который будет удалён после завершения работы парсера. Используйте макро $1 в командной строке парсера вместо требуемого имени файла. Например, команда Mimeдля конверотора catdoc, преобразующего файлы MS Word в ascii может выглядеть так:

   Mime application/msword text/plain "/usr/bin/catdoc -a $1"

   Если парсер записывает результат своей работы в файл, используйте макро $2. indexer заменить $2 на имя временного файла, запустит парсер, прочитает результат из этого временного файла, а затем удалит его. Например:

   Mime application/msword text/plain "/usr/bin/catdoc -a $1 >$2"

   Парсер выше будет читать данные из первого временного файла и записывать результат во второй временный файл. Оба временных файла будут удалены по окончании работы парсера. Заметим, что результат использования этого парсера будет абсолютно таким же, как и предыдущего, они отличаютя только сопсобом выполнения: файл->stdout и файл->файл соответственно.

   Если параметр <command line> опущен, это означает, что два MIME-типа являются синонимами. Например, некоторые сайты отдают MP3 файлы с неправильным MIME-типом application/mp3. Вы можете исправить его на корректный audio/mpeg и тем самым обработать его:

   Mime application/mp3 audio/mpeg

3.9.3. Воизбежание зависания парсера при выполнении

Воизбежание подвисания парсера при выполнении Вы можете указать в Вашем файле indexer.conf число времени в секундах, отводимое на работу парсеру, при помощи команды ParserTimeOut. Напрмиер:

ParserTimeOut 600

Значение по умолчанию - 300 секунд, т.е. 5 минут.

3.9.4. Конвееры в командных строках парсеров

Вы можете использовать конвееры в командных строках парсеров. Например, следующие строки необходимы при индексировании загнузипленых страниц man на локальном диске:

AddType  application/x-gzipped-man  *.1.gz *.2.gz *.3.gz *.4.gz
Mime     application/x-gzipped-man  text/plain  "zcat | deroff"

3.9.5. Кодировки и парсеры

Некоторые парсеры могут выдавать результат в кодировке, отличной от указанной в команда LocalCharset. Указание кодировки парсера даёт возможность indexer перекодировать результат в нужную кодировку. Например, если catdoc сконфигурирован на вывод результата в windows-1251, а в LocalCharset указана кодировка koi8-r, используйте следующую команду для парсера документов MS Word:

Mime  application/msword  "text/plain; charset=windows-1251" "catdoc -a $1"

3.9.6. Переменная окружения DPS_URL

При выполнении парсера, indexer создаёт переменную окружения DPS_URL, содержащую URL обрабатываемого документа. Вы можете использовать эту переменную в Ваших скриптах парсеров.

3.9.7. Некоторые внешние парсеры

• RPM парсер от Mario Lang <lang@zid.tu-graz.ac.at>

  /usr/local/bin/rpminfo:

  #!/bin/bash
  /usr/bin/rpm -q --queryformat="<html><head><title>RPM: %{NAME} %{VERSION}-%{RELEASE}
  (%{GROUP})</title><meta name=\"description\" content=\"%{SUMMARY}\"></head><body>
  %{DESCRIPTION}\n</body></html>" -p $1

  indexer.conf:

  Mime application/x-rpm text/html "/usr/local/bin/rpminfo $1"

  Он даёт такую информацию об RPM:

  3. RPM: mysql 3.20.32a-3 (Applications/Databases) [4]
         Mysql is a SQL (Structured Query Language) database server.
         Mysql was written by Michael (monty) Widenius. See the CREDITS
         file in the distribution for more credits for mysql and related
         things....
         (application/x-rpm) 2088855 bytes

• catdoc конвертер MS Word в текст. Home page, также указан на Freshmeat

  indexer.conf: Mime application/msword  text/plain  "catdoc $1"

• xls2csv конвертор MS Excel в текст. Поставляется в пакете catdoc.

  indexer.conf: Mime application/vnd.ms-excel text/plain "xls2csv $1"

• pdftotext конвертор Adobe PDF в текст. Поставляется в пакете xpdf. Homepage, также указан на Freshmeat

  indexer.conf: Mime application/pdf text/plain "pdftotext $1 -"

• unrtf конвертор RTF в html. Homepage

  indexer.conf:
  Mime text/rtf*        text/html "/usr/local/dpsearch/sbin/unrtf --html $1
  Mime application/rtf  text/html "/usr/local/dpsearch/sbin/unrtf --html $1

• xlhtml конверотор XLS в html

  Homepage

  indexer.conf:

  Mime	application/vnd.ms-excel  text/html  "/usr/local/dpsearch/sbin/xlhtml $1"

• ppthtml Конвертор PowerPoint (PPT) в html. Часть проекта xlhtml 0.5.

  Homepage

  indexer.conf:

  Mime	application/vnd.ms-powerpoint  text/html  "/usr/local/dpsearch/sbin/ppthtml $1"

• Использование vwHtml Конвертор MS Word (DOC) в html.

  /usr/local/dpsearch/sbin/0vwHtml.pl:

  #!/usr/bin/perl -w
  
  $p = $ARGV[1];
  $f = $ARGV[1];
  
  $p =~ s/(.*)\/([^\/]*)/$1\//;
  $f =~ s/(.*)\/([^\/]*)/$2/;
  
  system("/usr/local/bin/wvHtml --targetdir=$p $ARGV[0] $f");

  indexer.conf:

  Mime  application/msword       text/html  "/usr/local/dpsearch/sbin/0wvHtml.pl $1 $2"
  Mime  application/vnd.ms-word  text/html  "/usr/local/dpsearch/sbin/0wvHtml.pl $1 $2"

• swf2html из Flash Search Engine SDK

  indexer.conf:

  Mime  application/x-shockwave-flash  text/html  "/usr/local/dpsearch/sbin/swf2html $1"

• djvutxt из djvuLibre

  indexer.conf:

  Mime  image/djvu  text/plain  "/usr/local/bin/djvutxt $1 $2"
  Mime  image/x.djvu  text/plain  "/usr/local/bin/djvutxt $1 $2"
  Mime  image/x-djvu  text/plain  "/usr/local/bin/djvutxt $1 $2"
  Mime  image/vnd.djvu  text/plain  "/usr/local/bin/djvutxt $1 $2"

Пожалуйста, присылайте Ваши скрипты и конфигурации для новых парсеров на адрес <dataparksearch@datapark.ru>.

3.9.8. Библиотека libextractor

DataparkSearch может быть собран с библиотекой libextractor. При помощи этой бибилиотеки DataparkSearch может индексировать ключевые слова из файлов следующих форматов: PDF, PS, OLE2 (DOC, XLS, PPT), OpenOffice (sxw), StarOffice (sdw), DVI, MAN, FLAC, MP3 (ID3v1 and ID3v2), NSF(E) (NES music), SID (C64 music), OGG, WAV, EXIV2, JPEG, GIF, PNG, TIFF, DEB, RPM, TAR(.GZ), ZIP, ELF, S3M (Scream Tracker 3), XM (eXtended Module), IT (Impulse Tracker), FLV, REAL, RIFF (AVI), MPEG, QT и ASF.

Чтобы собрать DataparkSearch с библиотекой libextractor, установите библиотеку, а затем сконфигурируйте и соберите DataparkSearch.

Ниже приводится соответствие между типами keyword в libextractor версии до 0.6 и именами секций DataparkSearch:

Если секция из списка выше не указана в файле sections.conf, значение ключевого слова соответствующего типа будет записано как секция body. Тоже самое относится к ключевым словам неизвестно типа.

Для libextractor 0.6.x в качестве имен секций используются значения, возвращаемые функцией EXTRACTOR_metatype_to_string.