воскресенье, августа 05, 2007

Обновление Snail

Добавил грабер сайта работает так:
snail --project=sitegrabber --url="http://domen.org/ru/" --include="http://domen\.org/ru/"
--include - регулярное выражение
--count - работает также как и для других проектов

обновление здесь snail parser

суббота, августа 04, 2007

Snail parser

Snail - это консольный парсер с гибкими настройками, написан на Python'е (демо версия доступна здесь Linux)
Для работы требуется Python 2.5.1 (pycurl)

В данный момент написан плагины для парсинга Google'a и Overture'ы

Основные характеристики/фичи:

  • модульность;
  • гибкая настройка скрипта;


Устанвка

  1. распакуйте архив;
  2. зайдите в папку и введите команду: "sudo ln -s `pwd`/snail /usr/bin/snail" (тем самым создатите ссылку на запуск скрипта);
  3. всё теперь можете запускать скрипт с любой папки;


Описание работы с плагином для парсинга Google:

  • настойки храняться в папке project (proect/google.py);
  • для парсинга нужно создать/выбрать папку где будут храниться результаты работы;
  • запустить в командной строке: "snail --project=google --keywords="[ваше ключ слово]" --lang-count=1";
  • где
    --project - название проекта,
    --keywords - ключ. слова,
    --lang-count - количество языков (по умолчанию максимальное возможное кол.),
    --lang - языки, которые будут использоваться (--lang="ru en pl" или --lang="", по умолчанию все возможные языки),
    --tld - домены (--tld="com ru de", по умолчанию все возможные домены),
    --tld-count - аналогично --lang-count,
    --stream-count - количество потоков (по умолчанию 5),
    --count - макс. кол. загружаемых url'ов (по умолчанию бесконечно),
    --proxy - http прокси (--proxy="68.02.57.15:8888"),


Описание работы с плагином для парсинга Overture:

  • для парсинга нужно создать/выбрать папку где будут храниться результаты работы;
  • запустить в командной строке: "snail --project=overture --keywords="[ваше ключ слово]" --count=1000";
  • где
    --project - название проекта,
    --keywords - ключ. слова,
    --stream-count - количество потоков (по умолчанию 5),
    --count - макс. кол. загружаемых url'ов (по умолчанию бесконечно),
    --proxy - http прокси (--proxy="68.02.57.15:8888"),
  • для парсинга Overture'ы добавьте параметр --count чтобы ограничить кол. парингуемых url'ов

В конце работы скрипта получите результат работы в файл [ваше ключ слово].csv

вторник, октября 03, 2006

Вопрос - ответ: Нужно мне выдрать со страницы данные которые в метатеге description.

Был задан вопрос с umaxforum'a от AlexeyPro:

Нужно мне выдрать со страницы данные которые в метатеге description.
Функция PHP get_meta_tags не катит. Для нее надо чтоб строго по стандарту теги были прописаны.
http://php.net/get_meta_tags есть пример с регуляркой но не на всех страницах срабатывает т.к. есть куча бля вариантов
Исходный код

<Meta content="Xanax" name="description">
<Meta content="Xanax" name="description">
<Meta name="description" content="Xanax">
<Meta name="description" content="Xanax">

как видно name и content могут менятся местами и данные могут быть в кавычках так и без них.

Ответ:
$subj = <<<HTML
<Meta content="Xanax" name="description">
<Meta content="Xanax" name="description">
<Meta name="description" content="Xanax">
<Meta name="description" content="Xanax">
HTML;

if (preg_match_all('/]+)>/i', $subj, $match)){
$data = array();
foreach ($match[1] as $k=>$m) {
if (preg_match_all('/(\w+)=([^\s]+)/i', $m, $mm)){
array_shift($mm);
foreach ($mm[0] as $kk => $m) {
$data[$k][$m] = trim($mm[1][$kk], '"\'');
}
}
}
print_r($data);
}


Полученная переменная - это массив с аттрибутами тега meta:


Array
(
[0] => Array
(
[content] => Xanax
[name] => description
)

[1] => Array
(
[content] => Xanax
[name] => description
)

[2] => Array
(
[name] => description
[content] => Xanax
)

[3] => Array
(
[name] => description
[content] => Xanax
)

)

суббота, сентября 23, 2006