Добавил грабер сайта работает так:
snail --project=sitegrabber --url="http://domen.org/ru/" --include="http://domen\.org/ru/"
--include - регулярное выражение
--count - работает также как и для других проектов
обновление здесь snail parser
воскресенье, августа 05, 2007
суббота, августа 04, 2007
Snail parser
Snail - это консольный парсер с гибкими настройками, написан на Python'е (демо версия доступна здесь Linux)
Для работы требуется Python 2.5.1 (pycurl)
В данный момент написан плагины для парсинга Google'a и Overture'ы
Основные характеристики/фичи:
Устанвка
Описание работы с плагином для парсинга Google:
Описание работы с плагином для парсинга Overture:
В конце работы скрипта получите результат работы в файл [ваше ключ слово].csv
Для работы требуется Python 2.5.1 (pycurl)
В данный момент написан плагины для парсинга Google'a и Overture'ы
Основные характеристики/фичи:
- модульность;
- гибкая настройка скрипта;
Устанвка
- распакуйте архив;
- зайдите в папку и введите команду: "sudo ln -s `pwd`/snail /usr/bin/snail" (тем самым создатите ссылку на запуск скрипта);
- всё теперь можете запускать скрипт с любой папки;
Описание работы с плагином для парсинга Google:
- настойки храняться в папке project (proect/google.py);
- для парсинга нужно создать/выбрать папку где будут храниться результаты работы;
- запустить в командной строке: "snail --project=google --keywords="[ваше ключ слово]" --lang-count=1";
- где
--project - название проекта,
--keywords - ключ. слова,
--lang-count - количество языков (по умолчанию максимальное возможное кол.),
--lang - языки, которые будут использоваться (--lang="ru en pl" или --lang="", по умолчанию все возможные языки),
--tld - домены (--tld="com ru de", по умолчанию все возможные домены),
--tld-count - аналогично --lang-count,
--stream-count - количество потоков (по умолчанию 5),
--count - макс. кол. загружаемых url'ов (по умолчанию бесконечно),
--proxy - http прокси (--proxy="68.02.57.15:8888"),
Описание работы с плагином для парсинга Overture:
- для парсинга нужно создать/выбрать папку где будут храниться результаты работы;
- запустить в командной строке: "snail --project=overture --keywords="[ваше ключ слово]" --count=1000";
- где
--project - название проекта,
--keywords - ключ. слова,
--stream-count - количество потоков (по умолчанию 5),
--count - макс. кол. загружаемых url'ов (по умолчанию бесконечно),
--proxy - http прокси (--proxy="68.02.57.15:8888"),
- для парсинга Overture'ы добавьте параметр --count чтобы ограничить кол. парингуемых url'ов
В конце работы скрипта получите результат работы в файл [ваше ключ слово].csv
вторник, октября 03, 2006
Вопрос - ответ: Нужно мне выдрать со страницы данные которые в метатеге description.
Был задан вопрос с umaxforum'a от AlexeyPro:
Ответ:
Полученная переменная - это массив с аттрибутами тега meta:
Нужно мне выдрать со страницы данные которые в метатеге description.
Функция PHP get_meta_tags не катит. Для нее надо чтоб строго по стандарту теги были прописаны.
http://php.net/get_meta_tags есть пример с регуляркой но не на всех страницах срабатывает т.к. есть куча бля вариантов
Исходный код
<Meta content="Xanax" name="description">
<Meta content="Xanax" name="description">
<Meta name="description" content="Xanax">
<Meta name="description" content="Xanax">
как видно name и content могут менятся местами и данные могут быть в кавычках так и без них.
Ответ:
$subj = <<<HTML
<Meta content="Xanax" name="description">
<Meta content="Xanax" name="description">
<Meta name="description" content="Xanax">
<Meta name="description" content="Xanax">
HTML;
if (preg_match_all('/]+)>/i', $subj, $match)){
$data = array();
foreach ($match[1] as $k=>$m) {
if (preg_match_all('/(\w+)=([^\s]+)/i', $m, $mm)){
array_shift($mm);
foreach ($mm[0] as $kk => $m) {
$data[$k][$m] = trim($mm[1][$kk], '"\'');
}
}
}
print_r($data);
}
Полученная переменная - это массив с аттрибутами тега meta:
Array
(
[0] => Array
(
[content] => Xanax
[name] => description
)
[1] => Array
(
[content] => Xanax
[name] => description
)
[2] => Array
(
[name] => description
[content] => Xanax
)
[3] => Array
(
[name] => description
[content] => Xanax
)
)
суббота, сентября 23, 2006
Подписаться на:
Сообщения (Atom)