Пошук
Архів
Посилання:
    проадажа сетевоего оборудования на сайте, доставка по Москве

Як легко напарсити базу сайтів / блогів

Якщо вам раптом знадобилася база сайтів, наприклад стенд-Алон блогів, то її можна знайти на якому-небудь форумі, але зазвичай такі бази не роздають безкоштовно, а продають. Можна напарсити базу самостійно, якщо вмієте програмувати, а якщо не вмієте або не полювання, то ось вам безкоштовний простий спосіб напарсіть базу сайтів без жодного програмування.

Для парсинга бази нам знадобляться 2 програми:

1. Download Master (безкоштовна).
2. Extract Link (скачати). Програма не вимагає установки, просто завантажуєте і запускаєте.

Припустимо, нам потрібна база блогів. Покажу на прикладі рейтингу блогів, як її отримати.

1. Прокручуємо сторінку рейтингу вниз і копіюємо посилання на останню сторінку:

blograte

2. Відкриваємо Download Master і додаємо групу закачувань:

downloadmaster1

3. Вставляємо скопійований урл останньої сторінки, замінюємо «111» на «$» і говоримо, що змінна повинна мінятися від 0 до 111, натискаємо ОК, потім ще раз:

downloadmaster2

4. Вибираємо, куди зберегти html-файли і починаємо закачування:

downloadmaster3

5. Після того, як усі html-сторінки збереглися, нам потрібно видерти з них посилання на блоги, для цього використовуємо Extract Link. Натискаємо кнопку «New Search», вибираємо папку зі збереженими html-сторінками, на вкладці Option відзначте галочками «Remove duplicate results» і «Remove duplicate base», на вкладці Exclude / Exclude Text напишіть порядково feedburner.com і blograte.ru, щоб у базі було менше непотрібних урлов:

extract1

6. Після парсинга html-сторінок отримаємо список урлов, що зустрічаються на збережених сторінках. У мене вийшло 3343 урлов замість 3337 (6 посилань на головній сторінці зайві). Результат зберігаєте в txt або excel-файл:

result

7. Отримали базу менш ніж за 10 хвилин. Залишається використовувати її за призначенням:)

Аналогічно можна парсити видачу пошуковиків, різні каталоги і рейтинги.

/ / Інтернет-магазин проекторів FineBuy продає проектори optoma, Acer, Benq, Epson, Lg та інші марки за вигідними цінами. Передбачена доставка по Росії.
/ / На сайті OnlyDvdRip можна абсолютно безкоштовно завантажити бойовики і будь-які інші фільми без реєстрації. Більшість фільмів в якості DVDRip.

Leave a Reply