Перейти к содержимому








Фотография
Нужна помощь

Как спарсить пользователей ВК по статусам?



  • Авторизуйтесь для ответа в теме
Сообщений в теме: 6

#1 redirect

redirect
  • Platinum
  • Сообщений: 472
  • Регистрация: 04.10.2014
  • Заработано: 27 руб.
Репутация: 288

Награды: 24

  
  
  
  
  
  
  
  

Отправлено 20 Апрель 2017 - 19:17

Всем привет

 

Возникла задача

Есть список пользователей ВК

Нужно из них вытащить тех, в статусе которых (не семейное положение, а текст под именем-фамилией) есть одно из нескольких ключевых слов. Например, "продам, сдам, научу и т.д."

 

Как это можно сделать?


  • 0

#2 pohlebkin

pohlebkin
  • Premium
  • Сообщений: 370
  • Регистрация: 21.06.2014
  • Заработано: 9 руб.
Репутация: 122

Награды: 19

  
  
  
  
  
  
  
  

Отправлено 20 Апрель 2017 - 19:49

php-скрипт (или шаблон зенки) заходит на страницы всех этих пользователей

парсит html-код страницы, строку со статусом из этого html-кода выделить элементарно

далее так же элементарно ищется вхождение ваших ключевых слов в этой строке

 

без захода скрипта на каждую страницу не обойтись, апи вконтакте не дает возможности фильтровать пользователей по тексту в строке статуса


  • 1

#3 RusZarj

RusZarj
  • Сливапер LVL 6
  • Сообщений: 1 398
  • Регистрация: 27.01.2014
  • Заработано: 104 руб.
Репутация: 756

Награды: 24

  
  
  
  
  
  
  
  

Отправлено 20 Апрель 2017 - 22:18

php-скрипт (или шаблон зенки) заходит на страницы всех этих пользователей

парсит html-код страницы, строку со статусом из этого html-кода выделить элементарно

далее так же элементарно ищется вхождение ваших ключевых слов в этой строке

 

без захода скрипта на каждую страницу не обойтись, апи вконтакте не дает возможности фильтровать пользователей по тексту в строке статуса

Я бы сделал методом users.search и в параметр fields добавил status, получая сразу от 1к до 20к статусов за 1 запрос (зависит простой запрос или экзекут)
Далее продвигаться оффсетом.

Если использовать НЕ апи вк - будешь годами парсить, тут только апи, без вариантов.

Но если ты мазохист и хочешь на каждую страницу делать отдельный запрос статуса - юзай метод status.get


  • 0

#4 Тони

Тони

    Главный модератор

  • Модератор
  • Сообщений: 2 130
  • Регистрация: 18.03.2014
  • Заработано: 147 руб.
Репутация: 874

Награды: 32

  
  
  
  
  
  
  
  

Отправлено 20 Апрель 2017 - 23:01

закажи у RusZarj шаблон и не парься

он в этих делах не первый год крутится


  • 0

#5 pohlebkin

pohlebkin
  • Premium
  • Сообщений: 370
  • Регистрация: 21.06.2014
  • Заработано: 9 руб.
Репутация: 122

Награды: 19

  
  
  
  
  
  
  
  

Отправлено 21 Апрель 2017 - 02:12

Я бы сделал методом users.search и в параметр fields добавил status, получая сразу от 1к до 20к статусов за 1 запрос (зависит простой запрос или экзекут)
Далее продвигаться оффсетом.

Если использовать НЕ апи вк - будешь годами парсить, тут только апи, без вариантов.

Но если ты мазохист и хочешь на каждую страницу делать отдельный запрос статуса - юзай метод status.get

 

вы правы, так намного эффективнее

 

redirect писал что список пользователей уже есть готовый, как в этом случае использовать users.search?


  • 0

#6 RusZarj

RusZarj
  • Сливапер LVL 6
  • Сообщений: 1 398
  • Регистрация: 27.01.2014
  • Заработано: 104 руб.
Репутация: 756

Награды: 24

  
  
  
  
  
  
  
  

Отправлено 21 Апрель 2017 - 06:46

вы правы, так намного эффективнее

 

redirect писал что список пользователей уже есть готовый, как в этом случае использовать users.search?

Сообщение ТСа прочёл не очень внимательно, отвечал в основном тебе.

В случае с готовым списком пользователей получится максимум 25 пользователей за запрос, максимум 3 запроса в секунду, следовательно максимум 75 пользователей в секунду. 
При таком раскладе (в 3 потока) спарсить 50к статусов должно примерно за 12-15 минут, если нужно быстрей - то вариант только парсить с дополнительных аккаунтов, на каждый акк свой прокси, тогда можно масштабировать настолько, насколько хватит ресурсов компа или дедика.7


  • 0

#7 marshmellow

marshmellow
  • Platinum
  • Сообщений: 214
  • Регистрация: 02.08.2014
  • Заработано: 6 руб.
Репутация: 47

Награды: 22

  
  
  
  
  
  
  
  

Отправлено 21 Апрель 2017 - 11:45

Всем привет

 

Возникла задача

Есть список пользователей ВК

Нужно из них вытащить тех, в статусе которых (не семейное положение, а текст под именем-фамилией) есть одно из нескольких ключевых слов. Например, "продам, сдам, научу и т.д."

 

Как это можно сделать?

 

А зачем так усложнять? В том же таргетхантере есть функция "поиск по статусу" заливайте туда свою базу и проработайте её по своим запросам. Берёте любой ключик из гугла на 2 бесплатных дня - вам с головой хватит. 


  • 2



Похожие темы Collapse

Количество пользователей, читающих эту тему: 2

0 пользователей, 2 гостей, 0 анонимных

×

Зарегистрируйся моментально!