Xpoint
   [напомнить пароль]

Идея сайта-агрегатора, как сделать лучше?

Метки: [без меток]
2012-03-21 22:41:08 [обр] Андрей Никитин[досье]
сообщение промодерировано

В общем, у меня идея сайта-агрегатора, который собирает информацию со сторонних сервисов (нужные новости, соц. сети, твиттер, объявления и прочее), делает всю рутину за пользователя - то есть авторизация, парсинг, отправка сообщений, и т.п. - все автоматизировано.
Теперь пользователю не надо бегать по сайтам, смотреть где что появилось, он заходит в личный кабинет и пожинает информацию, за него все готово, приправлено и подано на стол :)

Но суть вопроса не в этом. Я затрудняюсь с архитектурой, подскажите технически работать с сторонними сервисами? Если агрегатор будет общаться прямо с сервера, то сервисы могут забанить его по IP. А я хочу, чтобы для них агрегатор выглядел как обычный клиент, ведь мы лишь автоматизируем, то что человек может делать руками.

В общем варианты такие:

  1. Обычное десктопное приложение. Минусы: люди будут бояться устанавливать на компьютер.
  2. Плагин для браузера? Может ли плагин свободно отправлять запросы на любые хосты?
  3. Flash-ролик на сайте. Как я знаю, Flash не позволяет отправлять запросы на любые хосты.
  4. JavaScript и AJAX - по-моему тоже ограничения на целевые хосты.

Хотелось бы решение, чтобы пользователю не пришлось ничего устанавливать, или установка была бы максимально простой.
Приглашаю к обсуждению.

спустя 21 минуту [обр] Евгений Седов aka KPbIC(2/176)[досье]
Я не понял, а почему агрегатор должны забанить?
спустя 49 секунд [обр] Евгений Седов aka KPbIC(2/176)[досье]
М Перенесено из форума "Прочее"
спустя 3 минуты [обр] Евгений Седов aka KPbIC(2/176)[досье]
М Про поиск программистов я удалил. Если не передумаете, то, пожалуйста создайте отдельную тему в разделе "Вакансии", предварительно ознакомившись с FAQ раздела.
спустя 5 минут [обр] Андрей Никитин[досье]
Предполагаю, что если сторонние сервисы увидят много запросов с одного IP, то могут догадаться что это агрегатор и забанить его.
спустя 3 часа 46 минут [обр] Jared(0/26)[досье]
Андрей Никитин[досье] у ряда сервисов есть свои API.
С другими работайте через прокси ;)
спустя 8 часов [обр] Евгений Седов aka KPbIC(2/176)[досье]

Можно залезть под NAT крупного провайдера, и тогда забанить будет проблематично.

Андрей Никитин[досье] Я знаю сайты, которые зарабатывают на этом принципе, но они работают с прайс-листами. А что вы планируете собирать и будете ли производить какую-то обработку на сервере (анализ, может быть)? Не хватит ли для такой агрегации RSS?

спустя 24 минуты [обр] Андрей Никитин[досье]

Jared[досье] не у всех есть API, я просто хотел бы работать из-под клиента, для него же стараемся и автоматизируем работу.

Евгений Седов aka KPbIC[досье] да, можно было бы анализировать, выдавать агрегированную информацию из разных источников. Но для этого RSS мало, нужно уметь авторизовываться в сервисах, парсить информацию из личных кабинетов, и выдавать в удобном виде.

Неужели нет варианта чтобы работать из под клиента? Что думаете насчет плагина для браузера? Можно ли через него делать всю работу?

спустя 5 часов [обр] Евгений Седов aka KPbIC(2/176)[досье]
Андрей Никитин[досье] Вряд ли пользователи по доброй воле захотят ставить себе софт, который где-то сам регистрируется и куда-то что-то постит.
Powered by POEM™ Engine Copyright © 2002-2005