Xpoint
   [напомнить пароль]

Как скопировать страницу со всем содержимым из интернета

Метки: [без меток]
2007-06-28 18:24:17 [обр] noindex[досье]

Здравствуйте уважаемые!
Сразу хочу оговориться, что не воровства ради, а для помощи коллегам.

Так сложилось, что в нашей компании досту к интернету есть далеко не у всех, за то у всех есть доступ к интранет ресурсу. Уже не первый раз нас просят сделать копию сервиса Яндекс.пробки на этом ресурсе, но я в php не большой специалист, поэтому даже не знаю с какой стороны лучше подступиться...
Там ведь все не ограничивается одной картинкой, а подгружается через скрипты, слои.
А снять скриншот средствами php, насколько мне известно, тоже пока не представляется возможным...:)

Может есть что-то вроде библиотек или готовых скриптов, которые позволяет скачать все файлы учавствующие в рендеринге страницы на свой хост, и переписать под него все линки?

Заренее благодарен за ответы!

спустя 1 час 30 минут [обр] Алексей Севрюков(162/1280)[досье]
noindex[досье] Очень сомневаюсь что Вы сможете сделать оффлайн копию Яндекс.Пробки на своем сервере. Даже если Вы и найдете инструмент который позволит это сделать, то все равно время скачивания и размер этого бакапа будут просто гигантскими.
спустя 3 часа 44 минуты [обр] Привидение+(611/795)[досье]

А, главное, непонятно, почему обязательно быть специалистом в php.
ведь это язык создания сайтов, а не копирования страниц с содержимым.

Может есть что-то вроде библиотек или готовых скриптов, которые позволяет скачать все файлы учавствующие в рендеринге страницы
Нет, такого инструмента не существует.

И, я думаю, совсем не в коллегах, страдающих без интернета, дело.

спустя 3 часа 25 минут [обр] Роман Чемисов(41/327)[досье]
noindex[досье]
Хм, а чем Вам не угодил обычный прокси?
спустя 6 часов [обр] noindex[досье]

Алексей Севрюков[досье], прошу прощения, я наверное не совсем точно сформулировал задачу...
Мне не нужен весь сервис яндекс пробок, мне нужна только одна страничка, например эта: http://maps.yandex.ru/map_traf......ool=zoom_in&setsize=1&slices=1
При этом в принципе достаточно скриншота.
Т.е. мне не нужны возможности масштабирования, поиска и т.д.
Только одна страничка :)
При этом "свежесть" этой странички может быть минут 30 (т.е. страничка не обязательно генерится в реалтайме).
 
Привидение[досье]

А, главное, непонятно, почему обязательно быть специалистом в php.
ведь это язык создания сайтов, а не копирования страниц с содержимым.

Кхм, ну как же при чем?
При том что как раз на сайте (это же внутренний информационный ресурс, да?), при помощи php хочется создать страничку-клон с пробками :)
Не вижу в этом ничего экзотического:)

И, я думаю, совсем не в коллегах, страдающих без интернета, дело.

Если Вы намекаете на то, что разговор идет о сайте-клоне яндекс.пробки (для сбора трафика и т.д.), то Вы ошибаетесь.

Роман Чемисов[досье]

Хм, а чем Вам не угодил обычный прокси?

Тем что к прокси я никакого отношения не имею :)
У нас есть интранет портал, написанный на php. Я этот ресурс поддерживаю и развиваю.
Предложение пустить народ через проксю просто не ко мне, а к сисадминам:)
К ним в принципе обращались с этим вопросом, но что-то у них не сложилось в том плане что сложно контролировать заход именно на одну страничку.

2ALL
Помню год назад натыкался на ресурс копию ЖЖ. Там так и было заявлено - сайт для тех кому админы закрыли доступ в ЖЖ.
Собственно это была полная копия livejournal.com
И даже если набираем ru_webdev.xxx.ru, открывается страничка-клон ru_webdev.livejournal.com

Мне нужно что-то подобное, но естественно не в таких масштабах и не в реальном времени.

спустя 17 минут [обр] Прокаев2(13/35)[досье]
спустя 10 минут [обр] noindex[досье]
Прокаев2[досье]
Результат отличный, а вот средства...:)
Хотелось бы решить вопрос не выходя за рамки php и библиотек к нему:)
Но как вариант, в принципе применим, спасибо!:)
спустя 22 минуты [обр] Привидение+(611/795)[досье]

Я как я уже сообщал, в php и библиотеках к нему НЕТ средств сделать скриншот.

Отличие яндекс-пробок от ЖЖ состоит в том, что у ЖЖ

  1. Полностью открытый код, который может скопировать любой желающий.
  2. Полностью открытые данные, которые транслируются в формате XML и их может прочитать любой желающий.

PS. Хуже всего для сообщества профессионалов - это профан, не понимающий принципиальных ограничений технологии, но свято уверенный в том, что его личный каприз язык обязан исполнить. И который будет упрямо долбить свое "я видел - значит, можно! подайте мне решение!"
Единственный технологический аргумент при этом - "хочется!"

PPS. Рекомендую посетить еще вот эту страничку: http://maps.yandex.ru/agreement.xml

спустя 29 минут [обр] Роман Чемисов(41/327)[досье]
noindex[досье]
Вообще то я имел в виду что-то вроде этого: PHPProxy
спустя 27 минут [обр] noindex[досье]

Привидение[досье]
Вы серьезно ?:)
Скажите, а Вы готовы поощрить профана скажим 3000 евро, если в течение месяца он предоставит решение на php, выполняюще следующие функии:

Вывод на экран страницы/фрагманта страницы с картой, визуально идентичной http://maps.yandex.ru/map_traf......h=102400&slices=1&tool=zoom_in
без сохранения функционала

?

Роман Чемисов[досье]
Спасибо, буду курить :)

спустя 26 минут [обр] Василий Свиридов(53/175)[досье]

Если вам так нужно для страждущих - почему бы не воспользоваться текстовой версией этого ресурса?

http://maps.yandex.ru/summary_traffic.xml?mapID=101

спустя 17 минут [обр] noindex[досье]
Василий Свиридов[досье]
Думаю Вы согласитесь, что графика понагляднее будет...
спустя 19 минут [обр] Привидение+(611/795)[досье]
Василий Свиридов[досье]
Может, хватит уже обсуждать, как половчее украсть чужую информацию?
спустя 43 минуты [обр] noindex[досье]
Привидение[досье]
Если я буду заходить каждые полчаса на яндекс.пробки, жать alt+print screen, сохранять картинку в джепег и выкладывать её в шару локалки, Вы так же будуте переживать ?
спустя 13 минут [обр] Алексей Севрюков(162/1280)[досье]

noindex[досье]

Скажите, а Вы готовы поощрить профана скажим 3000 евро, если в течение месяца он предоставит решение на php, выполняюще следующие функии:

3k euro за одну строчку кода? Вы Билл Гейтс?

спустя 9 минут [обр] noindex[досье]

Алексей Севрюков[досье]
Нет, я это не он...
А что, есть сходство ?О_о

P.S.: По поводу одной строчки..., Вы шутить изволили ?

спустя 2 часа 12 минут [обр] Алексей Севрюков(162/1280)[досье]

noindex[досье] Нет, не изволил, но конечно утрирую, строчек будет чуть больше, но буквально единицы. Если конечно нужна только одна картинка карты пробок, без остального интерфейса.

Сходство есть, его строчки кода тоже очень дорогие, только толку мало от них.

спустя 20 минут [обр] noindex[досье]

Алексей Севрюков[досье]
Да, нужна только картинка...:)
Просить код не буду.
Ну у меня даже есть предположение что в них писать...
Качать файл странички + файлы учавствующие в рендеринге в сессии, менять все пути к этим файлам на php_self?session_filename и отдавать их заголовками...
Так ?

По поводу 3000, это же не на продажу, это сумма которая покажет реальную цену заявлению <[это профан, не понимающий принципиальных ограничений технологии, но свято уверенный в том, что его личный каприз язык обязан исполнить. И который будет упрямо долбить свое "я видел - значит, можно! подайте мне решение!"]> :)

спустя 11 минут [обр] Алексей Севрюков(162/1280)[досье]
noindex[досье] Так Роман то прав в этом случае. Просто Вы под конец изменили требования.
спустя 57 минут [обр] noindex[досье]
Алексей Севрюков[досье]
Покажите мне пожалуйста, какие требования я изменил :)
спустя 1 час 10 минут [обр] Алексей Севрюков(162/1280)[досье]

noindex[досье]

Может есть что-то вроде библиотек или готовых скриптов, которые позволяет скачать все файлы учавствующие в рендеринге страницы на свой хост, и переписать под него все линки?

А потом Вас вдруг устроил мой вариант с картинкой:

Да, нужна только картинка...:)
Просить код не буду.
спустя 37 минут [обр] noindex[досье]

Алексей Севрюков[досье]
А разве Ваш вариант с картинкой не подразумевает моего

Может есть что-то вроде библиотек или готовых скриптов, которые позволяет скачать все файлы учавствующие в рендеринге страницы на свой хост, и переписать под него все линки?

?

спустя 15 минут [обр] Алексей Севрюков(162/1280)[досье]
noindex[досье] нет конечно. Я же написал "Если конечно нужна только одна картинка карты пробок, без остального интерфейса.". Не снимок страницы, а только сама карта.
спустя 1 час 11 минут [обр] noindex[досье]

Ну про невозможность снимка, я сказал сам, в первом посте;)
Всвоем втором посте, я максимально конкретизи овал что мне нужно.
И уже после этого, был пост от Романа, в котором он повествовал о профанах и технологически невозможных вещах.

Ваш пост вообще появился через несколько реплик, что сильно затрудняет смену условий, т.к. за 3000 евро, я пок
жу решение, которое описал еще до Вашего поста.

И про то что интерфейс не нужен, я писал до поста Романа и до Вашего.
Почитайте:)

Вообще тема потихоньку отходит от намеченной цели.

Не могли бы Вы ответить на мой вопрос касательно алгоритма работы скрипта?

Удачных выходных!

спустя 2 часа 5 минут [обр] Alexander O(0/460)[досье]
noindex[досье] вам бы с Евгением Тарасовым поговорить... Он бы подсказал насчет алгоритма
спустя 2 дня 17 часов [обр] Alexey V.(3/108)[досье]

noindex[досье] Программы для выкачивания "страницы целиком" по расписанию, конечно, существуют. Тот же Teleport Pro, например. Только в данном случае они Вам не помогут, т.к. карта - тайловая (из картинок-кусочков), и их подгрузка выполняется ява-скриптом отдельно от кода страницы. Выполнять скрипт такие программы не умеют, у них просто нет среды ("браузера") для выполнения.

Но если вам нужна только одна картинка на стартовом масштабе, то сохраните страницу из браузера в режиме "с картинками". Найдите там ссылку на изображение с пробками (оно накладывается поверх карты). И обновляйте затем только одну эту картинку. А уж выкачивать отдельный файл по таймеру совсем просто.

Только непонятно, что толку с одного обзорного масштаба. Там даже улицы толком не разглядеть.. Зачем?!

спустя 25 минут [обр] noindex[досье]

Alexey V.[досье]
Ммм... мне как бы не программа нужна (т.к. в этом случае подойдет старый добрый printscreen), мне нужно сделать это все на сайте и в автоматическом режиме :)

На стартовом масштабе улиц конечно не разглядеть, но большенству наших товарищей хватает раскраскки мкада и основных шоссе...:)

спустя 6 минут [обр] Alexey V.(3/108)[досье]
noindex[досье] Так какие проблемы? Я же написал - сохраните всю страницу целиком (из браузера) и выложите что сохранилось на свой интранет-сайт. Затем автоматически обновляйте только картинку с пробками.
спустя 56 минут [обр] noindex[досье]
Alexey V.[досье]
Сорри, ступил...:)
Действительно отличное решение, на грани гениальности...:)
Спасибо!
Powered by POEM™ Engine Copyright © 2002-2005