Автор Тема: Как ограббить сайт?  (Прочитано 5924 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн ToledO

  • Пользователь
  • Сообщений: 99
    • Просмотр профиля
Как ограббить сайт?
« : 02 Апрель 2014, 22:56:11 »
Ребята, нужна программа позволяющая выкачивать картинки с сайта... Есть сайт, там сканы обложек с разных консолей, прелесть в том что там максимально полное собрание, включая сканы с японских игр. Но вручную каждую картинку сохранять долго и муторно... раньше пользовался программой HTTrack, но с этим сайтом не получилось ее настроить... подскажите годную программку!
« Последнее редактирование: 02 Апрель 2014, 23:04:29 от Vegas »

Оффлайн Planestranger

  • Пользователь
  • Сообщений: 1837
  • Пол: Мужской
    • Просмотр профиля
Re: Как ограббить сайт?
« Ответ #1 : 02 Апрель 2014, 23:05:44 »
Offline Explorer в помощь. Что угодно выкачивает автоматически. Потом только подобрать из его рабочей директории.

Оффлайн ALEX_230_VOLT

  • Модератор
  • Сообщений: 7645
  • Пол: Мужской
    • Просмотр профиля
Re: Как ограббить сайт?
« Ответ #2 : 02 Апрель 2014, 23:12:47 »
ну по идее, можно сохранить вэб страницу стандартным Internet Explorer и он создаст к странице папку "название страницы_ files" где и будут все рисунки с этой страницы

P.s. название темы немного странное. я думал будут спрашивать как сделать сайты для выкачивания с посетителей денег  :lol:

Оффлайн GalaxyBot_00

  • Ушел с форума
  • Сообщений: 6042
  • Пол: Мужской
  • Surrender at 20
    • Просмотр профиля
Re: Как ограббить сайт?
« Ответ #3 : 03 Апрель 2014, 00:07:13 »
Только они будут как превьюшки в говно качестве

Оффлайн SILENT_Pavel

  • Пользователь
  • Сообщений: 2734
    • Youtube
    • Просмотр профиля
Re: Как ограббить сайт?
« Ответ #4 : 03 Апрель 2014, 00:29:58 »
Цитата: я
чтобы легко скопировать сайт типа небольшой вики, нужна утилита Wget Windows версия, отсюда:
http://gnuwin32.sourceforge.net/packages/wget.htm
http://users.ugent.be/~bpuype/wget/
Тут написано на русском как копировать сайт целиком, проверял, работает идеально (все команды с линукса пашут на вин порту):
http://pingvinus.ru/note/wget-download-sites

Оффлайн Lance_K

  • Пользователь
  • Сообщений: 552
  • Пол: Мужской
  • Are you strong?
    • Просмотр профиля
Re: Как ограббить сайт?
« Ответ #5 : 03 Апрель 2014, 10:28:17 »
Как написать без ошибок? :neznayu:

Оффлайн Skay

  • Пользователь
  • Сообщений: 4118
  • Пол: Мужской
    • Просмотр профиля
Re: Как ограббить сайт?
« Ответ #6 : 03 Апрель 2014, 11:10:14 »
делал в свое время скрипт га php, в интернете полно примеров. но есть одна проблема. при большой активности - могут забанить. так как это прекрасно видно что упорно долбятся на сайт. а с прокси заморачиваться не хочется. ))
если ссылки однотипные, то можно сгенерировать список и скормить wget'у как выше предложили

Оффлайн [pO$]t@L

  • Пользователь
  • Сообщений: 208
    • Просмотр профиля
Re: Как ограббить сайт?
« Ответ #7 : 03 Апрель 2014, 12:00:54 »
У Download master вместе с программой ставится плагин для браузеров, щелкаешь на страницу правой кнопки мышки и в контекстном меню выбираешь "скачать всё" , там отмечаешь тип файлов который хочешь скачать

Оффлайн Planestranger

  • Пользователь
  • Сообщений: 1837
  • Пол: Мужской
    • Просмотр профиля
Re: Как ограббить сайт?
« Ответ #8 : 03 Апрель 2014, 12:11:34 »
Цитата: [pO$
t@L]там отмечаешь тип файлов который хочешь скачать

Это если ссылки есть. А если тупо картинки в полный рост на странице? А если страниц 500000? На каждой руками кликать? )

Вот сразу видно кучу народа, которая за сутки целый платный порносайт со всеми его многолетними апдейтами и защитами подчистую не вычищала )

Оффлайн sonygod

  • Ушел с форума
  • Сообщений: 7916
  • Пол: Мужской
    • Просмотр профиля
Re: Как ограббить сайт?
« Ответ #9 : 03 Апрель 2014, 14:05:49 »
lost_hero, Картинки то легко а вот если видео на другом сервере хранится тут уже ничего не сделаешь.

Оффлайн Skay

  • Пользователь
  • Сообщений: 4118
  • Пол: Мужской
    • Просмотр профиля
Re: Как ограббить сайт?
« Ответ #10 : 03 Апрель 2014, 17:00:06 »
а ссылка то на сайт где? :)

Добавлено позже:
sonygod, с картинками тоже не все так просто)) огни могуть быть прямые, внешние, и относительные. (я имею ввиду в хтмлке). если самому писать парсер то не все просто)

Оффлайн roxer

  • Пользователь
  • Сообщений: 547
  • Пол: Мужской
    • Просмотр профиля
Re: Как ограббить сайт?
« Ответ #11 : 03 Апрель 2014, 21:52:24 »
рекомендую для начала потренироваться на караванах, ну а затем набравшись опыта браться за сайты!  :D

Оффлайн cptPauer

  • Пользователь
  • Сообщений: 4178
    • Просмотр профиля
Re: Как ограббить сайт?
« Ответ #12 : 03 Апрель 2014, 22:07:16 »
Пользовался когда-то Teleport Pro. Двое суток выкачивало один форум... Зато выкачало и я уверен, что ценная инфа с него не пропадёт  :)
Вот эта софтина-
https://dl.dropboxusercontent.com/u/41545394/temp/Teleport%20Pro.7z
(не гарантирую, что он работает. Просто этим когда-то пользовался)
Потом всё это дело скомпилировал чем-то в CHM, можно было читать через Firefox с CHM-плагином, вполне нормально.  Остальной софт, от обилия тысяч файлов тупо зависал. Даже винде становилось плохо от того, что в папке лежит тысяч 30 файлов. Если открыть такую папку, Эксплорер вис (может быть и развис бы, через пол часа).

Кстати да, это дело можно заблокировать. Обычно на стороне сервера, в htaccess пописывают правила для блокировки известных грабберов (по крайне мере, я прописывал), ну и надстройки ставятся на движки, которые банят за такую активность, дабы неповадно было. Но это, на самом деле, не часто.
Сам админ может заметить, если виртуальный или частный сервер (а форумы обычно на таких и ставят), что определенный IP тянет много трафа и грузит серв. Но админы ленивые же, как правило, чтобы смотреть статистику и логи, каждый день.

Как админ, добавляешь для такого граббальщика в htaccess, например:
ErrorDocument 403 http://site.ru/403/403.htm
order allow,deny
deny from  188.40.
allow from all
и он больше не побеспокоит (пока не настроит VPN)
« Последнее редактирование: 03 Апрель 2014, 22:17:47 от cptPauer »

Оффлайн SILENT_Pavel

  • Пользователь
  • Сообщений: 2734
    • Youtube
    • Просмотр профиля
Re: Как ограббить сайт?
« Ответ #13 : 03 Апрель 2014, 23:17:59 »
cptPauer, а что за "скомпилировал чем-то в CHM" - первый раз о таком слышу в применении к телепорт про, который мягко сказать вообще не актуален.

Кстати может ли админ запретить скачивание через консольный вгет разве?

Оффлайн cptPauer

  • Пользователь
  • Сообщений: 4178
    • Просмотр профиля
Re: Как ограббить сайт?
« Ответ #14 : 03 Апрель 2014, 23:53:58 »
Цитата
который мягко сказать вообще не актуален
Кого это волнует, если он выполнил то, что от него требовалось? Сграббить vbulletin, в частности.
У меня вообще нет понятия актуальный и неактуальный софт. Есть подходящий и неподходящий, в разной степени.
Цитата
а что за "скомпилировал чем-то в CHM" - первый раз о таком слышу в применении к телепорт про
Термины компиляция и что такое CHM, я думаю, пояснять не нужно, ибо общеизвесты и гугл есть.
CHM же к телепорту не причем. Получилось много страниц и файлов. Мне было удобнее хранить это одим файлом, а не папкой с 30тыс файлов, которые даже копировать будет хрен знает сколько. Обычно, сохраняю отдельную страничку в MHT или Scrapbook, но тут не подходит, файлов же сгенерило тысячи.
В поисках формата, который лучше бы подошёл для "всё-в-одном", я для себя выбрал CHM. Кроссплатформенно, благодаря Firefox+chmfox, просто и сердито. А, при необходимости, можно снова вытащить из него. Кроме того, нашлась утилита, которая без проблем могла упаковать тысячи html в один CHM и не поперхнутся. Это было то, что нужно.
Конечно, я искал варианты с zip, но все они были такими кривыми, что пришлось остановится на CHM. Даже встроенный в Win  CHM-вьювер такое открывал, но на каждой странице ругался на скрипты.
« Последнее редактирование: 04 Апрель 2014, 00:02:29 от cptPauer »

Оффлайн Kyasubaru

  • Пользователь
  • Сообщений: 1536
  • Пол: Мужской
    • Steam
    • Просмотр профиля
Re: Как ограббить сайт?
« Ответ #15 : 04 Апрель 2014, 00:03:09 »
Ребята, нужна программа позволяющая выкачивать картинки с сайта...
Через вот эту программу можно грабить ресурсы с сайтов.  Выбираешь в тип загрузки картинки и выкачиваешь.
http://soft.oszone.net/program/358/Internet_Download_Manager/

Оффлайн cptPauer

  • Пользователь
  • Сообщений: 4178
    • Просмотр профиля
Re: Как ограббить сайт?
« Ответ #16 : 04 Апрель 2014, 00:07:29 »
Кстати.. Выкачивал я 2 года назад. Тогда, Телепорт.про был еще актуальным. Я несколько софтин попробовал, но вернулся к нему.
Форумы на чем сейчас? Имхо, большинство на Simple Machines, остальные на PHPbb, особенно торрент-трекеры шароварные. Кто побогаче, ставит Vbulletin. Кто техничеки подкованнее, знает английский и любит ковырятся в движке, ставит MyBB. Остальные более редкие.
Всё это отлично граббится, даже старыми прогами. С Vbulletin точно картинки тащились.

Оффлайн Skay

  • Пользователь
  • Сообщений: 4118
  • Пол: Мужской
    • Просмотр профиля
Re: Как ограббить сайт?
« Ответ #17 : 04 Апрель 2014, 05:54:30 »
а мне вот не понравилось как работает телепорт и подобные. ввиду особенности сайта у меня в итоге вышло, что он одни и те же страницы по несколько раз качал (а учитывая что страниц было около 2х500к то размер существенно выростал) благо ссылки были однотипны, запустил цикл с wget переберая адреса(манялись в адресе только цифры). в один поток конечно было долго,  но зато только то что тнужно) и не валилось все в одну папку)
Надо все же сесть, распарсить в базу.  руки никак не дойдут.

Оффлайн sonygod

  • Ушел с форума
  • Сообщений: 7916
  • Пол: Мужской
    • Просмотр профиля
Re: Как ограббить сайт?
« Ответ #18 : 04 Апрель 2014, 14:22:36 »
А как можно определить где находится видео на сайте платника?. А то есть у меня любимая моделька а сайт у нее платный и видео толи на одном сервере толи совсем на другом. В общем как можно ограбить платники?.

Оффлайн Skay

  • Пользователь
  • Сообщений: 4118
  • Пол: Мужской
    • Просмотр профиля
Re: Как ограббить сайт?
« Ответ #19 : 04 Апрель 2014, 14:46:40 »
поискать на соответствующем трекере/дваче уже собрание видео с моделькой) что есть паки целых сайтов) а так обычно оплачивает кто то акт и уже смотрит структуру страницы и т.д. насилии повезет - можно найти кпк детектить ссыль. тогда выкачиваешь нужные страницы выдираешь ссылки и довнлоадменеджеру кому нибудь кормить.
в общем хз) лучше поискать для таких вопросов тех кто эти стабильно занимается).
самому посмотреть где можно через браузер с firebug (фаерфокс, хром) а так же есть аддоны которые вылавливают ссылки на видео.  такой ставит давнлоадмастер к примеру.

Оффлайн sonygod

  • Ушел с форума
  • Сообщений: 7916
  • Пол: Мужской
    • Просмотр профиля
Re: Как ограббить сайт?
« Ответ #20 : 04 Апрель 2014, 15:35:26 »
Skay, Вот и хрен в том что на трекерах нет пака этого сайта. А вот видео где они хранят это бы выяснить надо.  Ладно тема все таки не об этом. Это я так просто между делом.

Оффлайн [pO$]t@L

  • Пользователь
  • Сообщений: 208
    • Просмотр профиля
Re: Как ограббить сайт?
« Ответ #21 : 05 Апрель 2014, 20:21:13 »

Это если ссылки есть. А если тупо картинки в полный рост на странице? А если страниц 500000? На каждой руками кликать? )

Вот сразу видно кучу народа, которая за сутки целый платный порносайт со всеми его многолетними апдейтами и защитами подчистую не вычищала )
Не понял что ты имел ввиду про "порносайты" и "картинки в полный рост", если понадобиться , то руками пощелкает.
В случае если страниц много, пойдет HTTrack  - " свободный кроссплатформенный оффлайн-браузер. Позволяет загружать веб-сайты из Интернета на локальный компьютер."

Сайт программы

Оффлайн cptPauer

  • Пользователь
  • Сообщений: 4178
    • Просмотр профиля
Re: Как ограббить сайт?
« Ответ #22 : 05 Апрель 2014, 21:08:46 »
Цитата
А как можно определить где находится видео на сайте платника?
Flashgot+DownThemAll большинство потокового медиа выловит, с большой долей вероятности. Если нет, то багзиллой смотреть вручную, да.
Помню, флешку пытался выцепить себе автономно, вытащил таки с трудом.
https://dl.dropboxusercontent.com/u/41545394/games/super-mario-crossover.swf
Крутая игра, рекомендую. А вот обновленную версию уже не смог. Правда, старая получше, как имхо.

Оффлайн ToledO

  • Пользователь
  • Сообщений: 99
    • Просмотр профиля
Re: Как ограббить сайт?
« Ответ #23 : 05 Апрель 2014, 22:33:53 »

Оффлайн Partsigah

  • Пользователь
  • Сообщений: 5321
  • Трёхглазый пуйошник
    • Steam
    • Youtube
    • Просмотр профиля
Re: Как ограббить сайт?
« Ответ #24 : 05 Апрель 2014, 22:38:12 »
Цитата: cptPauer
Пользовался когда-то Teleport Pro.

Определённо, я использовал портативную версию, когда выкачивал муз. дампы с ПК-98. Но всё с подряд со страницы не рипнешь, например, музыка с бэндкэмп.

Оффлайн cptPauer

  • Пользователь
  • Сообщений: 4178
    • Просмотр профиля
Re: Как ограббить сайт?
« Ответ #25 : 05 Апрель 2014, 23:35:00 »
Цитата
http://www.gamefaqs.com
Его граббишь что-ли?  o_0

Оффлайн ToledO

  • Пользователь
  • Сообщений: 99
    • Просмотр профиля
Re: Как ограббить сайт?
« Ответ #26 : 06 Апрель 2014, 00:08:47 »
Ага

Оффлайн s1nka

  • Пользователь
  • Сообщений: 1570
  • Пол: Мужской
    • Steam
    • Просмотр профиля
Re: Как ограббить сайт?
« Ответ #27 : 06 Апрель 2014, 08:47:16 »
ToledO,
wget -r -x -c -A gif,png,jpg,jpeg http://www.gamefaqs.comЕще заметил фишку. Основной сайт в .com, а картинки лежат на .net. Подозреваю, поэтому многие качалки сайтов отваливаются.
В общем погляжу, если не лень будет, то можно будет легко написать bash/cmd скрипт, которые обложки выкачивает.

Оффлайн gotten

  • Пользователь
  • Сообщений: 4759
  • Пол: Мужской
    • Просмотр профиля
Re: Как ограббить сайт?
« Ответ #28 : 30 Июнь 2014, 14:51:26 »
можно ли как то скачать весь форум,именно темы в txt или html,только чтобы темы были полностью в одном файле?т.е. чтобы не была тема разбита на много страниц.вот например,http://forum.zoologist.ru
там функции сохранить в txt тему,нет :( вручную долго..да еще и по страничкам.наш форум еще и gbx.ru,эти нужны,чтобы потом на телефоне или psp читать.

Оффлайн SILENT_Pavel

  • Пользователь
  • Сообщений: 2734
    • Youtube
    • Просмотр профиля
Re: Как ограббить сайт?
« Ответ #29 : 30 Июнь 2014, 15:48:24 »
можно ли как то скачать весь форум,именно темы в txt или html,только чтобы темы были полностью в одном файле?
нет, это точно невозможно. сама структура любого форума подразумевает многостраничность и с этим ничего без ручного рутинного вмешательства не поделать