У многих сетевых хранилищ, вроде Rapidshare и Megaupload, являющихся неплохой альтернативой торрентам, принципиально отсутствует поиск по файлам. Нет его, и всё тут. Сделано это не столько из этических соображений, сколько для выживаемости: интернет-пользователи сам заливают и сами распространяют ссылки на файлы, а организация, предоставляющая услуги хостинга, не несет никакой ответственности за содержимое файлов и действия других людей. Идеальное прикрытие от ярых борцов с пиратством, не правда ли?
Но, не всё так плохо, как кажется на первый взгляд. Благодаря стараниям многочисленных энтузиастов, неустанно сражающихся за свободу и комфортность пользования файлообменниками, в Интернете представлено немало сервисов, обеспечивающих поиск по онлайновым хранилищам. Именно о таких сетевых ищейках, упрощающих жизнь вконец обленившимся "любителям халявы", и пойдет речь в сегодняшней заметке. Подробно описывать каждый поисковик не будем (все они похожи друг на друга как братья-близнецы и, как правило, повсеместно используют возможности Google, Yahoo и других служб), остановимся только на кратком описании каждого сервиса и количестве индексируемых файлообменников.
Sharing Engines. Сервис с претензией на универсальность. Позволяет со знанием дела "топтаться" по дюжине сетевых хранилищ и производить поиск по типам файлов (изображения, музыка, видео, документы определенного формата, книги, мобильный контент и проч.). Помимо этого Sharing Engines ищет торренты, eMule-ссылки и данные, хранящиеся на FTP-серверах. Для знатоков поиска предусмотрен специальный тулбар, устанавливаемый в браузер.
FileSearch. Греческий сервис, ищущий только по "рапидшаре" - иного не дано. Для удобства можно, щелкнув по ссылке RapidShare Search Extension, внести сайт в список поисковых служб, используемых в веб-обозревателе.
Rapidsharer.org. Поисковик, возможности которого ограничиваются файловыми службами Rapidshare, Megaupload, Depositfiles и Filefactory. Как говорится, простенько и со вкусом.
Avun. Сетевая ищейка, "обнюхивающая" 18 файлообменников, точнее - выискивающая в Интернете ссылающиеся на них записи. Умеет вести историю запросов пользователя и отображать поисковые фразы, вводимые другими людьми, многие из которых, как можно сделать вывод, испытывают особый интерес к "клубничке". Весна на дворе, и ничего с этим не поделаешь.
DaleYa. Испанский сервис, дружащий с "рапидшарой", "мегааплоадом" и десятком других файлообменников. Умеет искать файлы определенного формата и выискивать ролики в различных видеохостингах, таких, как YouTube, Google Video, Metacafe и других. Удобно: пока из Сети скачиваются файлы, можно занять себя просмотром онлайнового видео.
FilesBot.com. Поисковик, работающий с Rapidshare, Megaupload, Uploading.com и многими другими хранилищами файлов, какими именно - не сказано. На любой запрос FilesBot выдает только рапидшаровские ссылки, правда, делает он это на удивление шустро.

Для чего нужен интернет? Гм, все-таки. Как скажут многие, для файлов. Безусловно спорное утверждение. Но лишь с одной стороны – с другой более 75% траффика уходит именно на скачивание файлов (естественно при факте их скачке). Файловые хранилища, торренты и FTP – все эти замечательные вещи созданы именно для удобства закачки файлов(и, естественно, их передачи). Многие выбирают торрент или FTP, как гарантию стабильной и безошибочной закачки. Но все же основная масса скачек все равно приходится на файловые хранилища. Это обусловлено простотой, а также простой статистикой – небольшой файл гораздо удобнее скачать именно таким способом, из-за чего файлообменники и выигрывают – массовое скачивание небольших файлов перекрывает редкое скачивание больших.

Но тем не менее сами файлообменники играют все же второстепенную роль, являясь хранилищами для тематических сайтов. Это одна из причин того, что на самых популярных файлообменниках не предусмотрен поиск файла. Но на самом деле главной причиной является другое – львиная часть всего контента на массовых файлообменниках является пиратской. А нет поиска – хозяева сервиса вроде как бы и не знают, что где-то что-то завалялось. Это очень грустно конечно. Но можено же ка-то исправить положение? Конечно же да! В интернете существуют специализированные сервисы по поиску файлов на файлообменниках (этакий «внешний поиск»). В этой статье приведено несколько самых популярных подобных ресурсов. Для любителей докопаться до того, как же оно работает, можно сказать: все эти ресурсы используют поисковые алгоритмы интернета вроде Google или Yahoo, но со специфическими параметрами поиска. Вроде специальных тегов для различных типов файлов. Итак, наш рейтинг:

Первое место. Наиболее функциональный и полезный рядовому пользователю ресурс. Работает как часы. Очень прост в настройке и использовании, сбоев или недоработок практически не замечено. Однако есть единственный минус: он ищет лишь по самым популярным файлохранилищам, то есть лишь по Rapidshare, Megaupload, Depositfiles и Filefactory. Ссылка на сам сайт: rapidsharer.org

Второе место. Несколько экзотичный по национальной принадлежности, а именно испанский, поисковик, который может искать примерно по десятку файлообменников, впрочем большинство из них специфичны и не представляют для нас интереса. Международники все те же: Rapidshare, Megaupload, Depositfiles и Filefactory. Однако «фишка» этого ресурса еще и в том.

Что он является поисковиком не только по файлохостингам, но и по видеохостингам. То есть можно выкачивать популярные клипы с Youtube, или хотя бы просто развлекаться серфингом по нему, пока идет основная закачка. Ссылка на сайт: daleya.com

Третье место. Этот ресурс более специализирован. Он может со скоростью шустрого таракана искать ссылки в необъятной рапидшаре. Хотя в описании полно и других названий, вроде Megaupload или Depositfiles, поиска по ним почему-то не происходит. Но как специализированный инструмент, сайт очень хорош. Ссылка на сайт: filesbot.com

Четвертое место. Интересная вещь. Можно даже сказать, универсальная. Так это или нет, проверить не удается из-за некоторой запутанной настройки, а также назойливых предложений по установке специализированного тулбара в браузер. Основные файлообменники шерстит неплохо, остальное проверить не удалось. Впрочем, возможно для кого-то будет идеальным вариантом. Ссылка на сайт: sharingengines.com

Преимущественно медиафайлы. На полном серьезе, без шуток.

Введение

Увы, частая ситуация в попытке хоть что-то скачать

Такое случается. В последнее время, к сожалению, случается чаще: правообладатели и правоохранительные органы всерьез взялись за файлообмен; в прошлом году закрылись или были закрыты KickassTorrents, BlackCat Games, what.cd, btdigg, torrentz.eu, EX.ua, fs.to, torrents.net.ua, и еще куча других сайтов. И если поиск свежих рипов фильмов, сериалов, музыки, мультиков все еще не представляет большой проблемы, несмотря на многократно участившееся удаления со стороны правообладателей контента из поисковых систем, торрент-трекеров и файлообменников, то поиск и скачивание оригинала (DVD или Blu-Ray) фильмов и сериалов или просто ТВ-рипов 7-летней давности на не-английском и не-русском языке - не такая уж простая задача.

Зачем это нужно?

   Отличие контента ТВ- и DVD-версии
Например, мультсериал «Дарья » лишился почти всей музыки, которая была в ТВ-версии, из-за юридических проблем с перелицензированием. Долгое время люди, желающие посмотреть данный сериал, стояли перед выбором: либо полноценная ТВ-версия с музыкой и плохим качеством видео, либо DVD-версия с хорошим качеством, но без музыки.

   Региональные различия
Справедливы как для видео, так и для музыки. Мультсериал W.I.T.C.H. выпускался с 4 разными опенингами, только один из которых попал на DVD.
Зачастую, музыкальные альбомы, выпускаемые для рынка Японии, содержат бонусные треки, которых нет в других изданиях.

Как вы уже поняли, причин может быть множество. Где искать непопулярные и старые файлы?

Usenet

История Usenet

С увеличением пропускной способности линий, улучшением модемов и их протоколов, к девяностым сеть уже вовсю использовали для передачи бинарных файлов: вареза, музыки, видеофайлов. Делалось это примерно таким же образом, как и в Email: файл разбивается на небольшие части (тома), кодируется печатными символами в 7-битной кодировке с использованием Base64 или uuencode, и отправляется в ньюсгруппу. Кодирование в 7 бит добавляет около 30% накладных расходов на передачу файла. Спецификация позволяет использовать большинство символов из ASCII-таблицы, поэтому в 2001 году появляется алгоритм передачи файлов yEnc, увеличивающий файл всего на 1-2%, экранируя только символы переноса строки, NULL-байты и символ равенства (=). Им пользуются и по сей день.
Для контроля целостности и восстановления поврежденных или отсутствующих данных используется Parchive .

До 2008 года крупнейшие Usenet-провайдеры хранили бинарные файлы около 100-150 дней с момента их загрузки (так называемый retention time, срок хранения файлов). С 2008 года самые крупные провайдеры вообще перестали что-либо удалять, и на текущий момент можно без проблем скачать файлы восьмилетней давности, а провайдеры поменьше выставили retention time в 1000+ дней, что тоже немало. К этому моменту текстовое общение в Usenet сошло на нет и сеть использовалась преимущественно для хранения и передачи файлов.

Начиная где-то с середины 2011 года за сетью начали следить правообладатели, из-за чего Usenet-провайдерам пришлось удалять файлы, что сильно повлияло на целостность релизов. Некоторые провайдеры сделали автоматизированные системы удаления файлов, чтобы правообладатели могли удалять загрузки самостоятельно. Дабы предотвратить или хотя бы замедлить обнаружение файлов правообладателями, энтузиасты начинают загружать файлы с обфусцированными именами, в архивах под паролями, и добавляют их в каталоги систем индексации релизов (indexers), доступ к которым, как правило, осуществляется либо за деньги, либо по приглашениям. Обычными способами ни найти, ни скачать такие релизы не удастся.

В современной России о Usenet почти никому не известно, хотя рунет зарождался именно с него, по протоколу UUCP, и был одним из двух рабочих каналов для связи с Западом во время путча 1991 года (второй - FIDO). Сейчас Usenet наиболее популярен в странах, законы которых позволяют штрафовать пользователей за скачивание или раздачу контента, защищенного авторским правом, например, в Германии. В отличие от BitTorrent, узнать IP-адресы пользователей Usenet сторонней организации невозможно.

Подключение к Usenet

Теперь нужно каким-то образом получить nzb-файл с метаинформацией, это что-то вроде.torrent-файла. Если у вас его нет, нужно воспользоваться поисковиком-индексатором.

Индексаторы

Скачивание с Usenet

Файлы, защищенные паролем, как правило, являются просто фейками.

На второй странице обнаруживается DVDRip, с адекватным размером, в архиве без пароля - хороший знак.

На третьей странице находим BDRip и несколько DVDRip"ов, похожих на настоящие (судя по размеру файла и дате загрузки).
Выбираем файлы, которые хотим скачать, нажимаем кнопку «Download NZB», скачиваем.nzb-файл и импортируем его в NZBGet или SABnzbd, предварительно вписав данные своего Usenet-аккаунта в настройки программы. Начинается скачивание со скоростью канала моего провайдера.

По окончанию скачивания, NZBGet автоматически распакует архивы и удалит их. Файл размером 6.74 ГБ, загруженный 4.5 года назад, скачался за 15 минут!

IRC / DCC / XDCC

На сегодняшний день существуют как отдельные каналы, так и целые серверы, посвященные файлообмену через XDCC. Почти у любой мало-мальски серьезной аниме релиз-группы, у которой даже может не быть веб-сайта, есть свой бот, с которого можно скачать все релизы группы независимо от их возраста. Популярность XDCC обусловлена функциональностью скриптов, легкостью их настройки и администрирования: выкладывающему релиз достаточно загрузить каким-либо образом файл на сервер с ботом, например по FTP, а бот сам добавит его в индекс, оповестит пользователей на канале о появлении нового файла, автоматически отправит его пользователям, подписавшимся на обновления этого бота (например, если это новый эпизод сериала).

В специальных IRC-сетях распространяют варез, свежие и не очень фильмы, музыку, игры, книги. XDCC не наделен вниманием правообладателей, поэтому у ботов можно найти множество вещей, которые сложно найти в других местах.

Индексаторы

Скачивание из IRC

• irc.undernet.org, канал #bookz
• irc.irchighway.net, канал #ebooks

• irc.criten.net, канал #elitewarez
• irc.infatech.net, канал #elitewarez
• irc.scenep2p.net, канал #the.source

• irc.abjects.net, канал #moviegods
• irc.abjects.net, канал #beast-xdcc

• irc.rizon.net, канал #news
• irc.xertion.org, канал #cartoon-world

Попробуем скачать «How Music Got Free» («Как музыка стала свободной» по-русски) - замечательная книга об истории музыкальной индустрии, технологиях обмена музыкой и человеке, который почти в одиночку стащил 2000 альбомов и выложил их в сеть.

Бот присылает результат поиска в виде ZIP-архива с текстовым файлом:

Отправляем боту запрос на скачивание файла:

…и принимаем его!

Конечно, не обязательно искать напрямую на канале. Если вы нашли нужный файл через индексатор, можете сразу запросить его у бота командой, которую вам сгенерирует сайт.

DC++

Из-за того, что пользователю достаточно указать путь к файлам, к которым он хочет открыть публичный доступ, в DC++ можно найти жуткое, малоизвестное старьё, которое, по мнению пользователя с этим файлом, уж точно никому не сдалось, но он его все равно расшарил, так, на всякий случай.

3 человека раздают видеоурок 11-летней давности, который ни одному вменяемому человеку смотреть не захочется, поверьте.

Скачивание из DC++

Настоятельно рекомендую включить «активный» режим, пробросить порты, ввести ваш внешний IP-адрес в настройках программы и удостовериться, что к вам возможны подключения извне, иначе, в «пассивном» режиме у вас будут ограничения на количество результатов поиска, вы не сможете качать файлы с других пользователей в «пассивном» режиме.

Поиск и скачивание файлов интуитивно понятно: вводите название, опционально выбираете тип контента и фильтр по размеру, нажимаете кнопку поиска, кликаете два раза по результату, файл начинает скачиваться. Также можно посмотреть все файлы пользователя (и, например, скачать папку с найденным файлом целиком), нажав правой кнопкой по конкретному результату и выбрав соответствующий пункт меню.

Если нужного вам файла не нашлось, имеет смысл периодически повторять поиск. Некоторые люди запускают DC-клиент только тогда, когда им нужно что-то скачать, и вам нужно поймать момент, чтобы найти файл у таких пользователей.

Из-за ограничений протокла NMDC , одновременный поиск нескольких файлов затруднен, результаты одного поискового запроса могут перемешиваться и отображаться в соседних окнах поиска, поэтому лучше не искать несколько файлов одновременно. У хабов, работающих по протоколу ADC , таких ограничений нет, но и таких хабов удручающе мало (их URI начинается с adc:// , а не с dchub://).

Индексаторы

Насколько мне известно, полноценный индексатор DC++ есть только один - spacelib.dlinkddns.com (и его второй адрес dcpoisk.no-ip.org). Поиск основан на движке Sphinx и учитывает морфологию (в том числе и русского языка). Поисковик генерирует magnet-ссылки для результатов поиска, которые можно поставить на закачку в клиенте.
Иногда он подолгу недоступен, например, в прошлый раз он не работал два месяца подряд.

eDonkey2000 (ed2k), Kad

EDonkey2000 выжил. Этому поспособствовал протокол полностью децентрализованного обмена Kad, который был внедрен в сторонние клиенты незадолго до закрытия Razorback 2 и главного сервера оригинальной программы, уступающей в функциональности и скорости альтернативным реализациям.

В ed2k можно найти примерно то же самое, что и в DC++ - старые файлы, ТВ-шоу на разных языках, разнообразную музыку, игры, варез, старые книги по программированию, математике, биологии. Новинки, разумеется, тоже в наличии. Хоть протокол и поддерживает чаты и просмотр всех файлов пользователя в открытом доступе, эти функции по умолчанию отключены, и, скорее всего, вам не удастся пообщаться с интересующими вас людьми через программу.

Скачивание в eDonkey2000 / Kad

Процесс поиска и скачивания файлов очень похож на таковой в DC++ - вводим поисковой запрос, получаем результаты поиска с пользователей, находящихся онлайн, кликаем на файлы для начала скачивания.
Файл отобразится в результатах даже в том случае, у пользователей, находящихся онлайн, есть только его части, но не файл целиком.

Попробуем найти малоизвестный документальный фильм 2009 года We Live In Public - картину, повествующую о событиях 90-х, которые частично предсказали современный интернет. Часть времени в фильме уделяется сайту pseudo.com - сервису аудио- и видеотрансляций, основанном в 1993 году.

Вводим поисковую фразу, получаем результаты:

Кликаем, начинается скачивание:

Загрузка файла может растянуться на недели и месяцы. По какой-то причине, многие пользователи сети имеют отвратительное интернет-соединение, да еще и появляются раз в неделю на пару часов, а то и меньше.

Soulseek

Существует официальный кроссплатформенный проприетарный клиент SoulseekQt и два развивающихся неофициальных: Nicotine+ и Museek+ .

BitTorrent DHT

У многих сетевых хранилищ, вроде Rapidshare и Megaupload, в целях выживаемости принципиально отсутствует поиск по файлам. Тем не менее, проводить розыскные мероприятия в файлообменниках все-таки можно.

У многих сетевых хранилищ, вроде Rapidshare и Megaupload, являющихся неплохой альтернативой торрентам, принципиально отсутствует поиск по файлам. Нет его, и всё тут. Сделано это не столько из этических соображений, сколько для выживаемости: интернет-пользователи сам заливают и сами распространяют ссылки на файлы, а организация, предоставляющая услуги хостинга, не несет никакой ответственности за содержимое файлов и действия других людей. Идеальное прикрытие от ярых борцов с пиратством, не правда ли?

Но, не всё так плохо, как кажется на первый взгляд. Благодаря стараниям многочисленных энтузиастов, неустанно сражающихся за свободу и комфортность пользования файлообменниками, в Интернете представлено немало сервисов, обеспечивающих поиск по онлайновым хранилищам. Именно о таких сетевых ищейках, упрощающих жизнь вконец обленившимся "любителям халявы", и пойдет речь в сегодняшней заметке. Подробно описывать каждый поисковик не будем (все они похожи друг на друга как братья-близнецы и, как правило, повсеместно используют возможности Google, Yahoo и других служб), остановимся только на кратком описании каждого сервиса и количестве индексируемых файлообменников.

Sharing Engines . Сервис с претензией на универсальность. Позволяет со знанием дела "топтаться" по дюжине сетевых хранилищ и производить поиск по типам файлов (изображения, музыка, видео, документы определенного формата, книги, мобильный контент и проч.). Помимо этого Sharing Engines ищет торренты, eMule-ссылки и данные, хранящиеся на FTP-серверах. Для знатоков поиска предусмотрен специальный тулбар, устанавливаемый в браузер.

FileSearch . Греческий сервис, ищущий только по "рапидшаре" - иного не дано. Для удобства можно, щелкнув по ссылке RapidShare Search Extension, внести сайт в список поисковых служб, используемых в веб-обозревателе.

Rapidsharer.org . Поисковик, возможности которого ограничиваются файловыми службами Rapidshare, Megaupload, Depositfiles и Filefactory. Как говорится, простенько и со вкусом.

Avun . Сетевая ищейка, "обнюхивающая" 18 файлообменников, точнее - выискивающая в Интернете ссылающиеся на них записи. Умеет вести историю запросов пользователя и отображать поисковые фразы, вводимые другими людьми, многие из которых, как можно сделать вывод, испытывают особый интерес к "клубничке". Весна на дворе, и ничего с этим не поделаешь.

DaleYa . Испанский сервис, дружащий с "рапидшарой", "мегааплоадом" и десятком других файлообменников. Умеет искать файлы определенного формата и выискивать ролики в различных видеохостингах, таких, как YouTube, Google Video, Metacafe и других. Удобно: пока из Сети скачиваются файлы, можно занять себя просмотром онлайнового видео.

FilesBot.com . Поисковик, работающий с Rapidshare, Megaupload, Uploading.com и многими другими хранилищами файлов, какими именно - не сказано. На любой запрос FilesBot выдает только рапидшаровские ссылки, правда, делает он это на удивление шустро.

FileCrop . Сервис, взаимодействующий с двумя лидерами сетевого хранения данных - с сайтами Rapidshare и Megaupload. Предоставляет пользователю возможность уточнять размер таящихся в недрах Сети файлов плюс проверять "живучесть" найденных ссылок. В результатах поиска FileCrop отображает название сайтов, на которых была найдена та или иная ссылка, размер файлов и количество выполненных скачиваний. В общем, чертовски приятный поисковик.

Search Files . Судя по доменной зоне, немецкая сетевая ищейка. По сути, является надстройкой над Google, заворачивающей запросы в определенные тэги и скармливающей их именитому поисковику. Search Files умеет проводить розыскные мероприятия практически по всем файлообменникам (в том числе и отечественным), а также позволяет исключать из поиска объекты, дата создания которых не соответствует выбранному пользователем критерию. Интерфейс сервиса изобилует рекламными вставками и пользоваться им, мягко говоря, не очень удобно.

ShareMiner . Ещё одна онлайновая служба, использующая кастомизированный поиск от Google. Так же как и вышеупомянутый сервис, ищет по всем сетевым хранилищам сразу и умеет работать с различными категориями файлов. По словам разработчиков, сайт ShareMiner обрабатывает более 5 миллионов поисковых запросов в месяц. Внушительная цифра.

Rapidshare Search Shared Files . Онлайновый инструмент, обеспечивающий выборочный поиск по сетевым хранилищам, коих мы насчитали в списке аж 64 штуки. Вдобавок сервис оснащен мощной системой поиска torrent-файлов и трейлеров к фильмам. Для ценителей утонченных нюансов в розыске халявы предусмотрены плагины для браузеров Internet Explorer и Firefox.

Gappon . Сервис, который якобы знает, что где лежит, и ищет по сайтам Rapidshare, Megaupload, Badongo, Sendspace, MediaFire и zShare. Почему "якобы"? Да потому, что в нашем случае ему не удалось отыскать ни одной рапидшаровской ссылки. Такой вот, странный поисковик, полный тайн и загадок. Исключать его из нашего списка мы не стали - чем черт не шутит, вдруг он заработает у вас?