Xpoint
   [напомнить пароль]

Разработка распределенного web

Метки: [без меток]
2010-10-26 00:41:24 [обр] Thirteensmay(0/157)[досье]

Есть идея разработки распределенного web, похоже на торренты. Каких либо серверов не предполагается. Роль сервера выполняет группа клиентов. Ресурс (сайт) обладает идентификатором, который представляет собой список IP клиентов, он оформляется в виде файла и может быть получен с других ресурсов, или из локального кеша. Со временем IP могут меняться, поэтому можно предусмотреть процедуру актуализации идентификатора ресурса. Контент ресурса распределяется (дублируется) в пределах соответствующей группы клиентов. Контентом могут быть файлы, статические странички, возможно какие то стандартные сервисы (доска объявлений, форум и т.п.), это для не программистов, для быстрого старта, но также не плохо было бы иметь и какую то возможность программирования. Распределение доступа к контенту. И пр. и пр. Начать можно с малого. Это лишь один из вариантов, их много, но идея надеюсь ясна. Вопросов по архитектуре, реализации, функционалу - много, все в принципе решаемы, вопрос оптимального выбора, поэтому возможно понадобятся какие то исследования. Для начала предполагается заинтересовать публику анализом, исследованием, проектированием.

Организационная структура обсуждаема, я изначально ориентируюсь на коллегиальное управление, т.е. кто проявит интерес становится равным членом команды, хозяина нет, острые вопросы решаются голосованием и т.п, в перспективе возможно выделение Core Team и т.п. Но все это не догма, организация повторюсь обсуждаема, если это кому то понадобится. Проект вроде как не коммерческий, но это также обсуждаемо. Предполагается разработка на точке. Хозяин не отрицает выделения места на сервере и яркой ссылки с главной. Проект совершенно самостоятельный. В кратце так. Интересует мнение публики, возможно ли что заживет ? Интересен ли ? В чем косяки ? Приняли бы вы участие и какое ?

спустя 30 минут [обр] Thirteensmay(0/157)[досье]
Могут возникнуть вопросы в чем смысл и где использовать. А в чем смысл торрентов ? Тут получается шире.
спустя 10 минут [обр] Thirteensmay(0/157)[досье]
При определенных раскладах это вообще получается социальная сеть, причем без зависимости от хозяина сайта, поддерживаемая самими пользователями.
спустя 1 час 34 минуты [обр] Василий Свиридов(0/175)[досье]
Рекомендую почитать про
  • Tahoe/LAFS
  • TOR
  • Disapora
спустя 7 часов [обр] Павел Карасёв(1/14)[досье]
Thirteensmay[досье]
Мне как раз вот такая же идея подумалась, когда я зашел на торрент-трекер, чтобы пиратски скачать что-то (что скрывать все пользуются торентами )), но оказалось что торрент закрыт право-обладателем. Из статистики по скАчкам было видно, что народ уже успел контент скачать.
Вот если бы торрент-файл был бы не привязан к трекеру, а пользеры сами бы обменивались списками сидов и пиров, подумал тогда я. Тогда получилось бы, что сервер трекера является просто одним из равных клиентов, на котором можно взять стартовый список сидов, и который сам пополняется периодически сверяясь с листами известных ему клиентов.
Хотя я в этом совсем не разбираюсь, но показалось это очень похоже на вашу идею.
Похоже на систему распространения компьютерных вирусов ))
спустя 52 минуты [обр] Thirteensmay(0/157)[досье]

Ну вот я и говорю что не предполагается никаких серверов (трекеров). Идентификатор ресурса (список клиентов представляющих ресурс) доступен на любом ресурсе, допустим обычном сайте, как файл, а в рамках самой сети это вообще просто ссылка.

Василий Свиридов[досье] Да, чтото из этой области, Diaspora если рассматривать в разрезе соцсети очень похоже, хотя технологически по скудному обзору мне не очень понравилось. Тут надо смотреть что конкретно заинтересует народ. Начать можно было бы например просто с распределенной среды обмена сообщениями, между клиентами как описано выше. А в перспективе думать как заложить возможность программирования всего этого. В первую очередь определяться с требованиями, соответствующей моделью, ограничениями, экспериментировать с конкретными механизмами...

спустя 43 минуты [обр] Евгений Седов aka KPbIC(8/176)[досье]
Тот, кто хранит "сиписок клиентов, предоставляющих ресурс", тот по факту и будет управлять. Все та же централизованная система.
спустя 2 часа 30 минут [обр] Thirteensmay(0/157)[досье]
Список хранит не какой то конкретный человек (админ), хотя при желании можно и так, а все клиенты которые представляют ресурс. Это осуществляется автоматически в процессе взаимодействия, при вводе или выводе хостов. Отдельный человек полностью рулит только своим хостом, в плане ввода/вывода. Клиенты могут быть как полностью равноправными, так и нет, определяется принятой учредителями политикой ресурса и установленными настройками доступа.
спустя 2 часа 30 минут [обр] Павел Карасёв(1/14)[досье]
Thirteensmay[досье]
Я честно не пойму как вы собираетесь рулить процессом (кого-то банить или не пускать), когда списки клиентов будут автоматом синхронизироваться между собой?
спустя 1 час 24 минуты [обр] Thirteensmay(0/157)[досье]

Тут есть варианты, причем вполне нормальные, во первых нам надо определится что за ресурс у нас вообще, одно дело скажем группа из нескольких друзей, совершенно другое - какой нибудь более менее широкий тусовочный ресурс. В первом случае рулежки практически не надо, разве что не пускать, а вот во втором сложнее, тут уже нужна некоторая команда администраторов, авторитетов, своеобразный Core Team если хотите. Синхронизировать списки возможно уже после принятия решения по допуску/бану. Не пускать легко, просто не давать ключа который необходим для обмена между хостами-представителями, как вариант, или отключить процедуру ввода новых хостов, вполне возможно для каких то конкретных IP. Выкинуть можно непродлением ключа, вычищением из списка, блокированием обмена.

Серьезные проблемы могут быть в другом, в репликации данных внутри ресурса, если просто дублировать все по всем то больших групп не получится, быстро упрется в каналы и производительность хостов, не то чтобы эта проблема не решается, но решается по моему опыту весьма мерзко. Это архитектурный косяк, тут уж никуда не денешся, как всегда выигрывая в чем то, в другом теряем.

спустя 2 часа 59 минут [обр] Павел Карасёв(1/14)[досье]
Ну хорошо, разработали вы такой инструмент по обмену данными(файлами). Дальше что? Это замена торрентов или что? Как, кто и зачем будет использовать ваш инструмент?
спустя 3 часа 40 минут [обр] Thirteensmay(0/157)[досье]

Это альтернатива, развитие торрентов если хотите, новая модель веб, реальная социальная сеть. Есть конечно минусы, не все гладко, но есть и плюсы, основные фишки - децентрализация, снижение зависимости от "хозяина", при этом весь базовый функционал в одном флаконе и не требует профессиональных навыков. Вообще то плюшки из этого выводимы самостоятельно, но могу помочь.

Во первых по децентрализации, элементарно труднее прикрыть, пусть немного, но хоть что то реальное, лично я не комфортно себя чувствую когда меня держат за быдло и стараются в него превратить, а наши власти весьма этим грешат. Ну и потом, автоматом вытекающие резервное копирование, распределение нагрузки и т.п, мелочь как говорится а приятно.

По снижению зависимости от хозяина, вопрос организации общества, по моему у него не может быть хозяина, точнее не должно быть. Тут много моментов, это и все тоже обыдление (народ при папочке в лучшем случае расслабляется), и менее сбалансированное управление (преимущественно вертикальное а не горизонтальное), и пущее соцрасслоение, и меньшая соцсправедливость (например оправдание привилегированного права на результаты коллективного труда), и много чего еще.

По базовому функционалу не требующему профнавыков, просто удобно, поставили и тут же начали пользоваться, кто угодно, не надо знаний сетей, каких то особых знаний IT, как организовать сайт, программирования, подбора площадок, оформления, оплат и т.п. И все это заметьте в одном флаконе с первыми двумя плюшаками.

спустя 7 минут [обр] Евгений Седов aka KPbIC(8/176)[досье]
Thirteensmay[досье] Я взял у себя на клиенте и подменил список адресов. Вы постучались ко мне, забрали список, и вот, вы уже не в первоначальной, а в моей сети. Как вы думаете, почему торенты не могут обойтись без домена и центрального сервера? - контента же у них нет, он весь на клиентах.
спустя 40 минут [обр] Thirteensmay(0/157)[досье]
Можно обойтись без центральных серверов, погуглите, вот на вскидку http://ru.wikipedia.org/wiki/%......D1%8F_%D1%81%D0%B5%D1%82%D1%8C. Что же касается представленной вами ситуации, так это грубый хак, ну так извиняйте, от них никто в принципе не защищен, вопрос лишь качества защиты, если вы например возьмете и в DNS пропишете подставной сайт, или на шлюзе, или в хостах, или еще кучей способов, так это же не косяк идеи а лишь ваше уродство, вас вычислят и забанят, а то и ухи для профилактики оторвут.
спустя 15 минут [обр] Евгений Седов aka KPbIC(8/176)[досье]

Thirteensmay[досье]

Там есть центральный сервер, с которого вы получаете список хабов, и домен. Соответственно, владелец сервера (или домена) в любой момент могут прикрыть проект или изменить политику.

Правильно, могут подменить DNS. Поэтому я никогда не пользуюсь чужими кэширующими DNS-серверами. А если уж кто-то ухитрится поменять мне hosts (права на запись только у рута), то некорректный резольвер станет наименьшей из моих проблем.

спустя 16 минут [обр] Thirteensmay(0/157)[досье]
сообщение промодерировано

Как варианты защиты - шифрование списка, проверка подлинности на нескольких хостах, проверка ключа на возможно подставном хосте, это на вскидку, специально не ковыряя, а если ковырнуть, вы же сами разработчик, должны понимать что находятся и более изощренные варианты.

Где есть центральный сервер ? в одноранговой сети ? Чужими серверами вы не пользуетесь, очевидно только своими, хорошо ;) И шлюзы на маршруте наверное все контролируете, и весь канал до конечного клиента у вас очевидно в приватное подпространство вынесен. Я сажусь посередине и тупо подменяю содержимое вашего пакета, что делать будете ? шифроваться ? Ну так а чеж тогда... К чему вы в таком ключе со мной начали разговаривать ? Вы же сети знаете, я немного тоже, предлагаете пиписками померятся ? Предлагаю [не важно].

спустя 19 минут [обр] Евгений Седов aka KPbIC(8/176)[досье]

Да, центральный сервер есть в одноранговой сети:

Только что установленный клиент получает список хабов со специального сервера, который производит мониторинг сети и учёт активных хабов

Шифровать вы можете, но у ключа есть владелец. Вы же основной целью заявляете именно уход от владельца.

Если я могу завести одного нехорошего клиента, то могу завести и два. Проверка на нескольких хостах проблему не снимает. И что вы будете делать в случае, если данные с двух хостов не совпадают, а центрального сервера нет?

Вы правы, на маршруте можно многое сделать. Но сравните вероятность того, что злоумышленник появится среди админов DNS-серверов нужной вам зоны или у провайдера, с вероятностью, что злоумышленник окажется среди клиентов открытой социальной сети.

Мы с вами говорили о технике, и я не думал задевать вас лично, но раз вы просите, я умолкаю. Только, у меня к вам есть встречное предложение: не прибегайте к ненормативной лексике, пожалуйста.

спустя 1 час 17 минут [обр] Thirteensmay(0/157)[досье]

Не надо делать вид что вы не понимаете разницу между "центральный" и "специальный", вы заявляете что специалист, поэтому я так реагирую. Специальным сервером может быть любой хост, и их может быть несколько, хоть все. И вообще, если в Gnutella2 есть реально центральный сервер, то значит это не одноранговая сеть, все просто, одно дело модель и терминология, и другое - реальная реализация и ошибки в описаниях, если реализация не соответствует модели то и нечего использовать соответствующую терминологию.

Ключом владеет Core Team, это не частное лицо а коллегиальное управление, от него я не ухожу а какраз стремлюсь к этому.

Проверка на нескольких хостах существенно решает проблему, применяется в комплексе с др. средствами, если вы просто заведете второго то это не страшно, страшно если вы будете контролировать значительную часть, но это означает скорее всего то что вы будете членом Core Team или на примете, т.е. на вас таки будет пристальное внимание и возможность повлиять. Да, если общество окончательно прогниет, положит с прибором на своих авторитетов а они на общество, то оно сдохнет, так и должно быть, однако счастье в том что в отличие от реального мира, здесь всегда можно нажать кнопку "выход" и организовать свое общество, причем очень легко.

Это я вам только про прямую подмему привел, и то не все, а скажем есть еще кучи всяких там CSRF атак и пр. Админов DNS серверов и провайдеров можно рассматривать как Core Team, при этом они менее заинтересованы в нормальной работе конкретного ресурса чем его Core Team, так что с вероятностью по моему все нормально.

Хорошо, я не буду прибегать к ненормативной лексике, а вас попрошу перечитать мой предыдущий пост и понять что я вам хотел сказать, надеюсь третьего такого же вы не запостите.

спустя 13 часов [обр] Илья Cтpeльцын aka SelenIT(2/171)[досье]
Прошу прощения за ламерский вопрос, но... разве Opera Unite как раз не воплощала что-то отдаленно подобное? Просто у самого так руки не дошли поэкспериментировать, но по тем описаниям, что я читал — сильно похоже...
спустя 56 минут [обр] Thirteensmay(0/157)[досье]
У них там на сколько я понимаю нет распределенных ресурсов, приложения и часть данных доступна только с серверов самой Opera, по факту все что есть это возможность соединения 2 браузеров напрямую, причем с помощью плагина, браузер закрытый, надо регистрироваться и т.п.
спустя 3 дня [обр] Василий Свиридов(0/175)[досье]
С учётом дописанного в тему курите DHT & Magnet Links. Отсутсвие трекера и отсутствие .torrent файлов.
спустя 3 часа 8 минут [обр] Thirteensmay(0/157)[досье]
Да, DHT в том или ином виде вылазит, тут бы для начала более менее определится с постановкой задачи ;) Вот только ситуация как обычно, грубо говоря всем пофиг ;)
спустя 17 минут [обр] Евгений Седов aka KPbIC(8/176)[досье]
Thirteensmay[досье] Это потому, что вы решаете несуществующую техническую проблему, вместо того, чтобы решать реальную юридическую. Я бы на вашем месте рассмотрел тип организации применительно к "ничьей" социальной сети.
спустя 14 часов [обр] Thirteensmay(0/157)[досье]
Что значит ничьей ? Каждый конкретный ресурс так или иначе будет чьим то, вопрос в том какова форма, это может быть частная собственность, а может быть коллективная, ну, пожалуй можно предположить что такое решение будет способствовать коллективной собственности. А что касается самой технологии так это только технология, она к форме собственности и организации отношения по моему не имеет, иначе можно задаться вопросом а чей интернет ? чья мировая телефонная сеть и т.п.
спустя 56 минут [обр] Евгений Седов aka KPbIC(8/176)[досье]
сообщение промодерировано

Антоним "частной" собственности — "государственная" или "общественная", а "коллективной" — "единоличная". То есть, запросто может существовать коллективная частная собственность. Вы так и не прояснили вопрос о типе — коммерческая стурктура или не коммерческая?

В любом случае, как мне кажется, главное тут не техника. У нас в стране демократия? А решает ли что-то ваш голос? Мне кажется вы столкнетесь с точно такими же проблемами - как принимаются решения, кто голосует, кто считает голоса? И если копнуть глубже — эффективно ли развитие при убогости большинства участников?

Но в отличие от государства, из которого вам никуда не деться, и в котором вам никто не выделит куска земли под ваше собственное государство, если вы захотите уйти из под его юрисдикции, в инете у вас всегда есть возможность уйти из одного и завести свой, другой проект. Так зачем нужны все эти навороты с коллективным управлением?

спустя 7 часов [обр] Thirteensmay(0/157)[досье]

В первую очередь я рассматриваю как не коммерческую, для открытого общения по интересам, какой то совместной работы и т.п, по поводу коммерческих структур не думал, возможно и они могут быть. Тут вы может быть меня не правильно понимаете, я не собираюсь создавать какую то социальную сеть или др. структуру, предполагается создание инструмента, а уж что на его основе получится зависит от конкретных пользователей. По моему можно предположить что может получится некоторая масса различных независимых распределенных ресурсов, даже как то друг с другом взаимодействующих, да, своего рода социальная сеть, из отдельных сообществ, будет ими прирастать, как современный web сайтами, в этом нет принципиальной разницы, другое дело что ресурс (сайт) будет распределенным, между членами конкретного сообщества, и вот тут уже можно предположить наличие описанных выше плюшек.

Следующий ваш абзац без иронии шикарен. Как вы думаете почему у нас нет демократии ? почему большинство "убого" и пассивно ? Я конечно тут не претендую на истину в высшей инстанции, но по моему личному мнению дело как раз в комплексе "царя". Гражданское общество надо развивать, но наша "элита" этим слабо занимается, а зачастую и вовсе действует в прямо противоположном направлении. Тут можно долго говорить, если интересно то лучше создать отдельную тему, но надеюсь основная идея ясна. Так вот, предполагаемая модель коллегиального управления естественно столкнется со всеми этими проблемами, иначе и быть не может, хорошая площадка для локального расшибания лбов. Но это полезно, для самостоятельного роста общества, приобретения опыта, накопления аргументов перед другими властями, повышения социальной активности и т.п.

Что касается ухода и организации своего проекта, вы же понимаете что один в поле не воин, набрать новую команду и начать с нуля не легко, опять таки, привычки, друзья и т.п. Есть у меня такое предположение, что коллегиальное управление может снизить количество причин ухода. За счет более взвешенного принятия решений, пущей очевидности заблуждений, большей публичности и широты обсуждений, большей социальной справедливости, амбициозным будет открыта дорога в лидеры, остальные как минимум будут в курсе политики партии и смогут на нее влиять. Элементарно поругаться с пятерыми, согласитесь, несколько труднее чем с одним. Демократия короче ;) По крайней мере до тех пор пока проект не станет слишком уж большим, там конечно уже др. басня. Вообще, то что я тут "красиво" расписываю не означает того что оно на самом деле так красиво, естественно полно косяков, просто у меня в данном случае позиция защитника. Это просто модель, со своими плюсами и минусами.

спустя 7 часов [обр] Евгений Седов aka KPbIC(8/176)[досье]
А вам не кажется, что такая распределенная сеть уже есть? - Интернет называется.
спустя 35 минут [обр] Thirteensmay(0/157)[досье]
Она не такая.
спустя 2 часа 28 минут [обр] Алексей Севрюков(2/1280)[досье]
Вашу бы энергию, да в мирное русло.
спустя 1 час 14 минут [обр] Thirteensmay(0/157)[досье]
Хорошо, ребят, значит ваше заключение - не нужно. Так ?
спустя 23 часа [обр] Евгений Седов aka KPbIC(8/176)[досье]
Я не уверен, что ребята поняли цель. Я лично не понял. Если бы заявили, что цель - не дать прикрыть торрент с порнухой... но вы то говорите о чем-то другом.
спустя 1 час 58 минут [обр] Thirteensmay(0/157)[досье]
И не дать прикрыть тоже, но вообще дать возможность непрофессиональным пользователям организовать свой ресурс, без каких либо специальных знаний, выделения сервера, плат за аренду и т.п. Как торрент, поставил клиента и порядок, но не ограничиваясь файлообменом, тут могут быть и стены типа как вконтакте, и форумы и обмен мгновенными сообщениями и пр. Т.е. группа клиентов организует свой коллективный распределенный ресурс, на основе своих машинок и может им полностью управлять. Не отдельный ресурс на каждой машинке а один, общий, распределенный.
спустя 53 минуты [обр] Евгений Седов aka KPbIC(8/176)[досье]
Я новичок, хочу присоединиться к вашей сети, софт уже написан и установлен. Где я могу получить первоначальный список IP-адресов?
спустя 3 часа 54 минуты [обр] Thirteensmay(0/157)[досье]
У любого уже участвующего знакомого, также никто не запрещает публиковать их на обычных сайтах, для создания же нового ресурса список и вовсе не нужен.
спустя 1 день [обр] Евгений Седов aka KPbIC(8/176)[досье]
Если говорить про доверительные отношения со знакомыми, то тут можно расшариться самыми разнообразными способами, и никому такая сеть не интересна в силу своей замкнутости. А почему сложнее прикрыть домен сайта, где вы предполагаете держать начальный список адресов, чем домен торрента, я не понимаю.
спустя 2 часа 52 минуты [обр] Thirteensmay(0/157)[досье]

Ну почему замкнутости то ? это определяется политикой самого ресурса, если сообщество захочет быть публичным то нет проблем, люди весьма не плохо друг с другом общаются, информация расходится, особенно о стоящих ресурсах, вот о той же точке например я узнал со слов. Тем более вполне можно ожидать появления специальных ресурсов (сообществ) которые будут заниматься поиском и коллекционированием ссылок на интересные ресурсы и материалы, может быть появятся аналоги поисковиков, или даже этим займутся текущие поисковики типа того же яндекса.

Расшариться между знакомыми конечно можно различными способами, но вы опять упускаете что это скорее всего будут централизованные инструменты, придется выделять серверы и пр. вытекающие см. выше, и опять таки для этого потребуется определенная квалификация, и все это надо будет как то интегрировать в единый ресурс. Я вот с ходу даже и не скажу как например поднять распределенный форум или сервис сообщений без центральных серверов, даже если решения и есть то они ведь разрозненные.

Домен сайта прикрыть конечно не трудно, а вот заставить молчать на кухнях всех кто о нем знает очень сложно, проще пройтись и выпилить сотни конкретных пользователей поддерживающих этот ресурс. Опять таки это лишь один из вариантов, некоторые начальные линки можно распространять с самим ПО клиента и т.п. Главное понимать что распределенная модель в принципе более устойчива к глушению, это вы если захотите даже не со мной будете спорить а с наукой ;) В общем лишь вопрос выбора конкретных решений.

спустя 1 час 35 минут [обр] LookeR(27/1069)[досье]

Павел Карасёв[досье]
Наткнулся на эту фразу...

Вот если бы торрент-файл был бы не привязан к трекеру, а пользеры сами бы обменивались списками сидов и пиров, подумал тогда я.

Как я понимаю есть похожие протоколы: http://ru.wikipedia.org/wiki/Direct_Connect
и ресурсы: http://dchublist.ru/hubs/

спустя 1 день 14 часов [обр] Евгений Седов aka KPbIC(8/176)[досье]
Thirteensmay[досье] Хорошо, давайте попробуем. С чего начнем, с какого сервиса?
спустя 39 минут [обр] Thirteensmay(0/157)[досье]
Ресурсов мягко говоря не много, так что думаю пока можно ограничится чем нибудь небольшим, конкретным, пусть даже без возможности выхода на полноценный распределенный web. Ну например попробовать сделать простейший распределенный блог. Да, даже пока и не сделать, а поставить ТЗ и "виртуально" реализовать, т.е. продумать как будет работать, подробно обговорить, проанализировать, и если косяков не вылезет то тогда уже можно будет задумываться об отливании в гранит. Люди мы занятые, предполагается что оно не должно напрягать и быть интересно, так что процесс будет идти медленно, и это нормально. Это вот на вскидку, а что бы было интересно вам ?
спустя 13 минут [обр] Евгений Седов aka KPbIC(8/176)[досье]

Мне интересно понять, скрывается ли что-нибудь за этой идеей или нет. Тот уровень, на котором до этого велись разговоры мне ответа на этот вопрос не дал. Поэтому хочется посмотреть, как это будет выглядеть на практике, и я готов потратить на это немного своего времени.

Допустим блог. Он хранится только на машине владельца блога или на всех машинах в сети?

спустя 13 минут [обр] Thirteensmay(0/157)[досье]

От черт побери, ну я честно не знаю как вам это еще объяснять. Давайте пока не будим рассусоливать и продолжим здесь, теперь более конкретно, по блогу.

По моему естественно что хранится не только на машине владельца, иначе при офлайне этой машины будет недоступен. А вот хранится ли он на всех машинах или только на какой то части - пока вопрос, с одной стороны репликация на все машины будет затратна, и из этого много следствий, с др. это возможно проще. Может быть для начала ограничится репликацией на все, и пусть вылезет то что вылезет ?

спустя 11 минут [обр] Евгений Седов aka KPbIC(8/176)[досье]
Это какая-то нереальная избыточность. Было бы разумно поручить некому диспетчеру отслеживать доступность конкретного контента по машинам, и в случае уменьшения хостов до критического минимума продублировать контент на другие, готовые принять такой контент машины. Отсюда вытекает, что как минимум нужен список ресурсов. То есть, каждая машина должна знать где она может получить нужный контент, или хотя бы знать, как найти того, кто знает. Так?
спустя 28 минут [обр] Thirteensmay(0/157)[досье]
Оо... Евгений, вот это уже начинается реальная работа, тут уже есть над чем поразмыслить, так что быстрых ответов не ждите. Только я думаю нам надо для начала определится со стратегией, что мы хотим получить, как можно проще, быстрее но не оптимально, с кучей ограничений и т.п, т.е. некий концепт прототип, или качество закладываем сразу ? т.е. сразу ближе к реальности ? я чесно гря пока больше склонялся к первому варианту, а вы так я понимаю ко второму. Хорошо, может тогда определится для начала с граничными условиями, т.е. макс кол-во машин в ресурсе, пропускная способность канала, дисковое пространство на клиенте и т.п, и тогда по крайней мере можно будет прикидывать что стоит ? Лады, я тогда пока подумаю над вариантом репликации не на всех а на часть...
спустя 20 минут [обр] Евгений Седов aka KPbIC(8/176)[досье]
Я не против упрощений, но очевидно, что расчитывать на бесконечное по объему место на чужой машине вы не можете. Поэтому, мне кажется, что лучше с самого начала принять это во внимание.
спустя 45 минут [обр] Thirteensmay(0/157)[досье]

Надо определяться с граничными условиями, скажем:

Минимальная пропускная способность канала клиента - 1 Мбит/с
Резервируемое место на диске - 100 ГБайт
Максимальное кол-во представителей в ресурсе - 1000

Вот если бы скажем кол-во представителей ограничить 100, то по моему можно уложится в модель "все на всех", и тогда проще, но 100 это вроде как не фонтан, т.е. максимум уровень группы студентов или одноклассников, а хотелось бы наверное чего то поболее... Как вы считаете ?

спустя 52 минуты [обр] Евгений Седов aka KPbIC(8/176)[досье]

Мне не по душе все эти ограничения. Я бы опирался на принцип GNU, который кратко можно сформулировать как "Никаких произвольных ограничений".

"Все на всех" — очень плохой принцип, также как и 100Г на диске. Система обязательно должна уметь раскидывать свой контент. Возможно даже, обрабатывать ситуацию, при которой ваш личный блог не вмещается к вам на машину (не говоря уже о чужих блогах). Кстати, что называть "моим блогом", учитывая, что там могут быть чужие комменты?

В первом приближении я вижу нечто в таком духе: хочу посмотреть ваш блог; мой клиент делает запрос к моему диспетчеру blog.user.Thirteensmay (в формате ресурс.идентификатор.значение); диспетчер смотрит на список локальных ресурсов и, допустим, не находит ваш идентификатор; бродкастом делает запрос на все доступные машины (это упрощение), в ответ получает список хостов, на которых есть запрашиваемый блог (тоже упрощение). После чего диспетчер возвращает клиенту ип машины с искомым блогом, и клиент уже коннектится напрямую к другому клиенту.

спустя 1 час 2 минуты [обр] Thirteensmay(0/157)[досье]

Лады, ваш подход более серьезен. Я сейчас не готов выдвигать по этому поводу конкретных предложений, буду думать, у меня сейчас вообще тут висит одно дело, в ближайшие пару недель постараюсь закончить, раз появился интерес, тогда как минимум по вечерам смогу этим более менее полноценно заниматься.

Понятие "моего блога" очевидно связано с правами доступа, например на удаление постов, хотя это можно рассматривать и как то иначе, например как просто какую то тематическую дискуссию, вот прям как топик на форуме, очевидно у них очень много общего и может быть даже есть смысл делать систему одновременно позволяющую организовать личные блоги и форум. А вот по поводу ограничений всетаки думаю никуда мы не денемся, иначе не от чего отталкиваться, прикидывать, хотя конечно по возможности надо уходить, согласен, но сразу все и красиво мы вряд ли потянем. 100 ГБ снимаю, пусть тогда это будет от 10 настраиваемо, с остальным согласны ?

спустя 1 час 51 минуту [обр] Евгений Седов aka KPbIC(8/176)[досье]

Я не понимаю, для чего вы хотите резервировать эти 100 или 10 гигов. А если у человека вообще нет места? Допустим, он с мобильного телефона.

Я вижу это так: местом для собственного контента у себя на машине пусть клиент озаботится сам (если он не имеет возможности размещать свой контент не на своей машине). А вот для "общественных" нужд, он может выделить и объявить любое количество на винте (от нуля). Этим местом будет распоряжаться диспетчер.

спустя 1 час 48 минут [обр] Thirteensmay(0/157)[досье]
Если у чела нет места то ни о какой поддержке им ресурса речи не идет, он может лишь его просматривать. Т.е. надо различать пользователей и представителей, пользователи просто "браузят" любой публичный ресурс, а вот представители его организуют, поддерживают. Резервировать место надо для представителей. Очевидно нам будет проще, хотя бы в прикидках для расчетов, если мы будем знать что любой представитель обладает как минимум 10 гигами, ну впрочем это пока не так существенно.
спустя 28 минут [обр] Евгений Седов aka KPbIC(8/176)[досье]
Совершенно не обязательно делать такие константы. Обратились к нему на уровне протокола — он ответил сколько у него свободного места, которого ему не жалко для сообщества.
спустя 1 час 42 минуты [обр] Thirteensmay(0/157)[досье]
Это понятно, в любом случае место со временем будет заполняться и уменьшаться, но вот изначально, возможность выделить 1 кб похоже на паразитирование.
спустя 15 минут [обр] Евгений Седов aka KPbIC(8/176)[досье]
Этот вопрос к технике не относится. Его вообще можно будет вынести в настройки. Принципиально то, что мы заранее не знаем, сколько свободного места в конкретный момент есть для нас у клиента.
спустя 35 минут [обр] Thirteensmay(0/157)[досье]
Согласен. Короче я пока уйду в подполье (почти), недели на две, параллельно за это время обдумаю предложения по схеме распределения и взаимодействия, у кого какие идеи - выкладывайте.
спустя 7 часов [обр] Павел Карасёв(1/14)[досье]
У меня есть замечание. Распределенные ресурс, например книга - это когда у каждого находится по одной странице. А у вас получается дублирование полное или частичное страниц книги. Проглядывается аналогия с кешированием страниц в поисковых машинах.
спустя 1 день 13 часов [обр] Thirteensmay(0/157)[досье]
Евгений, чето както нехорошая ситуация во взаимодействии получается. Какие предложения ?
спустя 32 минуты [обр] Евгений Седов aka KPbIC(8/176)[досье]
Вы идейный лидер этой затеи. Вы сказали, что 2 недели будете заняты и за это время что-то обдумаете. На меня можете расчитывать в технических вопросах, не не сторож я брату моему. Очевидно, пока никто не заразился вашим оптимизмом. Надо поставить инструменты, я поставлю. Начнете писать или продолжите обсуждать архитектуру, я поддержу.
спустя 15 минут [обр] Thirteensmay(0/157)[досье]
Я не лидер, предложил - да, но путь далекий. Хорошо что на вас можно рассчитывать, инструменты пока никакие не нужны, до писанины далеко. Мне запрещено на этом форуме нормально общаться, переедем на др. сервер или есть возможность свободной зоны здесь ?
спустя 7 часов [обр] Евгений Седов aka KPbIC(8/176)[досье]
Я понял, из-за отсутствия мата у нас дело не движется. Ну что ж, создать поддомен — дело одной минуты. Куда вы предлагаете его направить?
спустя 1 час 17 минут [обр] Thirteensmay(0/157)[досье]
Случайно может вырваться какая нибудь мелочь и писец, да и как оказывается не только в нем дело. А чего поддомен, раздела какого нибудь сделать нельзя ? Просто смысл то точки в чем, в движке да в том что народ нет нет заходит, на стороне я и сам могу, если вам интересно можно вообще тупо по аське переписываться.
спустя 5 минут [обр] Евгений Седов aka KPbIC(8/176)[досье]
Могу предложить IRC на точке. Сделаете там канал.
спустя 27 минут [обр] Thirteensmay(0/157)[досье]
Понятно, ну я вам в крайнем случае на мыло отпишу.
спустя 1 год 2 месяца [обр] kpeo[досье]
сообщение промодерировано

Дополню, что децентрализованных проектов сейчас стало много: MOVIM, Freenet, GNUnet, OneSwarm, Netsukuku, Osiris, Openidnotebook (в разработке), GNUsocial, Appleseed, Crabgrass...

Но все они идейно/технически пока еще не готовы стать лидерами. Diaspora — раскручен больше маркетингово.

Сейчас самостоятельно пишу проект такой сети по уже разработанному тз. Язык — c++.

спустя 1 час 38 минут [обр] Евгений Седов aka KPbIC(8/176)[досье]
Thirteensmay[досье] IRC поднял. Если идея не умерла, можете создать там канал под эту идею. Паролей никаких не надо, логин свободный, за лексиконом никто не следит.
спустя 7 часов [обр] Thirteensmay(0/157)[досье]
Евгений Седов aka KPbIC[досье] Идея не умерла, но ресурсов к реализации практически нет, у меня, т.е. нет времени, сейчас все вполне нормально с основной работой, а в свободное время, наверное старею ;), уже хочется просто отдохнуть... ;)
спустя 8 месяцев [обр] matador[досье]

Давно хочу распределенный форум. :)

Такой, чтобы:

А) находился ТОЛЬКО на компах САМИХ пользователей.
Б) связь между ником и IP невозможно было установить.
В) каждый пользователь мог создать свой раздел в форуме.

спустя 6 часов [обр] Павел Карасёв(1/14)[досье]

matador[досье] кажется ваши требования полностью дает гит, правда он не форум ))

а вообще с дублированием и синхронизацией данных все как-то забывают про представление этих самых данных, т.е. дизайн

спустя 11 часов [обр] Евгений Седов aka KPbIC(8/176)[досье]

Павел Карасёв[досье] Удаленный клиент git работает поверх TCP на всех протоколах, а значит, установить IP возможно. Итого: требования ни одного из пунктов не удовлетворены.

matador[досье] Что вам мешает удовлетворить свои желания? — напишите и покажите.

спустя 34 минуты [обр] matador[досье]

Git, действительно, не форум. :)

Формально, заявленным требованиям удовлетворяет Freenet и его система форумов Frost.

Но там, да, как раз проблема с дизайном. Древовидная структура эта... свалка какая-то... нужно чтобы выглядело по-человечески, типа phpBB хотя бы.

И ещё ужасно тормозит всё. Это что, родовое проклятие всех анонимных сетей?

Насчет "напишите и покажите" - не знаю, сколько времени у меня это займет, учитывая, что последний раз я писал на Бэйсике тыщу лет назад :) Пока смотрю - ЧТО уже есть, и почему "конкуренты" не взлетают? Почему, с одной стороны, "настоящая сеть" должна быть истинно распределенной, то есть, никак не зависеть от того или иного сервера, а с другой стороны, весь интернет в настоящее время построен иерархически - один "держатель контента" и стадо пользователей при нём, из которого он извлекает прибыль?

Powered by POEM™ Engine Copyright © 2002-2005