结构化P2P网络——DHT网络原理

AI权益加码!Claude Code、Cursor等20+工具免费用! 购周边限时加赠Coding Plan Lite,畅享主流AI工具!学习进阶更高效! 阅读详情
 P2P系统的应用越来越广泛,在文件共享、流媒体服务、即时通讯交流、计算和存储能力共享以及协同处理与服务等方面都能看到P2P的存在,一些P2P应用如Napster、eMule、BitTorrent等早已是家喻户晓了。
    P2P按其拓扑关系大致可以分为两类四种形式:
       1.非结构化拓扑。包括中心化拓扑、分布式拓扑、半分布式拓扑,其分别对应着Napster、BitTorrent、Kazaa这三种知名的应用。
       2.结构化拓扑。主要形式为分布式结构化拓扑,也就是所谓的DHT网络。
    DHT——Distributed Hash Table 分布式哈希表:
       1.哈希表被分割成不连续的块,每个节点被分配给一个属于自己的哈希块,并成为这个哈希块的管理者。
       2.通过加密哈希函数,一个对象的名字或关键词被映射为128位或160位的散列值。
         DHT网络的基本思想如下:
       1.每一份资源都由一组关键字进行标识。
       2.系统对其中的每一个关键字进行Hash,根据Hash的结果决定此关键字对应的那条信息(即资源索引中的一项)由哪个用户负责储存。
       3.用户搜索的时候,用同样的算法计算每个关键字的Hash,从而获得该关键字对应的信息存储位置,并迅速定位资源。

效果可以看下具体51搜索展示http://www.51bt.cc,结合Xunsearch全文检索技术,可以达到毫秒级的数据搜索   


    DHT关键字定位:
       1.DHT通过分布式散列函数,将输入的关键字唯一映射到某个节点上,然后通过某些路由算法同该节点建立连接。
       2.每个节点并不需要保存整个系统的节点视图信息,只在节点中存储其邻近的几个后继节点信息,当一个节点收到一个查询操作时,如果它发现所查询的标识不在自己关联的区间内,那么该节点将会把该查询发送给其存储节点信息表中它认为最靠近目标的邻居。
       3.每次转发都能更进一步地接近数据源。因此较少的路由信息就可以有效地实现到达目标节点。
 
    DHT的具体算法实现过程:
    (1)对每个节点的一定特征(如IP地址)进行Hash,使得到的每个节点的节点值唯一。将节点按照节点值的从小到大构成一个环(Chord环)。(此处节点值可以看作是新环中的IP地址)
    (2)通过节点值,获取每个节点与下一个临近节点之间的距离,从而获得每个节点所需负责的值区间。(此过程类似于建立路由表)
    (3)对每个节点上的资源提取关键字,并对关键字进行Hash,得到的Hash值按照(2)中的每个节点负责的区间进行分配,从而使每一项资源的存储信息都被存储在一个节点上。(此步骤获得了资源的索引列表)
    (4)当搜索一项资源时,对其关键字进行Hash,得到的值与当前节点的值区间表相比较,从而获得资源的索引信息最有可能存在的节点。查询该节点,获取资源的索引,根据索引,即可找到资源所在的节点,并建立通信。
宝塔 bt 蜘蛛统计数量汇总与分类统计 python 2) fenlei.txt 文件,用于配置如果你的服务器的网站有各种类型的站点要分类的时候,当然不分类也可以用。1)spider_file.txt 统计的的txt文本文件,直接全选复制页面的文本 ,放到txt ,3)spider_site_get.py 文本处理与分类 提取脚本,主要就是处理和现实。3)配置好站点分类,不配置也可以,配置格式是,井号加分类名字,下面一行一个站点域名。当站点多的时候不方便,,蜘蛛多少那列不能排序,不能按多少排序。当站点多的时候,只更新诱蜘蛛来的站点,没有蜘蛛的站点不显示! 阅读详情

相关推荐

蜘蛛磁力搜索-crx插件

语言:中文 (简体) 搜索想看的视频,书籍,软件的磁力链接,方便,节省时间 搜索想看的视频,书籍,软件的磁力链接,方便,节省时间!!使用方法:选中要搜索的文字,然后会出现 蜘蛛磁力搜索 的图标,点击图标即可搜索相关磁力信息

分享github好用的磁力站bt导航和阿里云盘导航、百度网盘搜索引擎导航

分享github好用的磁力站bt导航和阿里云盘导航+百度网盘搜索引擎导航!收藏! 作为磁力重度依赖人士常看到bt磁力车站推荐帖里的死链,很让人沮丧。 下面分享在github发现的bt磁力导航与阿里云百度网盘搜索引擎导航。 拿笔记好了哦

weixin_43721797的博客 7万+

bt电影源码带采集

wordpress内核,BT电影站源码带采集50块钱买的可以拿去研究研究他的采集规则

Unity资源加载之AssetBundles打包

一、AssetBundle类属性及函数 首先提供官方参考文档:API-Reference-AssetBundle&AssetBundle-Manual 概述:AssetBundle类继承自Object类;一个AssetBundle是一个归档文件,它仅包含非代码资源,它的用途在于Unity可以在运行时加载它,以降低初始安装包的大小,优化终端平台的资源加载,降低运行内存的压力;开发者可以...

mozhi 2136

P2P网络原理

P2P(Peer-to-Peer)网络是一种去中心化的分布式网络架构,在这种网络中,所有节点(peer)都具有相同的地位和功能,既可以作为客户端请求服务,也可以作为服务器提供服务。

m0_67298586的博客 1124

书籍《P2P对等网络原理与应用》笔记

书籍《P2P对等网络原理与应用》笔记:1. DHT算法:DHT(Distributed Hash Table,分布式哈希表)类似Tracker的根据种子特征码返回种子信息的网络DHT全称叫分布式哈希表(Distributed Hash Table),是一种分布式存储方法。在不需要服务器的情况下,每个客户端负责一个小范围的路由,并负责存储一小部分数据,从而实现整个DHT网络的寻址和存储。新版Bit...

3079

利用DHT网络原理制作bt采集

P2P系统的应用越来越广泛,在文件共享、流媒体服务、即时通讯交流、计算和存储能力共享以及协同处理与服务等方面都能看到P2P的存在,一些P2P应用如Napster、eMule、BitTorrent等早已是家喻户晓了。关于这个网络工作原理,参看:P2PDHT网络爬虫(链接http://codemacro.com/2013/05/19/crawl-dht/)以及写了个磁力搜索的网页(链接http:/

asdasgjhgrty的专栏 841

P2P对等网络读后笔记

作者:赵培龙 日期:2013/11/8 p2p的研究对象 p2p的研究有人说在三个方面: 实现技术通信模式网络拓扑 我认为这三方面主要就是解决2个问题: 如何在p2p网络中找到相应的资源如何从找到的资源里得到资源 就是如何找和如何得到的问题的研究。 之所以分为上面的三个方面,我个人觉得,网络拓扑就主要是为寻找资源做支撑,通信模式主要是为寻找资源和得到资源做支撑,实

1709

利用DHT网络原理制作bt采集蜘蛛,开源版

P2P系统的应用越来越广泛,在文件共享、流媒体服务、即时通讯交流、计算和存储能力共享以及协同处理与服务等方面都能看到P2P的存在,一些P2P应用如Napster、eMule、BitTorrent等早已是家喻户晓了。关于这个网络工作原理,参看:P2PDHT网络爬虫(链接)以及写了个磁力搜索的网页(链接)。     P2P按其拓扑关系大致可以分为两类四种形式:        1.非结构化拓扑。

vbvndfgj的专栏 685

详解区块链P2P网络

原文出处:http://keeganlee.me/post/blockchain/20180313 根据前一篇文章《从微观到宏观理解区块链》我们已经了解到,微观上,区块链本质就是一种不可篡改且可追踪溯源的哈希链条;宏观上,还具备了另外三个基本特征:分布式存储、P2P 网络和共识机制。分布式存储无非就是网络上大部分节点都保存了整条区块链,这容易理解也不复杂,所以就没必要再展开细讲了。但区块链...

qq_35911184的博客 983

区块链P2P网络详细讲解

我们已经了解到,微观上,区块链本质就是一种不可篡改且可追踪溯源的哈希链条;宏观上,还具备了另外三个基本特征:分布式存储、P2P 网络和共识机制。分布式存储无非就是网络上大部分节点都保存了整条区块链,这容易理解也不复杂,所以就没必要再展开细讲了。但区块链的 P2P 网络和共识机制相对则复杂得多,因此我将用两篇文章分别展开讲讲这两部分内容,本篇文章就先来了解区块链的 P2P 网络P2P 网络 ...

跨链技术践行者 1万+

java实现区块链p2p网络_详解区块链P2P网络

根据前一篇文章《从微观到宏观理解区块链》我们已经了解到,微观上,区块链本质就是一种不可篡改且可追踪溯源的哈希链条;宏观上,还具备了另外三个基本特征:分布式存储、P2P 网络和共识机制。分布式存储无非就是网络上大部分节点都保存了整条区块链,这容易理解也不复杂,所以就没必要再展开细讲了。但区块链的 P2P 网络和共识机制相对则复杂得多,因此我将用两篇文章分别展开讲讲这两部分内容,本篇文章就先来了解区块...

weixin_36378951的博客 1256

区块链中P2P网络

转载自https://keeganlee.me/post/blockchain/20180313 有整理P2P网络在区块链里面解决了去中心化的问题,原理很容易理解,但是其中细节则复杂得多。推荐书籍:《P2P对等网络原理与应用》P2P 网络不同于传统的客户端/服务端(client/server,C/S)结构,P2P 网络中的每个节点都可以既是客户端也是服务端,因此也不适合使用 HTTP 协议进行节点...

小熊划水博 2859

利用DHT网络原理制作bt采集蜘蛛

P2P系统的应用越来越广泛,在文件共享、流媒体服务、即时通讯交流、计算和存储能力共享以及协同处理与服务等方面都能看到P2P的存在,一些P2P应用如Napster、eMule、BitTorrent等早已是家喻户晓了。找了台服务器将磁力链接爬虫架设起来http://www.51bt.cc(51搜索)大家可以看下。     P2P按其拓扑关系大致可以分为两类四种形式:        1.非结构化拓扑

mvsnjial的专栏 998

DHT网络原理制作bt采集蜘蛛,开源版

P2P系统的应用越来越广泛,在文件共享、流媒体服务、即时通讯交流、计算和存储能力共享以及协同处理与服务等方面都能看到P2P的存在,一些P2P应用如Napster、eMule、BitTorrent等早已是家喻户晓了。效果可以看下具体51搜索展示http://www.51bt.cc,结合Xunsearch全文检索技术,可以达到毫秒级的数据搜索     P2P按其拓扑关系大致可以分为两类四种形式:

grtyyuuuu的专栏 522
上一篇: 利用DHT网络原理制作bt采集蜘蛛,开源版
下一篇: 使用erlang实现P2P磁力搜索-实现
jfghetert
博客等级 码龄12年 0粉丝 0原创
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值