本公开总体上涉及网络,更具体地涉及一种框架,该框架利用弹弓推动的传输动力进入常规互联网路径内的透明的、优化的弹射段中。
背景技术:
1、当前互联网技术提供的最大优势之一是它们遵循能够实现来自不同供应商的设备之间的互操作性和通信的标准。以太网的基础技术和基于它的互联网协议(ip)利用跨ip地址之间作为中继段(hop,跳)的段发送分组。这些分组与供应商无关,意思是它们不需要知晓或关心谁制造了他们经过的传动装置(gear),并且只要传动装置能够理解包的结构并且可以解析其头部和尾部,就可以传送分组。
2、弹跳允许弹弓(参见美国临时专利no.62/266,060和pct/ib16/01867)的益处无缝地用于传输的长途部分,同时还允许客户端使用其现有的设备、配置和工作流。
3、弹跳可以在弹弓之上独立构建,或者其可以与全局虚拟网络(gvn)或某些其他网络框架集成。当提到弹射节点(sln)时,这可以指代超级计算机集群或节点、高性能计算机或集群或其他强大的计算系统。
4、互联网上最常见的两种通信协议是ip上的传输控制协议(tcp)和用户数据报协议(udp),其分别缩写为tcp/ip和upd/ip。由于基于窗口大小和往返时间(rtt)的传输控制、内置纠错、经由返回给发送方的确认分组(ack)验证传输数据的完整性以及其他特征,tcp/ip协议提供可靠的往返传输;然而,这种可靠性需要付出代价,因为tcp/ip明显比udp/ip慢。虽然因为udp/ip是单向传输而没有发送回发送方的ack,所以其相对较快,但是没有进行数据完整性的验证,因此发送方无法发现接收方的丢失或损坏。而且,对于接收方,经由upd/ip路由丢失的任何分组是完全未知的。tcp/ip相对于udp/ip的主要取舍是准确性之于原始速度。
5、虽然互联网上使用的最广泛的协议是以太网上的tcp/ip和udp/ip,但是以太网本身具有各种版本,从原来的以太网到gige、10gige,40gige和100gige以太网是可用的,当然未来预计有更高带宽版本。
6、在其他方法中,主机通过使用ip地址的现代路由被其他主机“找到”,并且它们还可以经由将域名转换为ip地址的域名系统被找到。路由协议和路由发布帮助设备确定设备之间的(多个)ip路径。
7、在长距离上,以太网上的tcp/ip和udp/ip协议存在某些挑战。已经开发了各种技术来试图迫使数据流过最佳路径,其包括ospf(开放最短路径优先)、bgp路由(边界门协议)以及其他对等相关技术。
8、互联网是多个网络的开放网络,这些网络直接相互对等或经由与第三方网络对等而相互对等。对通过中间第三方的网络的业务流的控制很少。对于那些要求更高服务质量(qos)并且具有严格性能要求的,专用线路和相关技术,如mpls(多协议标签交换)、暗光纤和其他选项,提供点之间的直接连接(connectivity,连接性),保证qos,缓解来自其他流量的拥塞并且具有其他担保,尽管比常规互联网连接具有相对较高的货币成本(capex和经常性的运行成本)。
9、wan优化是某些方用于改进连接的另一种技术。wan优化设备的硬件和软件用于压缩和优化在wan的两个互联网边缘点之间传输的数据,使得它们可以更有效地通过该链路推送数据。
10、全局虚拟网络(gvn)(参见国际专利申请no.pct/us16/15278)全面优化连接设备之间的系统范围连接,从而通过利用人工智能(ai)和高级智能路由(asr)等技术显著改进网络性能。
11、所有上述技术都遵循用于在原点与目的地之间传输作为分组的数据的当前通信方法,其中返回原点的往返和传输时间反映为往返时间(rtt)的度量。
12、远距离无限带宽(ib)是另一选项,其中在暗光纤通道的两端处定位两个端点无限带宽启用的设备,以实现长距离ib连接。还有其他协议,诸如光纤通道,但此时它在长距离上是不可靠的。
13、通过将待写入数据经由远程直接存储器存取(rdma)单向发送至并行文件系统(pfs)、ram驱动器、分层文件系统(hfs)或其他存储器或队列,弹弓单向发送(参见美国临时专利no.us62/266,060和国际专利申请no.pct/ib16/01867)为数据的近线速移动提供了某些优势。该写入数据由将在那里使用的远程区域中的弹射节点(sln)读取。弹弓可以通过可以支持rdma和其他属性的ib远距离链路或高速以太网链路或者通过其他协议运行。
14、弹射路由是在弹弓之上建立的可扩展层,以允许经由弹射路由地址合理且清晰地路由至多个点。本发明基于弹弓技术构建,而且还可以利用gvn、弹射路由和其他技术。
15、信标脉动器是基于弹弓构建的另一种技术(参见美国临时专利申请no.62/266,060),并用于数据的单向广播发送。
16、作为背景的进一步说明,物理规律作为在此援引时间、延迟、线速和其他时间相关度量的基础。由于时间和距离很重要,所以本发明使用以下基线用于时间和距离/时间依据:本文中的距离是在英制系统下以英里测量的;本文中的距离的度量可以是有或没有逗号和/或小数的数字,或者可以表达为整数;本文中不使用英制系统的距离的一个例外是在光缆的折射率中,其中距离以米制体系下的米表达;时间按秒度量,表达为秒的整数、分数和/或小数(例如,时间的瞬间粒度可以作为毫秒的分数(每l/20或1/10或1/100)或小数(0.05、0.1、0.01)来度量);本文中援引的时间单位也可以是比秒更精细的粒度,诸如毫秒(ms)和微秒(μs)、纳秒(ns)等;比微秒更精细的任何粒度,诸如纳秒(ns),可能在本发明的某些实际应用中是重要的,但出于展示的目的,本文中最精细的实际粒度为μs。
17、在计算时,用于联网的时间的最常见度量是毫秒(ms),而用于处理的是微秒(μs)或更小。
18、下表示出了一些可能的值及其对应等价转换。
19、表1-时间的度量
20、 # 说明 秒 毫秒(ms) 微秒(μs) 1 1秒的1/10 0.10000 100 100,000 2 1秒的1/20 0.05000 50 50,000 3 1秒的1/100 0.01000 10 10,000 4 10微秒 0.00001 0.010 10 5 100微秒 0.00010 0.100 100 6 1,000微秒 0.00100 1.000 1,000
21、弹弓、弹跳和相关弹射技术的核心是,同步某些相互依赖或顺序或其他基于间隔的动作依赖于主动关注瞬间粒度(参见美国临时专利申请no.62/296,257和/或国际专利申请no.pct/ib16/01867)。
22、对于长距离的tcp/ip和udp/ip协议,互联网协议(ip)的固有问题非常明显。除了与距离相关的问题之外,通过设备的拥塞是分组损失以及其他问题的另一个主要原因。
23、tcp/ip具有重新发送丢失或丢弃或损坏的分组的机制。然而,在由于过度使用、故障或其他原因导致拥塞的时间期间,检测到丢失的设备将保持重新发送丢失的分组,其可能触发级联效应,这可能加剧问题,导致更多拥塞。
24、对等以及沿网络路径将许多不同的段特性编织在一起可能对整个该路径上的业务流的qos产生不利影响。
25、从用户体验(ux)和/或应用性能的角度来看,由于长路径、低效路由、拥塞、丢失和其他问题导致的高延迟可能致使服务停止进行,导致应用超时以及其他当前的其他不利影响。
26、以太网上的互联网协议(ip)在长距离上变得极其低效,并且当存在拥塞、路由不良或存在其他事件时其效用降低。
27、线路的物理限制也带来了挑战。根据物理定律,光纤线路上的光传输不能达到光在真空中可以达到的速度。
28、表2-考虑由于折射造成的光纤延迟上的拖延的光纤线速度(基于在如下网站找到的数据:http://www.m2optics.com/blog/bid/70587/calculating-optical-fiber-latency)
29、
30、上表比较了真空中的光速和光纤玻璃芯内部的光速。因此,对光纤效率存在物理限制,这为光穿过光纤可以实现的理论最佳速度建立了基线。
31、尽管光缆的折射率可能会轻微变化,但平均值假设如下:对于68.05%的平均效率,大约为203m至204m/μs的平均值之于光速299.792m/μs。
32、因此,光纤上的传输速度为每秒126,759.88英里,就其本身而论是可以实现的最快的可能线速。
33、在今天的互联网上,主机到主机往返传输的请求-响应性质(以及相应的经过时间的rtt测量)要求一个主机向另一个主机查询待返回的信息。因此,主机到主机通信以及扩展路径上的拖延导致效率低下。
34、数据业务的分组化也导致效率低下。当消息数据的大小(以字节为单位)超过每个分组的数据有效载荷所允许的字节数时,分组大小极限要求将数据消息拆分为多个分组。在ip模型(参见图3)或osi模型(参见图4)的各个级别中的每一级别处还存在由包头(以及可能的文件尾)增加的显著膨胀,显著影响以字节为单位的有效载荷大小。
35、最大传输单元(mtu)指定可以作为分组或帧发送的最大8位字节数。例如,如果分组具有1,500的mtu,则意味着来自所有级别的组合包头和文件尾加上有效载荷不能超过该总数。最小mtu为68。而且,当前互联网上最常见的tcp mtu的值为1500或576。反过来算,可以通过取mtu并减去组合的包头和文件尾字节来计算以字节为单位的允许的最大有效载荷大小,以及其他膨胀以确定可用于有效载荷数据字节的剩余字节。
36、当文件大小大于数据有效载荷的允许大小时,那么其将作为多部分消息发送。这需要将文件分成带有更多个被添加的包头/文件尾的片段,表示文件的每个片段的开头和结尾在已经受约束的数据有效载荷的允许大小之内。当要在大距离上发送大文件时,这种臃肿内的臃肿是严重的。
37、tcp/ip和udp/ip受制于通过每个设备处理分组的以太网的存储和转发模型的互联网协议(ip)。这意味着对于跨设备的每一中继段,分组必须被完整地接收,检查完整性,然后向前转发。虽然此过程只需要每一中继段大约100μs,但路径越长以及分组必须在每个方向上通过其传输的中继段越多,rtt时间就越长。可以设想,分组必须在每个方向上传输通过15或20个中继段,因此增加2*15*100μs=3,000μs至2*20*100μs=4,000μs。这意味着,由于中继段处的分组传输设备,传输时间增加3ms至4ms。此外,如果存在拥塞,则设备可能需要显著更长的时间来管理分组传输。
38、由于边界在各种网络织构之间交叉,所以许多网段上的路由、路径、对等问题和织构相关问题都会造成问题。专用线是点对点的,虽然大多数是最佳的,但它们是封闭的,因此不会遇到相同的拥塞问题。考虑到协议,它们仍然是请求/响应,因此仍然受到上述协议限制的影响,这些限制在长距离上被放大。
39、虽然弹弓是解决上述问题中的许多问题的新方法,但从capex角度和持续运营角度二者来看,其对于单个用户在其自身使用是昂贵的。在许多情况下,弹弓需要在其上构建框架。在某些情况下,诸如金融公司的数据传输利用,费用和努力是合算的。然而,许多其他行业无法负担,他们也不需要专门的弹弓机制。
40、利用弹弓来传输流或多播数据的信息信标脉动器有利于单向传送信息,诸如市场信息的长距离转发。但是,它不适合集成到收件人发回响应的互联网路径中。
技术实现思路
1、根据所公开的主题,提供了用于框架的系统和方法,该框架在常规互联网路径内将弹弓推动传输的动力利用到透明的优化弹射段中。
2、本发明中的弹跳,可以透明地利用弹弓的动力作为位于常规ip中继段的路径中的一对中继段中的段的技术。弹跳是相对于本地互联网传输而在长距离上提供快速传输的一个或多个长途段。弹跳由框架提供动力,该框架由两个弹弓组成,一个弹弓从一个区域向目的地区域发送数据,另一个弹弓从目的地区域向原始区域发回信息。
3、在入口点处,弹跳捕获并将接收的分组缓存到队列中。在由滴答粒度控制的可变时间周期中,在队列缓存器中累积的所接收的分组被组合到批量未压缩载体文件的文件数据部分中。组合的文件被弹弓弹射到所述弹跳的另一端,并保存在pfs设备上的文件夹中,在该文件夹中由弹射节点(sln)读取。每个时间周期由该sln上的滴答粒度控制,尚未组合的载体文件从那里的pfs被读取被使用如下;各个分组是个性化的,并通过传输到下一中继段返回其旅程,并在返回的途中发送。就ip路径上的下一中继段而言,其视为已经从等效ip设备中接收到分组。
4、弹跳入口/出口ip地址对之间的路由基于对目的地区域中的pfs设备的分组的弹跳。参见图12、图16和图17。到目标区域的路由基于向哪个pfs设备发送包含分组的载体文件。
5、弹跳还提供与在互联网上运行ip的传统系统的完全集成和互操作性,因为ip地址配对指示弹跳的入口和出口点。从ip设备的角度来看,这两个地址似乎是ip网段两端的标准ip中继段,而底层的弹跳操作对它们是透明的。
6、弹射节点(sln)是弹跳的一个特征。它们可以是超级计算机节点(scn)、一起运行的高性能计算机/集群(hpc),或者从整体功能视角来看,可以独立运行或作为全部在下层级别的群组并基于其相对的情境角色联合运行的其他系统。
7、弹弓是互联网下方(uti平方或uti2)第二级层。更透彻的描述参见图5。
8、在一些实施例中,本发明考虑到弹弓相对于ip的速度、功率和优点,但其是作为嵌入在ip路径内的透明中继段。
9、在一些实施例中,本发明的特征在于算法分析,其可以确定数据经由常规ip路径是否将更快或者如果弹跳传输可以以更低延迟的形式提供速度增益(参见图25)。
10、在一些实施例中,本发明不需要通过传输弹跳传输路径的流量的发送方或接收方的任何特定配置。因此,在段路径中的长距离中继段中实现相应的自动速度优势是无缝的。
11、在一些实施例中,本发明是一种合理可扩展的产品,用于发送广泛的大容量数据,由于其以接近线速的速度操作而实现始终如一的高速、高吞吐量。
12、在一些实施例中,本发明不具有与ip相同的拥塞和其他问题,因此弹跳不会在长距离上遭受ip所遭受的相同的低效率。
13、在一些实施例中,本发明替换段的基于ip链中的大部分中继段,并且取而代之,它使用在最大距离上简化的全局路由来弹出数据。
14、在一些实施例中,本发明使用弹弓“内部结构”,其通过安全周边和协议的性质二者保护。因此,存在安全优势,因为不可能通过弹跳段拦截、干扰和/或修改流量(参见图2)。
15、在一些实施例中,本发明提出了在一个弹跳(外出进入点)eip与另一个弹跳eip之间的流量的有效双向收敛。
16、在一些实施例中,本发明在ip路径中提供透明段,并且虽然分组在中间不知道弹跳,但结果是它实现了尽可能低的rtt,同时还降低了中继段数。
17、在一些实施例中,由于没有长距离ip传输通常会发生的长距离效率降低,因此本发明产生更好的速度和性能。
18、在一些实施例中,本发明对于用户来说是低成本的,因为基础设施的成本分散并由共享基础设施的许多客户端承担。
19、在一些实施例中,本发明减轻了许多组织的顾虑,这些组织已在基于以太网的互联网协议(ip)构建的基础设施上投入大量资金。由于成本以及与传统系统的互操作性的要求,他们不愿意弃用其现有系统来支持新系统,因此弹跳提供长距离的插件增强功能使他们使用其大部分传统系统。
20、在一些实施例中,本发明是由(多个)弹跳透明段增压的传统网络段的双向混合,提供了有利于这样做的提升。
21、在一些实施例中,本发明可以容易地集成到灵活的、动态的、安全且智能的结构中。
22、在一些实施例中,公开了一种用于在端点设备之间提供长途网络连接的网络系统。该网络系统包括第一端点设备、第二端点设备、第一交换服务器、第二交换服务器、耦合在第一端点设备与第一交换服务器之间的第一接入点服务器、耦合在第二端点设备与第二交换服务器之间的第二接入点服务器、耦合在第一交换服务器与第二交换服务器之间的第一存储节点以及耦合在第一交换服务器与第二交换服务器之间的第二存储节点。第一交换服务器被配置为将第一分组化流量转换为载体文件以及将载体文件写入第二存储节点。第二交换服务器被配置为从第二存储节点读取载体文件以及将载体文件转换为第二分组化流量。第一交换服务器被配置为(1)经由第一接入点服务器,将从第一端点设备接收的第一分组化流量转换为载体文件,以及(2)将载体文件写入第二存储节点。第二交换服务器被配置为(1)从第二存储节点读取载体文件,以及(2)将载体文件转换为第二分组化流量,其中,第二分组化流量经由第二接入点服务器发送到第二端设备。
23、因此,已经相当广泛地概述了所公开主题的特征,以便可以更好地理解其随后的详细描述,并且可以更好地理解对本领域的本贡献。
24、在这方面,在详细解释所公开主题的至少一个实施例之前,应理解,所公开主题不限于将其应用于构造的细节和以下描述中阐述或附图中示出的组件的布置。所公开主题能够具有其他实施例并且能够以各种方式实践和实施。而且,应理解,本文中采用的措辞和术语是为了描述的目的,而不应当被认为是限制性的。
25、因此,本领域技术人员将理解,本公开所基于的概念可以容易地用作设计用于实现所公开主题的若干目的的其他结构、方法和系统的基础。
26、。为了更好地理解所公开主题、其操作优点以及通过其使用获得的特定目的,应当参考附图和其中示出了所公开主题的优选实施例的描述性内容。
1.一种用于在端点设备之间提供长途网络连接的方法,包括:
2.根据权利要求1所述的方法,还包括:
3.根据权利要求1或2所述的方法,其中,从所述第一存储节点读取所述第一载体文件包括:
4.根据权利要求1或2所述的方法,其中,所述第一交换服务器定期地批量读取所述第二存储节点保存的文件。
5.一种用于在端点设备之间提供长途网络连接的网络系统,包括:
6.根据权利要求5所述的网络系统,其中,所述网络系统还包括:第二存储节点,所述第二存储节点耦合在所述第一交换服务器与所述第二交换服务器之间,
7.根据权利要求5或6所述的网络系统,其中,所述第二交换服务器器还被配置为:
8.根据权利要求5或6所述的网络系统,其中,所述第一交换服务器还被配置为:定期地批量读取所述第二存储节点保存的文件。
