欢迎您!
主页 > 六合通心水论坛01299 > 正文
藏宝阁生肖谜语猜特诗2020 OCPChinaday议题5实录:边缘计算的开
日期:2021-06-10 来源:本站原创 浏览次数:

  11月13日,开放计算中国社区技术峰会(第二届OCP China Day)在北京举行,超过600多名IT工程师和数据中心从业者参加了此次大会,来自Facebook、Intel、微软、浪潮、百度、腾讯、阿里、NVIDIA、诺基亚、中国移动、希捷、燧原科技等开放社区成员参与了峰会,分享了在开放计算技术的最新进展和创新实践。

  11月13日,开放计算中国社区技术峰会(第二届OCP China Day)在北京举行,超过600多名IT工程师和数据中心从业者参加了此次大会,来自Facebook、Intel、微软、浪潮、百度、腾讯、阿里、NVIDIA、诺基亚、中国移动、希捷、燧原科技等开放社区成员参与了峰会,分享了在开放计算技术的最新进展和创新实践。

  5G和AI等新技术的普遍应用和快速发展,给数据中心带来更多新兴场景。在OCP开放计算社区,面向AI加速器芯片统一的OAI、面向5G边缘计算场景的OpenEdge和开放网络标准的SONiC正在成为新一波开放计算产业化发展的重点方向,这些技术正在OCP(Open Compute Project,开放计算项目)社区得到积极的响应。经过近十年的发展,OCP社区的研究领域也由最初聚焦数据中心基础设施,逐渐向5G、边缘计算、AI等前瞻技术融合、新兴应用场景扩展。目前,OCP社区成员已超过200家,包含数据中心基础设施、服务器、存储、硬件管理、开放加速硬件等8个技术项目组,OCP China Day也已成为全球开放计算最具规模的生态峰会之一。

  在 OCP China Day 上,诺基亚、中国移动、浪潮一起介绍了面向5G及边缘的开放计算方案,分享如何实现更全面的云边协同,如何解决边缘网络安全问题、如何设计边缘服务器以提供足够的边缘算力支持、如何推动5G网络虚拟化技术实践与开源开放等。

  我将向您介绍适用于室内室外安装的开放边缘配置选项。同时,我还将提供一些示例供参考。

  在这页幻灯片上,您可以看到从配置到部署的标准操作流程。左侧是关于诺基亚配置器工具的照片,用户可以利用此工具在服务器层、机箱和机架层级配置硬件。配置的常规输入通常是应用需求。例如,CPU 核心数量、内存大小和网络吞吐量。同时,下述需求也很重要,如:现场支持什么供电?环境条件、空间限制、气流方向如何,等等。所以,配置器工具操作完成后,它将导出包含配置结构详细信息的文件,还有物料清单。然后,这些数据将在工厂用于集成,从头开始构建系统。集成完毕,系统经过全面测试后,就会封装,再发货到现场。最后,现场人员接通系统电源并进行调试。

  现在,我们来详细了解一下服务器的配置选项。在此图中,您可以看到 2U 服务器底座。在 2U 服务器底座中,前面板有四个热插拔硬盘或 SSD 插槽,支持 SATA 或 NVMeSSD。提供数个IO转接板选项。转接板定义了由CPU引出的PCIe接口和PCIe扩展插槽或 SSD 之间的连接,这样我们可以基于特定需求优化服务器的IO配置。前面板有三个全高 PCIe 扩展插槽,其中两个还是全长插槽。这样我们可以使用高性能加速卡或GPU,支持功耗可达 300W。对于 CPU,基本上所有 Intel Xeon SP系列处理器均可用,从低端的数个核心到高端的 28 个核心均包括在内。服务器提供两个风扇选项,气流可以从前向后,也可以从后向前。 这使得硬件可以匹配现场的气流方向。内存选项方面,一共有六个 DDR4-2933 内存插槽。还有两个Intel非易失性内存模块插槽,支持Intel OptaneDIMM。除了前面板热插拔存储外,盖子下面的服务器内部还有两个 SSD,支持 80 毫米和 110 毫米两种外形尺寸,SATA 和 NVMe 均可支持。在 PCIe 扩展插槽下面,还有用于网络夹层的 OCP 夹层 2.0 版。

  然后是机箱配置。类似如图所示的 3U 机箱最多可容纳五个 1U刀片式节点。或者,可以安装一个 2U刀片来代替两个 1U刀片。节点通常是服务器节点或交换机节点。另外,右下角的插槽 1 支持电池备份单元 (BBU)刀片。以防出于某些原因供电出现故障,插槽 1 的背板上有一个附加的电源连接器,可允许更大的电流从电池备用单元流向系统的其余部分。对于供电,提供交流和直流选项。另外,对于不同应用或不同尺寸的机箱,例如 2U机箱,也提供低功率 PSU,1,200 瓦特和 2,000 瓦特。 RMC 属于所有机箱配置的一部分。

  接下来是机架级配置。实际上,图上展示的是机架级蓝图,蓝图意味着这些配置中的部分细节是预先确定且固定不变的:硬件单元的位置固定,网络连接固定。不过,用户可以定义机箱的数量、系统中交换机或 PDU的数量。这样,用户可以根据应用需求灵活扩展。机架顶部是 PDU,PDU 将在机架中分配供电。机架提供数个 PDU 选项,包括 48 伏直流电、400 伏交流电、三相电、230 伏交流电、单相电。对于北美市场,提供具有 208 伏输入电压、三相和单面选项的 PDU。 交换机位于机架中间,提供服务器之间以及上行链路之间的连接。路径位于机架外。交换机类型为 32 x 100 GB,提供两种选项,单叶或双星交换结构。交换机的上方和下方是开放边缘机箱。一个机柜中可以容纳最少1个,最多8 个 3U 机箱。此处显示的机架是 36U 开放边缘地震机架,也可以是任何其他标准的 19 英寸机架。就像我前面所说,整个机架在工厂全面预先集成,所有电源和网络电缆也已在工厂连接并经过测试。客户现场收到集成机架后,下一步就是连接电源,连接上行链路并开始调试。

  许多远端部署一般都在户外进行,因此,作为需要在室内运行的开放边缘硬件,需要一个环绕四周的机柜,以便为硬件提供合适的运行条件。此处显示的机柜提供了适合在户外环境中使用的开放边缘机箱。机柜提供三个用于开放边缘硬件的机架空间单元,还提供附加的 1U 空间用于容纳任何其他硬件。该机柜内的气流是封闭的,这意味着,相同的空气在放置设备的空间中循环,这对可能损害室内硬件的任何空气污染物提供了很好的防护。该机柜的冷却通过机柜内部和外部之间的热交换器来进行。然后,外部气流通过此热交换器带走热量,使机柜内部保持凉爽。此外,该室外系统完全符合 NEBS 标准,包括 GR-63 区域 4 地震标准。该系统还能够满足室外机柜的 GR-3108标准的 4 类要求。

  诺基亚将开放边缘机箱设计作为开放产品提供。所以,大家可在 OCP 网站获取整个设计包。开放边缘服务器作为开放产品提供,相应产品规格可在 OCP 网站获取。另外,在页面底部提供了两个链接。 第一个链接导向诺基亚的开放边缘服务器产品组合。第二个链接导向开放计算市场,您可以在其中找到当前可用的所有开放边缘产品。

  面向5G及边缘的开放计算方案唐华斌,中国移动研究院、电信云交付技术中心主任

  唐华斌:谢谢主持人。今天很高兴第二次出现在OCP CHINA DAY这个讲台上,来跟大家分享一下中国移动面向5G及边缘计算的方案。

  刚刚过去的10月底是中国5G商用专业化满一年的时间,我不知道在座各位有多少已经用上了5G的手机,但是在背后中国移动其实已经悄悄的为大家建立成了全球最大规模的一张5G的网络,这张网络目前有38座5G基站,是全球规模最大的。同时5G的TOP3用户超过了一亿户,覆盖全国所有的地级以上的城市。还有这里面线G终端的个人用户现在已经超过了八千万,我自己刚刚双十一抢购了一个5G的手机。但是5G不光是对于每个人生活的影响,5G是改变社会的技术,所以说中国移动一直在跟合作伙伴一起协作,在推动5G更好去服务千行百业,我们推出了一百个集团级的龙头示范项目和一千个省级示范项目,推出了双百亿的产业促进计划,来跟产业合作伙伴一起推动5G更好的服务于我们各行各业的数字化的进程。

  再来看边缘计算,因为运营商有网络的优势,所以说我们去做边缘计算本身也是有天然的优势,在上周中国移动的5G+E的一个研讨会上,我们刚刚正式发布了中国移动边缘计算100+节点计划,我们在全国覆盖22个省,构建了156个节点,同时跟各行各业的合作伙伴一起启动了105个试点项目,就像刚才主持人介绍的覆盖智慧交通、智慧城市、智慧教育、智能制造,以及像游戏、娱乐等等各行各业。

  据我们初步统计,整个这些项目如果说按照预计完全推广的话,对整个市场,包括服务器的需求量,整个网络的发展、产业发展也是有非常大的促进作用。这张图是5G和边缘最顶级的网络结构,今天我介绍的方案也主要在这张图当中,这张图的左边是我们的无线接入网也叫RAN,大家到外面看到大大的铁塔和基站,我们每个人的手机会通过无线信号跟基站去连接,基站用来发射和接收信号,并处理相应的信息。这一点可以跟大家说一下传统的基站侧RAN的相关受理也在从通信向IT化发展,像OPEN RAN相关的技术,我们OTII有方案也在使用RAN的相关场景。中间有一个非常重要的用户网联,他是5G非常核心的网联,负责用户数据,在传统上没有边缘计算的时候,其实这个网联本身是核心网联的一部分,并不是特别突出,但是因为有了下面的MEC边缘计算之后,UPF就承载了从用户接入再到MEC平台非常重要的路由功能,从这个图中可以看到,将来边缘计算我们的合作伙伴,或者我们产业提供的边缘计算的服务,在运营商的网络里不需要再接入后端的互联网,而直接可以通过UPF这个网联和我们的5G网络直接连接,这就是为什么5G的网络能给各行各业带来非常低的时延非常大的覆盖,非常快的速度的一个很重要的原因。同时UPF再往上跟通信网的核心网去连接,核心网有很多的网联,这个我不展开了。大家可以看到这个核心网外面包了一朵云,这个云不是随便画的,这是因为中国移动所有的5G核心网络已经是基于NFV云化技术来构建的,中国移动也刚刚建成了全球最大的一张完全云化的一张核心网络,总共的服务器的规模超过六万台。

  刚才主持人介绍OTII的服务器,我们也很荣幸OTII作为跟OCP并列的全球两大边缘计算的标准,这个项目是在2017年11月,正好三年以前,中国移动联合电信、联通、信通院、英特尔公司发起了一个项目,项目目标就是面向5G的边缘来做深度定制、开放标准、统一规范的服务器和产品。我们2018年是有一个初步的原形和试点,2019年发布了现在可能大家通常在用的英特尔新一代平台OGI的服务器,后来我们也跟刚才讲的RAN侧展开了合作,到今年为止,包括移动、联通很多的运营商还有很多其他行业的客户,其实已经在基于OTII在做一些小规模的试点,或者小规模的试用,刚才我在下面跟浪潮的同事沟通,其实除了像运营商客户,还有很多行业的,甚至国外的很多客户也已经开始使用OTII的服务器,来用于他们边缘计算的场景。

  目前OTII其实不光是在通信行业,在国内的几大的互联网公司,其实大家现在也都在选择他们边缘计算方案的时候也都遵从OTII的标准,几乎所有主流的产业链的合作伙伴在国内边缘计算的方向中也都是参照整个OTII的标准。OTII的技术规范跟刚才有一个很大的不同,是3U刀片式的设计。OTII最早的方案是两叶机架式的服务器设计,有一点大家是非常一致的它都是小尺寸的服务器,它的深度大概都是450-470左右。为什么是这个深度呢?这就是因为我们传统在边缘位置有很多运营商的机房,传统上这些机房是用来做网络的接入,这些机房里面机架的深度是600深,而不是一般数据中心1000-1200的深度,600深度服务器的尺寸最多我们验证到470左右。

  我们为什么要做2U机架式的形式呢?刚才也谈到了,边缘计算我们面向的其实有很多不同的场景,这个场景需求不一样,比如说对加速的需求对存储的需求等等都不一样,如果我们做一个高度集成的刀片,他的密度会很好,但是他单个节点扩展性就会受到影响,而2U正好是一个非常合适的。同时面向边缘使用,我们在温度等等方面都做了增强,2U的产品是目前非常成熟的产品,我们统计的能够供货的产业商大概有十家以上,中国移动本身不会做服务器,我们希望把这个方案开放出来以后能够让更多的产业用户使用。

  面对ORAN侧、云化的网络服务,其实这个项目是中国电信在牵头,我们配合他们做的,主要是在原来2U的设计压缩成1U的设计,因为对于基站这侧的设备本身,对于可扩展性的要求并不是太高,同时因为大家都知道无线网的规模非常大,我们觉得可能他也能够支撑起一个单独的模型这样一个量,所以我们也做了一个相当于尺寸更小,但是同时对工作温度更宽的1U的OTII的设计。在边缘计算三家运营商把OTII作为首选的边缘计算的机型,包括我们现在很多的网络边缘业务都已经在基于OTII服务器在做一些验证和试点,包括我们刚才说的UPF最核心的功能,我们现在主要也是基于OTII在承载。

  这个是我们跟很多合作伙伴开展的一些OTII服务器的试点,大家可以看到,主要很多工业企业,或者一些产业园区,他们由于各种原因,希望这些服务器能够部署在他们的本地,更靠近业务靠近客户的这个位置,大家可以看到,有些试点环境,虽然不是完露在室外,但是环境不是太好的,机位的尺寸非常受限,所以我们基本上这种尺寸也是非常受大家欢迎的一个尺寸,包括你在工厂里面也不希望用一个特别大的机位去占用很多的位置。

  第二个,我们要去完成一个边缘的开放方案,光有服务器肯定是不够的,我们中国移动也提出了一个面向边缘的小型的模块化交换机的方案,为什么做这个方案呢?我们经过跟很多的行业客户调研,发现一个问题。客户在边缘侧是一个小型化的应用,跟数据中心肯定不太一样,不会像数据中心一样,出现一个两米高的机架上面放了三四十台服务器的情况,很多边缘的场景都是在20台甚至15台以下的这样一个小规模,特别是刚才像浪潮、燧原、百度的专家都介绍了,现在我们的处理能力越来越强,这个时候面临一个问题,如果我现在只需要十台左右的服务器,但是你给我一个48口的交换机,对我来说就比较头疼,因为我在机柜里可能放了比如说十台服务器,如果从业务、网络的隔离,网络可容性的角度来说,我可能要放若干台的40孔的交换机,但是每个端口的利用率比较低,所以我们也是有点借鉴服务器的设想,我们提出模块化的交换机。同样在1U的高度里面他其实有四台或者三立的交换机,每个交换机我可以根据客户的业务需要,比如说你是千兆的还是万兆的还是25G的,我都可以根据需要来换,不同的交换机可以形成两个链路的准备,所以说这是一个非常适合边缘的,同时考虑他的端口利用率,以及硬件可用性非常好的设计。

  三大运营商目前也是将这个方案明确的纳入了边缘计算的一些后续的推广方案,也在跟产业界做大量的试点部署。

  有了OTII服务器,有了交换机之后,我们自然而然就出了一个新的方案,我们称为OpenUPF一体机,我们做这个项目的同事说法是我们把整个5G网络装进这样一个小小的柜子里。刚才我们看到所有的RRU、BBU是我们传输的,还有UPF、5G核心网等等相关的网联,基于我的交换机,在这样一个柜子里,我就组成了一个可以一体化交付给用户的一个这样的线G网络设计,用户只需要把这个设备放入你自己的园区或者你自己的工厂,我们本地会有一些终端,你就接入了5G的网络,在服务器上跑你自己的边缘应用,这就是一个完整的解决方案。而且当然说一体化交付的方案并不新鲜,但是我想说的是在这个方案里面,真正表现的是中国移动对运营商5G和边缘产业的开放态度。比如说UPF为什么叫OpenUPF,大家刚才有没有注意到那根线,UPF网上去连接核心网的那个接口,在传统上是没有打开的,是私有的,但是中国移动率先把他接口完全标准化把它打开了,这样除了传统上特别大的,像华为、中兴、爱立信、诺基亚大的厂商,他能做这个接口以外,现在好像包括浪潮等等很多公司都已经能做UPF的这个设备,他能够通过标准的OpenUPF的接口跟我们5G核心网连接,中国移动现在已经有超过20家以上的小型的合作伙伴来跟我们一起做UPF,通过这种方案我们其实可以把整个成本做低整个产业做大,让更多的客户能够使用到小型化低成本的整个UPF的方案,整个这个方案因为它是以刚才图里面的UPF为核心,所以我们叫OpenUPF一体机,下周在广州的中国移动合作伙伴大会上,大家可以看到这个机器最新的一个形态的发布,这个是在上次通信展的一个原形机。

  以上就是中国移动目前的主要方案,最后再简单展望一下。第一,刚才讲了中国移动现在有全球最大的网络规模的优势,比如说最大的5G网络,最大的网络云,我相信我们将来中国移动边缘计算的规模也应该是不小的,我们是希望利用这样的规模优势能够推动大家一起来做开放计算方案的技术创新和产业落地,同时我们也期待中国移动发起的OTII边缘服务器和模块交换机的这些方案能够得到更多合作伙伴的支持,在各行各业能够更加广泛的使用。如果大家使用比较一致的时候,其实能够更好的利用运营商在边缘在网络侧已经有的基础设施,降低整个产业的成本。

  最后,中国移动也将继续完善包括像UPF等在内的解决方案,通过整个产业链开展技术边缘的合作,赋能千行百业。

  基于OTII开放标准的边缘服务器应用孙波,浪潮边缘计算事业部总经理

  首先非常荣幸在今天这个OCP China DAY上跟大家一起分享边缘计算的业务方向和应用。我们知道今年疫情实际上把大家距离拉远了,但是同时会发现有越来越多的计算设备离我们越来越近了。所以我今天想分享的就是我们在未来社会上和生活中所看到的边缘计算的一些应用方向、场景,还有未来它的一个发展趋势。IDC预测全球基础设施的整个采购支出里面,部署在边缘侧的设备在整个支出里他的占比会从2020年的10%上升到2023年的50%,这意味着边缘侧设备的采购量会快速增长。同时我们也看到全球的智能设备、智能终端在2020年的时候大概有500亿的规模,但是到2025年的时候,这个数字会增长到1500亿。大量的边缘的智能终端的部署会带来边缘端和数据中心中间计算力的强需求,因此会拉动我们边缘计算的一个增长。整体来看,预计未来5年整个边缘侧的增长需求会按照每年复合增长率差不多83%的增长率在发展,端在增长,边跟随也在爆发式的增长,云、边、端协同,在数据中心侧会有大量的数据汇集,这些数据要做整合的决策分析,同时也要做新的一些应用的迭代和前端的部署,所以接下来我们会看到一个新的场景,云、边、端可能会随着端设备的一个快速部署带来一个同步的增长。

  刚才说到了边缘计算的需求实际上在快速增长,它背后的拉动力来自于哪里?我们自己总结这里面主要是两大拉动力,第一就是AI。大家对AI的技术实际上它从什么时候爆发什么时候增长实际上有不同的见解,但是实际上我们在整个AI从开始应用到完成今天前端快速推理部署的过程,一直参与其中,我记得印象很深是在2011年前后,我们跟我们的大客户,国内TOP客户一起合作的时候,大家实际上也是在刚开始部署AI的服务器,那时候一年量也很少,不到百位数量级。但是在2016年的时候,我们看到整个AI的场景,这个需求在井喷式的增长。我们认为2016年是整个AI的元年,这时候训练的需求增长起来了,训练是对模型而言,而模型是基于数据终端诞生出来的,最终的模型是要放到线上放到应用场景下才能变现,在这个过程里面我们看到又经历了两年,大概在2018年的时候,AI推理应用开始部署,而这些主要是基于在云端的一些设备以及网上的后端应用。在最近两年我们看到在边缘侧有越来越多的设备已经开始部署AI的一些推理应用了,小到疫情期间的体温检测,大到无人驾驶还有计算单元等等。

  云、边、端,可以看到AI的计算力在快速的下沉到端上,这里面实际上不同的层级他对AI的计算的需求实际上是不一样的,首先在端侧他对你的计算力要求相对单一,要求他的计算量也不是很高,所以他能解决20%这种初级决策,就是判断这个人是不是这个人,以及我判断当前这个图像里面有没有异常的点,是相对固定的场景识别。但是,围绕一个厂区或者一个园区会有几十路上百路的视频采集终端,这些终端整合起来我要监控这个厂区园区的运行状态是不是OK的,这个时候要做一个整合决策,我们在边缘这里需要有整合的分析,他要解决差不多60%的AI推理应用。但是还有一些应用是需要整合了整个社会大量的数据,可能是一些结构化数据,也可能是非结构化数据来去做一些系统的决策,包括未来我在边缘在端上会有一些模型需要不断的提升精度,需要不断的增加场景识别,这都是需要在云端来去进行复杂的决策分析,去训练这个模型,在推理到边上推理到端上,所以他的协同会带来整个未来AI计算力到边到端的下沉,这是第一个拉动力。

  第二个拉动力,刚才唐总已经说了,围绕整个5G的应用,我们看到整个5G的网络部署不仅体现在我们在城市里面看到好多5G基站,我的手机上网速度更快了,它背后反应的是我们原来在4G甚至3G的时候有很多核心网络应用下沉到了边缘侧。为什么要下沉到边缘侧?我举个例子,比如我跟唐总我们俩要传一个文件,这个文件我传到唐总手机上,这个过程我需要首先把我的文件上传到基站侧,再到核心网侧再到数据中心侧,再返回来一直到唐总这里,这个过程绕了一个巨大的弯子。未来5G的时候网络带宽上百倍,意味着我的核心网会是很重的负载,是没有办法去支撑的,这时候要把一些应用往边缘侧下沉,通过边缘的计算力来把核心的一些压力给他释放掉,这样子就可以做到我传个文件,旁边可能就是基站,接着就到了唐总的手机上,不需要回核心网了。这是刚才唐总介绍的UPF设备主要的作用,我要在前端把用户的数据直接转发分流,达到这个目的。当然边缘的计算力的部署实际上会带来一些新的应用场景,比方CDN,我原来说CDN做内容的分发转发,但是目前的CDN更多在数据中心端,未来在边缘侧部署大量的计算节点之后,CDN会在边缘侧变成泛CDN,这里面我觉得CDN设备会做更多的工作,比方说我可以做视频的渲染,像现在的云游,主要的视频流的渲染,比方说我的边缘侧有一堆的传感器,物联网的设备,我要做物联网的网关,这些都是可以通过边缘侧的应用计算节点来去解决掉。

  5G是第二个技术拉动力,围绕这两个技术拉动力我们来看整个边缘计算到底有哪些场景,其实从数据中心到端中间很大的范围区间,实际上都是边缘计算的场景,但是这个场景太多了,很复杂,而且错综复杂交叉着。我们要去识别说在整个边缘计算里面到底哪些场景是接下来可以第一波快速部署快速落地的,哪些场景实际上是具备他的通用化的,是可以去通用化部署的,我们识别、归类做了七大类,

  第一类我们叫ICT融合,实际上说白了就是IT跟CT的整合,刚才唐总也说,其实OTII的服务器解决了一个很重要的点,实际上它解决了开放的问题,传统的一些基站的设备,还有核心网的设备,更多的是一个黑盒、软硬件结合的,如果要解开的话,首先中间的接口要打开,像OPF的S接口,打开之后硬件跟软件完全耦合打开了,我的硬件要提供计算力,所以完全可以应用X86的服务器实现,因此原来CT的设备就可以用IT的设备来替代,这是ICT融合的很大的场景。我们看到未来在整个基站通信的建设投资上,实际上每年会保持很高的数字来去投资,这是第一个。

  第二个,刚才说的新一代的泛CDN,我们看到在最近四年中国的CDN有牌照企业的数量增长了25倍,预计在2025年的时候整个CDN市场大概是950亿,这是很大的市场,而且是一个高速增长的市场。未来会看到在边缘侧会有各种各样的应用场景需要CDN的加速,需要这个节点来去部署来去应用。

  第三个,智能网联汽车,这里面其实包括了几类场景,比如我们大家现在喜闻乐见的希望未来能够快速落地的智能无人驾驶,能够解决大家的停车问题还有长途运输的问题,还有驾驶疲劳问题。这个技术实际上大家也都在做前期的储备。我看到像百度还有我们的一些很多的合作伙伴也在路上已经开始做无人驾驶车辆的一些应用和识别。未来,实际上无人驾驶的车辆上每个上面都需要有一个智能计算终端,来去做路测的信息的决策和分析。第二类,我们看到智能网联汽车会在哪一类场景诞生呢?就是低速的园区车辆,载货的。比方说我们在小区里的送货车辆,解决最后一公里的问题,还有送饭的车辆,以及工厂里面的AGV小车,解决我厂区内的一些货物运输的问题,这种场景下他的道路是固定的,封闭的,有明确的起点。这个场景会在接下来快速落地。我们也看到未来无人驾驶的需求会增长差不多有9倍,是高速发展的市场。

  第四个,我们想说的是工业互联网,工业互联网实际上是一个很复杂的场景市场,这个市场里面每个工厂都不一样,意味着每个工厂都有自己的独领性和定制性。但是在工业互联网场景下面我们看到一个很共性的场景就是做质检,我产品的质量检测需要用人眼来去检测这个场景,实际上可以用AI的技术来把它替代掉。2019年我们也看到整个AI质检整个领域,软件服务这块的市场大概有1.09亿美金,软件部署在AI计算力的硬件上,所以硬件匹配也会带来一个增长。

  第五个,产业+AI,其实中国有各种各样的产业,但是在整个产业里面,我们看到头三位的能源、交通、零售、健康占了57%,这57%的头部产业里面会快速落地AI,比方说石油、油井行业,比方说电网,高压配电,这些场景实际上都是典型的AI应用的点。

  第六个,城市治理,这里面包括很多问题,包括建筑工地的一些管理问题,渣土车管理问题,还有园区以及小区的一些管理问题,总结起来可以说是“人机路厂区”,这个市场很大,万亿级。

  第七个,各种各样的1500亿的智能终端设备连入之后所产生了大量的计算力需求和存储需求。

  以上是这七个大类的场景,围绕这七个场景实际上我们看到他的场景是复杂多样的,各种各样的,针对不同场景实际上需要不同的计算力来去支撑,所以浪潮准备了四大产品线来去支撑这个业务和市场。

  一是边缘微中心,其实我们知道很多的客户在边缘应用的时候,实际上他是没有机房环境的,机房有空调有供配电是很舒服的环境,但是在边缘侧客户说我只有一个物业监控室,或者我只有一个小铁盒子,我希望把IT设备部署在这里面,要容忍一年四季不同的温度,零下20度到零上40度,在这种条件下我的IT设备要去保证运行怎么办,所以我们准备了边缘微中心,它就是一个小的数据中心,一体组装,从工厂运输到客户的现场交付,实际上可以解决边缘端在交付IT设备的一些痛点和难点,也可以提升我们产品的可靠性。

  第二类边缘云服务器,刚才唐总介绍了OTII的服务器,实际上这个产品线是唐总所在的移动以及联通、电信以及整个生态合作伙伴大家一起把它打造出来的,是一个短款的服务器,就是应用在边缘端,场地有限的情况下来部署。

  第三类,我们看到有好多客户说我的计算力需要去做搬迁,需要去移动,可能需要放在车上,我希望有一个便携的IT设备,我们打造了便携AI服务器。举一个场景,比如我们今天在开会,我们在中国的OCP CHINA DAY上,有外国友人来做分享,但是有的同学英语不是很好,这时候我们可以用移动便携的服务器来去做同声的翻译,把中文的字幕直接打到屏幕上,这是我们跟百度一起联合做的很好的项目和方案。

  我这边拿了几个典型的应用场景来给大家做一个分享,第一个实际上在油井,我们传统磕头机这种场景下,我要去监控我磕头机的运行状态,以及调控它的一些运行频率,最终目标实现运营成本的降低,包括电费,包括人工。通过把我们的边缘计算小站ES200个盒子部署在现场,实际上可以帮助客户解决两个很大的痛点,第一个我厂站的工人不需要每天3-4次开着车到荒郊野岭巡检了,第二,我矿机可以按照底下油量储备情况去智能启停和调节它的频率,从而节省电费。

  第二个场景是我们在智能制造这个场景,因为中国实际上是制造业大国,我们知道很多电子元器件需要用人脸检测的,中国在整个消费电子市场里面大概有1000多个中大型工厂,质检工人差不多是50万个,如果把这个场景放大到所有产品产业下我们再来看,中国大概有200万质检的工人,这是一个很大的投资。需要用人眼来去检测这种场景,实际上都可以用AI技术来解决掉,所以跟我们的客户一起做了这个案例,就是检测手机上的充电他的表面划伤还有瑕疵,从而可以帮客户来去降低人工成本。

  第三个,刚才唐总介绍OTII的IT和CT融合的解决方案,目前来看在整个5G前端,像基站以及核心网的应用,包括map包括APF等等,实际上这里面都需要边缘的服务器来去支撑。

  第四个,我刚才提的边缘微中心,我们把空调,把供配电、存储、服务器、交换机、动画监控等等集成在这个机柜里面,来去部署到客户场景。我不希望要两米高的高柜子,我可以给你一个一米的,甚至700毫米的更矮的这都OK,实际上它是一个小的数据中心是一个载体,这里面所承载的IT设备才是真正客户应用所需要的资源。

  前面谈了各种各样的场景,我们回过头来看云、边、端协同的问题,数据中心云,IT基础设施实际上经过这么多年的发展,业界各种各样的,包括像OCP、ODCC等等的开源组织,大家共同努力,已经把这个产业的标准统一化了。在这个市场里面实际上大家可以用同样的设备来去满足这个业务,但是我们刚才说了,在边缘侧实际上场景多样化、复杂多样,有各种各样的场景,在这各种各样的场景下,我们看到目前整个行业存在哪些问题呢?第一个这些场景可能每个场景都是独一的,而这个场景规模又不大,所以它不通用。第二个成熟度很低,稳定性低,因为他的场景是特殊的,所以有很多中小公司可以快速拼凑一个场景交给客户,交上了以后可以用,但是发现一个周要宕机10分钟。第三个,好多用桌面级的芯片,包括i5、i7,用这个CPU来去做边缘侧的计算,可靠性很低。第四个缺少统一性的标准,产品往往是黑盒,硬件+软件,客户一旦部署了很难解开,而且价格非常高,不可替代。另外缺少AI的一些算力,我们看到好多场景上需要AI的,但是因为没有算力,没有AI算法的能力,所以导致这部分在边缘端的落地是受阻,好多客户急需但是用不起来,这是最重要的问题。

  围绕云、边、端协同,我们在边如何解决这个问题?好在我们看到了ODCC和OCP在边缘计算这里分别有Open Edge的标准协议,目前也已经把OTII设备作为首选方案,接下来会快速落地和部署。整个生态包括硬件方、软件方还有整个生态联盟,大家拧成一股绳,共同为产业落地去做加速,去提供一些很好的解决方案,可以说众人拾柴火焰高。

  我们也希望在未来云、边、端协同,真正我们能够有更多的开放的合作伙伴,然后大家联合起来,一方面围绕整个行业的需求,不同产品需求去定标准,告诉在智能制造场景下,在车载场景下,还有在一些产业AI场景下,我应该做成什么样的产品,我的硬件是什么样的,OS层什么样,上层软件是什么样,安全防护层是什么样,实际上有了这个标准以后,可以更容易让大家拧到一起,为这个产业共同推动去加速。

  另外,整个生态的问题,芯片、系统、应用、算法、模组等等,实际上标准统一了之后,意味着这个生态里的合作伙伴大家可以对接了,就像UPF的N4接口一样,打开之后这个接口就是大家可以互通交互的一个共享接口,这是希望未来我们基于OCP甚至说更多的开放组织还有开源生态合在一起来去推动边缘计算快速落地的想法和未来的诉求。

  关注中国IDC圈官方微信:idc-quan我们将定期推送IDC产业最新资讯

  2020 OCPChinaday议题4实录:基于开放标准的异构计算加速平台

  11月13日,开放计算中国社区技术峰会(第二届OCP China Day)在北京举行,超过600多名IT工程师和数据中心从业者参加了此次大会,来自Facebook、Intel、微软、浪潮、百度、

  2020 OCPChinaday议题2实录:SONiC技术发展、挑战与实践

  11月13日,开放计算中国社区技术峰会(第二届OCP China Day)在北京举行,超过600多名IT工程师和数据中心从业者参加了此次大会,来自Facebook、Intel、微软、浪潮、百度、

  2020 OCPChinaday议题1实录:数据中心开放技术的发展及创新

  11月13日,开放计算中国社区技术峰会(第二届OCP China Day)在北京举行,超过600多名IT工程师和数据中心从业者参加了此次大会,来自Facebook、Intel、微软、浪潮、百度、

  大家好!欢迎观看关于开放边缘部署选项的视频。 我是 Tomi Mannikko,在诺基亚数据中心解决方案 (Nokia Data Center Solutions) 工作,担任开放边缘硬件架构师。

  通过今天下午的分享,大家可以看到实际上现在开放计算在整个数据中心产业中已经得到了广泛的应用,通过开放计算的平台已经产生了大量的技术创新和产品创新,今天我们希望通藏宝阁生肖谜语猜特诗

香港马会开奖| 马会开开奖结果| 香港马会开奖现场直播| 2018香港挂牌彩图| 今晚六会彩开奖结果l| www.852858.com| 济公心水论坛| 大赢家心水论坛| 黄大仙| 小青年开奖结果| www.956748.com| 香港六和合开奖结果| 铁算盘欲钱料|

,香港999赛马会,http://www.018130.com,778849.com,www.169393k.com,掌上168下载老版本,http://www.376633.com,0123kjcom开奖直播,118图库,www.kk1000.com,香港今期开奖结果188,2019买马十二生肖图,678363.com,曾到人开奖结果,66965.com,中彩高手论坛,黄大仙救世网62544,99876静心阁彩报,香港数码挂牌第61期,王中王慈善网29525m,118zb开奖直播

,118zb开奖直播,70074黄大仙资料香港,http://www.11194a.com,http://www.574848.com,54.nk赛马会cc,www.xg8886.com,www.66601234.com,www.www-591155.com,六合至尊心水论坛,http://www.246131.com,王中王论坛香港马会2019属性表
  1. ,王中王论坛香港马会2019属性表,www.yao626.com,港最快开奖现场2019结果,家禽有哪些,www.77498.com,http://www.92333.com,本港台同步报码室,www.6799222.com,香港赛马会特马资料,http://www.www.288448.com,www.118123.com
  2. ,www.118123.com,http://www.lh300.com,本港台现场开奖直播,九龙275252精选24码,香港马会资料开奖结果,天论坛手机报码,348567.com,八卦玄机的全部网站,蝴蝶高手论坛22737,新快赢481近500期走势图,218219四海图库
  3. ,218219四海图库,www.47722.com,雅情会最新版本,港姐心水论坛彩图,www.06108c.com,http://www.www.28003.com,889907.com,六合论坛,www.373741.com,486666老地方提供六,2018年跑狗图集
  4. ,2018年跑狗图集,www.74849.com,http://www.34685.com,最快报码室开奖结果,金光佛高手论坛00676,168图库联盟网,财神网站,小马哥手机开奖结果,22444com聚宝盆,香港天下彩,黄大仙香港正版论坛
  5. ,黄大仙香港正版论坛,三肖六码全网,香港最准一肖中特公开,www.052222b.com,六合城论坛,一肖中特免费公开资料,香港金多宝公益网,777730黄大仙香港马会,财神心水127979,48491正版天马论坛,www.33666.com
  6. ,www.33666.com,金财神中特网8zzzcom,2017年挂牌之全篇100%,猛虎报青财神兰财神红,www.278344.com,http://www.047676q.com,今期六皇合信红字,王中王开奖结果,655686.com,www.140909n.com,今天四柱预测彩图
  7. ,今天四柱预测彩图,http://www.601234a.com,新一新一代跑狗玄机论坛,历史资料大全,www.5559994.com,4887铁算盘资料六肖,本港台开奖现场直播168开奖,www.255558.com,香港马会今期最快开奖结果,http://www.223000a.com,www.111348.com
  8. ,www.111348.com,视频背景素材下载,百汇码高手坛850555,资生堂心水论坛,24k88.eu,香港正版挂牌彩图和脑筋急转弯,上港内部最准一肖一码,58444.com醉梦仙心水论坛,今晚开奖现场直播,42578.com,887171q.com

,2018年梦解诗大全,www-067.cc,http://www.42738c.com,044411.com,香港六合开奖结果直播,www.255855.com,原创正版藏宝图,红牡丹高手论坛心水帖,香港84444con,933928.com,58333金财神中特网,一码中特,www.jdb234.com,http://www.789645a.com,700333财神爷3码中特,www.424251.com,54999四肖,管家婆官网,香港特马网站最准免费,香港最快开奖现场直播,小姐千金不会走打一肖

,小姐千金不会走打一肖,捷豹心水论坛,www.444646r.com,今期香港正版挂牌彩图,6094.cc,凤凰跑马论坛资料,香港挂牌,www.7894949.com
,www.7894949.com,www.04080.me,01kjcom开奖直播现场,90499中华精英联盟,http://www.www.001999.com,http://www.488209.com,大红鹰高手坛,赛马会论坛www.936677.com
,赛马会论坛www.936677.com,ww90888con,http://www.cp28480.com,马会会开奖结果,本港台同步报码室,77888开奖结果今晚开奖,468855.com,www.006685.com,www.46833.com,03899.com,布衣图库123456
,布衣图库123456,451111.com,http://www.www.ok5444.com,黃大仙999973开奖结果,中金心水论55059ccm集棸天下,领峰贵金属,香港三怪网,http://www.055255.com

,http://www.055255.com,http://www.745454.com,78345黄大仙综合资料,05111.com,www.502349.com,www.611190.com,招财大师高手论坛官网,oguapai.com,香港本港台,新版新报跑狗a2017,t35cc马报,金牌高手论坛41198cm,开奖记录,www.3333347.com,34563cm0黄大仙,88597东方心经开奖,52288.com环球彩网2017,脑筋急转弯大全,4949ok.com,http://www.888345678.com,下载老奇人APP,22448金沙推权六肖

,22448金沙推权六肖,现场搞珠结果,www.06475.com,http://www.zgj1.com,34123香港马会资料,金多宝42288cm,www.9343.cc,香港116611乖乖图库,白小姐铁算盘,244p.com,香港赛马免费直播,http://www.226111.com,http://www.888508.com,www.456430.com
,www.456430.com,1861图库助手,169393f.com,www.xg189.com,www.64104.com,228kj手机看开奖,http://www.lx32.com,www.362233.com,www.34818.com,白小姐中特
  1. ,853838.com,二四六天天好彩精选资料大全,93492金神童高手网,www-55987.com,百宝箱高手心水论坛,新一代跑狗555436,王中王最快开奖现场,精准三肖三码,香港状元红资料总站22049,4887铁算盘一句解特马4887
  2. ,4887铁算盘一句解特马4887,http://www.7776518.com,品特高手之家www118822,www664455c.com,99033红楼梦马会,990991藏宝阁开奖资2017图库,大红鹰论坛,本港台现场报码直播j2,http://www.69846.cc,三码专家
  3. ,三码专家,1861香港免费大众图库,12394高手大联盟梅花诗,118图库118论坛网站之家www,006677夜明珠预测ymz03,www.699299.com,今期开什么特马201763,4685三肖中特期期准,www.9988kk.com,曾道人救世网资料
,曾道人救世网资料,88814救世网,www.760078b.com,六开彩开奖现场直播开奖结果,挂牌跑狗图,hj88.com,今日特马开奖结果查询,69112夜明珠一ymz02,地下六仺彩开奖结果i,http://www.781234.com
  1. ,http://www.781234.com,105彩票,通天马报白小姐,本港开奖直播现场,今天开码结果,5199111.com
  2. ,5199111.com,这里才是红姐图库,香港马会六合神算,六合码王网12388,557887.com,香港马会最快开奖现场直播结果
  3. ,香港马会最快开奖现场直播结果,8858手机看开奖123448,正版免费资料大全,www.31267.com,www.11123kj.com,十二生肖火烧公式
  4. ,十二生肖火烧公式,马报201736,2019东方心经资料全年料,http://www.67558.com,8481k.com,招财进宝高手论坛www.888922.com
,招财进宝高手论坛www.888922.com,全年资料2017年正版8080.cc,新跑狗专区,www.894566.com,798888.com,987524.com,69544a.com ,69544a.com,www.34221bb.com,27038.me,www.46187.com,曾道人官方网现场开奖,44559横财富,挂牌玄机彩图,http://www.345787.com,小鱼儿玄机
,www.49225.com,k2678.com,王中王论坛,09655今晚救世/2017,295111.com财神网站,淘园论坛跑狗六信,官方网站988hk,香港挂牌玄机,管家婆论坛www.760749.com,http://www.321089.com,百合图库

,百合图库,www.533k.com,12349876网站,23266开奖直播,602111.com,六i合采现场开奖结果,http://www.580077.com,246zl天天好彩图片玄机,http://www.433577.com,www.481111.com,www.415777.com,铁算盘综合资料,246天下彩免费资料大全,好彩堂400500特码分析,红财神图片,996464j.com,www.232366.com,跑狗玄机WWW777724C0m,本港台开奖现场报码室,http://www.684545.com

,http://www.684545.com,f22236.cc,最准的九肖王网址,656478.com,锟斤拷锟酵猴拷锟斤拷,波肖门尾图库www7460,平码公式规律,444598.com乖乖图库论坛
,444598.com乖乖图库论坛,香港挂牌,825252com,xglhc今期资料王中王,出马仙之天地周报,手机尾数五行,498888王中王,805000.com
,805000.com,http://www.9426.com,二四六天天好彩资料全62期资料,六合导航网,黄大仙2634网站,157567k.com,www.com164.com,118论坛118图库
,118论坛118图库,567008a.com,491彩票必中特段,生肖马2018年运势,www.769999.com,www.18828a.cc,49727.com四九中特网,hk百彩网手机免费大全
,hk百彩网手机免费大全,885456.com.com,四不像特肖图今天,18485.com,六合总刚诗,6y7y开奖今晚结果公布,www.1971997.com,玉观音论坛066166
,玉观音论坛066166,01022bb.com,46673.com六合才女论坛,53999香港8788分析网站,lol920.com,神鹰论坛,白小姐中特网站大富豪,www.000098.com
,www.000098.com,王中王493333免提网站,一线图库彩图资料大全114,黄大仙122144百度,大丰收高手论坛一肖中特,香港本港台现场报码,马会开奖结果直播,六合网
,六合网,45785中特百度,8849222.com,92002天下彩内慕玄机平特,http://www.0706767.com,505553k.com,www.xglhc03.com,252899d.com
,252899d.com,66xpj999.com,www.811180a.com,香港天下彩挂牌,www.fkkkkk.com,04885C0m香港赛马会,114全年历史图库114lscom随时杳,www.7469.com
,www.7469.com,齐中网开奖结果现场,123244黄大仙五点来料,水果种类,香港马会开奖现场直播,王中王中特马,http://www.4977678.com,www.700488.com
,www.700488.com,玉器精品图片,香港马会对内地开放吗,www.282555a.com,www.f68744.com,世外桃园藏宝图跑狗图,生财有道养鹅视频全集 ,生财有道养鹅视频全集,传统图库香港六和彩图库,49452.com,183232.com
,183232.com,香港铁算盘4887开奖现场直播,波肖门尾图库7467,六合神算心水论坛,规律⑥肖,www.33989.com,2019年东方心经b版老版,www.398585.com,一本赢香港马资,香港现场开奖报码,30码期期准
,30码期期准,金算盘论坛,0777红姐救世百度,www.83055g.com,黄大仙,最新版天下彩,www.516456.com ,www.516456.com,246图片玄机天天开好彩115,www.2489.com

,www.2489.com,2018兽道人点特玄机图,39678.com,香港最快开马现场直播,本港台手机同步开奖直播机看开奖,www.43344.cc,www.11456.com,开奖直播现场,十八巷论坛,www.169888.com,12800信封论坛,http://www.42771.com,http://www.kk441.com,2018年现场开奖,990022夜明珠ymz01,http://www.0648888.com,www.txc234.com,www.500998.com,www.543355.com,白小姐论坛网址

,白小姐论坛网址,中金心水论坛55059,创富彩图库,www.073838k.com,富民图库68808com,香港正版挂牌,www.136222.com,香港笨人鬼马诗2011年,476677.com
  1. ,476677.com,17年生肖表,香港生财有道图库,63kj.com,波肖门尾图库www9742#,655789.com,www.14165.com,今天买马买什么号码,中彩堂,白小姐论坛8471,欣欣图库tk27电站香港
  2. ,欣欣图库tk27电站香港,www.877443.com,www.xg1919.com,kj6开奖网本港台开奖现场直播,www.8704.com,四不像三肖一码中特,www.55537.com,香港九龙正版挂牌彩图,48491六开彩开奖现场,www.337445.com,五十七期开的平码结果
  3. ,五十七期开的平码结果,58123香港官方,www.920444.com,45584.com,277288.com,玉观音论坛066266,神算姜太公香港出版,今晚六会彩开奖结果l,60999合神话百度,http://www.66544bbb.com,http://www.1181899.com
  4. ,http://www.1181899.com,旺旺高手论坛www.788179.com,http://www.082066.com,看图猜生肖2018,11194b.com,007751.com,http://www.hk486555.com,www.002000.com,2019年白姐祺袍a,特马王,创富心水论坛333881
  5. ,创富心水论坛333881,336336八仙过海论坛,27687.com,12555马会免费资料大全,http://www.385678.com,www.79690a.com,61005财神爷图库怎么,88374.com,www.000098.com,fkshow下载,九龍心水论坛
  6. ,九龍心水论坛,黄大仙话特,香港翡翠j2台在线直播,55234高手论坛买马资料,www.494854b.com,香港挂牌正版彩图,www.817733.com,498888王中王,www.01013333.com,www.5043y.com,610518.com
  7. ,610518.com,红牡丹高手论坛441616,66210.cc,香港博彩王,ww84498佛祖正版,70678红姐心水论坛,香港历史开奖记录,小鱼儿,http://www.9912344.com,701003百万论坛资料,www.904646.com
  8. ,www.904646.com,www.6574.com,59604b.com,买马78期4不像图片,麻衣神算子,www.0945.com,kj118本港台现场报码,839993.com,http://www.www.56707.com,芝乐坊,张天师玄机97020
,张天师玄机97020,香港挂牌彩图,手机开奖结果现场直播,3438铁算盘,www.1115566.com,香港现场最快报码室,喜羊羊论坛,37337本港台开马,一点红香港马会,539000.com,447448com精准六肖,448kj开奖直播现场,般若波罗蜜心经诵读mp3

,港彩神鹰三肖主六码,49611.com,醉红颜论坛与你相伴,刘伯温,www.9012789.com,12生肖女谁天生有钱命,www.778800.com,kj360开奖直播现场,139移动号码选号靓号,ww4887铁算盘开奖结果,www.63466.com,牌牌琦为什么不能露脸,天线宝宝,932222天线宝宝正板图,78345黄大仙救世报网,67858.com,www.85084.com,2017跑狗图038

,2017跑狗图038,9187.cc,www.ok1100.com,www.kj55.com,350085赐码堂开奖结果,022221平特一肖,760226.com,887337.com,http://www.4499a.com,168开奖现场财神论坛118图,tk123满地红图库,www.40665.com,111555红姐心水论坛,http://www.www.aaa333.com,http://www.410086.com,www.395654.com,香港今晚六会彩资料,118印刷图库51881,2017年历史图库彩图.

,2017年历史图库彩图.,http://www.61053.com,www.137345.com,www.670666b.com,2017王中王救世网,www.08988.com,27.cc生财有道图库开码结果,www.39955.com,http://www.15823.com,新一代管家婆彩图2018,www.169393g.com,www.773366a.com
,www.773366a.com,700711黄大仙救世网,8880808.com,http://www.788111.com,王中王论坛www5059o9com,华南高手论坛,lhczb现场直播开奖
,lhczb现场直播开奖,www.60486.com,850589.com,香港六合宝典,www.13121.com,今晚六会彩开奖结果查询,赛马会彩开奖结果,白小姐论坛49288救世四不像,香港马会最快现场直播,诸葛亮心水坛097788,香港立法会为什么有反对派,http://www.44262.com,www.00900.cc
,www.00900.cc,http://www.044747b.com,2018年马会费资料,王中王6合论坛資料記錄,www.991998.com
,www.991998.com,00885.com现场开,88046.com,2017生肖号码波色表图,http://www.6k66.com,12生肖开奖结果看什么,百胜图库tk06,http://www.44995.com,www.288654a.com,二四六免费资料944C,4210.com,http://www.4463333.ccom,http://www.4797.com,777753金光佛
,777753金光佛,422515.com,9832.cc,c79663.com,91345刘伯温挂牌,xc.6cc齐中网香港,www.343878.com,今期特马开奖结果2018,报码网 ,香港马会6合彩4887,4987铁算盘一句解特,六开彩开奖现场直播,611266.com,蝴蝶心水论坛76633
,马会特供资料61456con,49468.com,香港现场开码网站,www.ih9988.com,http://www.210548.com,www.203048.com,www.780987.com,http://www.42088a.com,com二四六天天好彩,504.cc,349696.com
,349696.com,彩友吧,www.757777.com,慈善一195252con,六合报码聊天室,www.41kj.com,香港王中王幽默玄机中特网,49494949最快开奖结果,118现场开奖直播结果最快,500502百万文字论坛,http://www.711003.com
,http://www.711003.com,246z天天好彩免费资料大全,金码会救世网307407,香港挂牌玄机,http://www.49655i.com,www.43248.com,090666.com,42555奇人中特网2017:,香港马会开奖码报,今晚最快开奖现场直播,www.5hh.com
,www.5hh.com,马经图库,http://www.246155.com,永久城名开奖彩坛9438kjcom,53312.com,www.18583e.com,00901开奖直播,波肖门尾图库,www.875116.com,http://www.c46oo.com,277cc生财之道图库开奖结果
,277cc生财之道图库开奖结果,真道人资料,六合采今晚开奖直播,曾道人救世网44224,82468.com,http://www.125933.com,香港赛马会858587con,http://www.www-028345.com,香港最快开奖现场直播,www.www.94876.com,47333财神网站心水
,47333财神网站心水,05885.com,http://www.fh13666.com,www.887171n.com,www.771990.com,294343.com,玉观音高手心066166,www.533999.com,http://www.www14192.com,今晚开奖结果,香港塞马会官方网38538
,香港塞马会官方网38538,www.45785.com,http://www.bc854.com,http://www.www.073777.com,同福心水456123456,48123香港黄大仙开奖结果,http://www.6604a.com,kj142本港台开奖现场,中金心水论坛,神奇网站下载,港澳台论文1000字
,港澳台论文1000字,香港六盒宝典开奖结果,http://www.03391.com,www.070015.com,85556历史图库,www.13350bb.com,www.240228.com,http://www.623549.com,24898z.com,六合开奖结果,4958688.com

,4958688.com,http://www.11434.com,http://www.49881.com,www.733188kj.com,http://www.888020.com,http://www.76566.com,http://www.13245.com,6688aaa.cc,易搜学区网,平谷一点红,www-49972.com,http://www.480155b.com,9m6789.com,7uu7uu.com,金光佛论坛111153,http://www.48525.com,藏宝阁主页990888,大版六合皇

  1. ,大版六合皇,最快现场开奖报码室,http://www.789011.com,六开彩杀半波,全凤凰报码,wapsspw刘伯温免费解,香港正版挂牌彩图资料,刘伯温抓码王高手论坛,25679.com,90900九龙老牌图库2,香港挂牌
  2. ,香港挂牌,香港管家婆四不像图片,118l双门式迷你冰箱,118aaa论坛,www.6688008.com,txc888.net,最快开奖43055,438666.com,493333开马,http://www.678309.com,白小姐www510444
  3. ,白小姐www510444,生财有道彩票网169,http://www.794222.com,123kj手机看开奖,蝴蝶音乐报码室920132,同福论坛,123论坛跑狗图,459886.com,155955.com,345280.com,888569搜码网
  4. ,888569搜码网,白小姐中特网628833,香港六合彩开奖现场直播,www.07056.com,44799.com,69期幽默玄机十3o码期期中,跑狗图论坛,548696.net,www.63307.hk,6ccccc世外桃园百度,0778606.com
  5. ,0778606.com,85886白小姐论坛,6合宝典彩图2017号码图,22344忘不了8码中特一,http://www.258804.com,ok2017cm马会独家资,查今天出的特马,www.68496b.com,98kj黄大仙论坛909022,W976123大发心水,1861深圳护民图库
  6. ,1861深圳护民图库,路路发发论坛,026期新跑狗玄机图2017,786229.com,香港赛马會134999,http://www.hk0123456789.com,http://www.783008.com,www.800023c.com,今期开码结果,香港马会资料一肖中特,http://www.565558c.com
,http://www.565558c.com,www.41738d.com,www.tk0118.com,中彩堂蓝月亮报码结果,香港刘伯温6335,香港现场开码网站
,香港现场开码网站,金多宝高手论坛347000,903111b.com,白小姐论坛一资料中心,5041234.com,http://www.662772.com,www.54123bb.com,2018年白小姐总钢诗
,2018年白小姐总钢诗,2019年买马最准的资料53期,www.228298.com,六合开奖结果,今晚开什么码,六开彩开奖结果2017记录全年,金光佛论坛香港赛马会,港京图库httpwww55665,705566金算盘开奖结果
,325454f.com,www.45600a.com,66456开奖结果一,码搏士19876开奖结果,908181.com,2019年51期高清跑狗图玄机图,94123三期内必出 ,94123三期内必出,刘伯温心水论坛,ww767cc之香港挂牌,2018每期正版四不像
  1. ,2018每期正版四不像,www.917777.co,奇人偷码中特网777766,王中王今晚开特结果,2017开奖记录[手机版],g.84384.com报码网,金沙赌侠,香港马会免费资料,www.304242m.com,kj88com开奖直播中心,香港正版四不像現場直播168
  2. ,香港正版四不像現場直播168,www.899299.com,香港数码挂牌一句真言,http://www.www.820111.com,2017黑白100历史图库,天下彩7879免费资料,http://www.www75044.com,香港正版挂牌,8814a.com,www.25666.com,www.119874.com
  3. ,www.119874.com,www.776780.com,老彩民高手刘坛678567,三合有马,http://www.511616.com,56758彩霸王中王,六盒宝典香港开奖资料,雷锋六合图库,六姐神算网,好运一点通心水论坛,正版管家婆2017123
  4. ,正版管家婆2017123,49yy6和研究网,990888香港藏宝图资料,天天酷跑好号大全真号,马报蓝月亮,44494.com,788678.com开奖直播最,百小姐预测六合,09787c.com,180004.com,马会四不像图
  5. ,马会四不像图,红姐聊天报码室,王中王铁箄盘开奖结果免费,233166红牛网开奖,9348888开奖王中王,www.902018.com,张天师春联解平特一肖,http://www.www-487333.com,333269c.com,www.979090k.com,http://www.325454i.com
  6. ,http://www.325454i.com,2O19王中王开奖结果,本港台现场报码现场结果,东莞企石黄大仙公园,曾道仁白小姐开奖结果,有钱人高手23335,3224刘伯温首页百度,440770.com,www.039049.com,678366一点红118,排三试机号今天16:30点
  7. ,排三试机号今天16:30点,35印刷图库,66654跑狗图,一118kj手机看开,大丰收网站,6hckcom开奖结果香港,金多宝精英论坛,www.701111.com,4bxct.com,澳门赛马会,114图库2017全年资料
  8. ,114图库2017全年资料,http://www.9999211.com,055586.com,2233cc真正红姐图库,888300.com香港牛魔王,http://www.459322.com,78345黄大仙,彩民之家心水论坛,www.366377.com,www-452828.com,红楼梦心水论坛39033
  9. ,红楼梦心水论坛39033,红姐图库,49979.com,正版老码,六开彩开奖现场直播,波肖门尾图库9742开奖,http://www.400500a.com,白小姐中特网,00.com,http://www.010490.com,金水桶中特网
,金水桶中特网,镇坛之宝高手心水论坛,37470.com,www.110233.com,满堂红论坛,4477.ee,财神六合大仙,123kj开奖结果,曾道正版资料2018
,查看马报开奖结果,曾女士铁算盘,摇钱网论坛,bx69.com,http://www.416868.com,kj4242开奖现场,四海图库总站,00855彩坛至尊,马邦高手联盟35538,9.6hkcom特区总站入,212444.com,www.da903.com
,www.da903.com,246155.com,http://www.778896.com,808长条最新图片,www.tm978.com,lf123雷锋高手坛,王中王开奖493333,香港正版挂牌,香港恵泽群.996012com,香港正版挂牌之全篇
,香港正版挂牌之全篇,www.www.2386811.com,六合开奖现场开奖记录,215555.com,小鱼儿二站玄机资料,彩霸王463333-百度,5555kj开奖直播百度,03024玄机图308k.com,银河高手论坛开奖直播,观音心水白小姐中特网
,观音心水白小姐中特网,香港牛魔王挂牌,20654.com,极速时时彩开奖记录,659999.com,4887铁算盘,曾道正版免费2018,凤凰马经正版,http://www.www-8634.com,4955555.com
,4955555.com,4907.com,cad图纸管理系统,http://www.496949.com,藏宝阁9090990开奖资枓,949494救世网彩图库co,2018年香港马会一免费资枓大全,www.41237.com,www.24339.com,www.6886.cc
,www.6886.cc,1ccc图库,伐代表那一只生肖,80761.com,60999六神话,六彩开奖结果直播现场,www.555345.com,www.76577.com,香港挂牌记录,手机开奖74499最快
,手机开奖74499最快,yifa.pw,白小姐—马期期准,2017全年绝杀2肖,本港台同步报码室,开奖记录手机版267kj,香港欣欣图库,www.96444.com,www.h35557.cc,马会开奖结果,福马脚轮官网,0118tk全年历史图库,香港赛马会玄机图准资料,平特王报
,平特王报,http://www.2444555.com,533cc波肖门尾图库533cc,白小姐玄机图,夜明珠标准开奖现场,守护幸福2018六肖,天鹰心水,112212世外桃源夜明珠,118图库九龙乖乖图库,免费一级特黄大片香港,www.kj9494.com
,www.kj9494.com,www.38002e.com,go6hcom旧版本,http://www.594848.com,9998660.com,38.com,香港现场开码直播,388866.com,www.163577.com,今晚开码结果,极限码皇高手论坛jx019
,极限码皇高手论坛jx019,http://www.901488.com,平特尾有规律吗,556685.com,六盒全集资料,www123kj开奖直播,铁算盘心水论坛,香港赛马会官方网站正版,香港六彩开奖结果,http://www.396888.com,www.58695c.com
,www.58695c.com,684747.com,118开奖记录,www.158383.com,www.343451.com,香港新报,http://www.190tk.com,正版通天报每期自动更新,www.tb960.com,98322万众堂开奖百度