大数据平台内存计算节点

1大数据平台内存计算节点 序号 1.1 技术指标 *数量 1台服务器，2个计算节点 要求 投标响应 原厂软硬件一体化设备，大数据软件和硬件为冋一家制 造商。 要求配置企业级机架式（非刀片式）服务器，模块化架 构，可堆叠。通过软硬件一体化装置实现计算、存储、 网络、虚拟化和应用融合的紧密集成的大数据平台。 每套设备的技术要求如下： 平台要求：高度2U包括2个服务器节点，每个服务器节 点：支持》2颗Intel Xeon E5-2600v3 *1.2.1 配置要求 、v4系列处理器 每个节点最大8根内存插槽，最大支持 512G内存，每个 节点最大支持 6个3.5寸SAS/SATA硬盘（支持SASRaidO , 1, 5,6）,双千兆网口，每个节点最大支持 2个PCI-E X8 3.0插槽2个，PCI-E X8 1 个，1280W冗余电源 处理器：每个服务器节点实配》_2个64位8核处理器， 硬 件 1.2 配 置 要 求 主频》_2.1_GHz 内存：每个服务器节点实配》 _128_GB DDR4内存主频 > 2133MT/S SSD存储：Intel PCIE-SSD 加速卡 2TB 硬盘：每个服务器节点实配至少 SAS企业级硬盘 _3块4T 3.5' 7200RPM 每个独立物理计算节点的技术要求如下： 1）系统扩展性和扩容性 采用横向扩展的架构，可随着节点的增加而使得 CPU内 存、存储、网络等均在种干衡模式上增加，确保扩展 没有瓶颈。支持1.2.2 配置要求 在线升级，保证随数据存储和计算需求 的增长而平滑升级。平台由多个单机组成的大数据集群 架构，所有组件可选配万兆以太网或者 或者千兆以太网互联。 为保证平台7X 24小时连续可用性，系统必须支持在线 扩展，系统扩展时不需要停机，系统扩展时，平台整体 性能保持基本 Infini ba nd 网络 同比增长 序号 技术指标 要求 投标响应 关键应用的高可用性 采用工程化设计，可提供高级别的高可用性。所有故障 类型均可得到防护，包括磁盘、 服务器、网络等简单故 障，以及站点故障和人为失误等复杂故障。拥有完整的 冗余的硬件保护，包括冗余的供电电源、冗余的风扇等。 支持PCIE-SSD闪存加速 允许用户将频繁访问的表数据保存在 SSD中缓存中，冋 SSD 时不常访问的数据仍保存在磁盘中。这种方式兼具 的高性能与磁盘的大容量和低成本。 数据库表、分区和段的数据驻留在 中实现列式存储，更进一步提高 允许用户任意 指定 SSD上。在SSD闪存 SSD闪存加速效果，在 TPC-DS基准测试中性能提升 10倍以上。提供第三方测试 机构出具的测试报告。 通过中断优化、内核优化、BIOS优化、NUMA优化实现分 布式处理能力提升，提供相应的功能证明材料。 为自主研发的产品，拥有独立知识产权，提供相应的证 明材料。 123 配置项完 整性承诺 投标人须承诺保证根据招标人技术需求所做出的设备配 置项的完整性，包括但不限于提供本标段设备连接所有 一切电缆、接头、配件、机柜，以及设备微码、驱动程 序等软件。 如果缺漏或不符，应免费补充或更换。 投标大数据平台的软件产品需具备：两年以上 （含两年） 并提 Gartner数据仓库相关魔力象限入围的发行版厂商， 供证明文件。 投标大数据平台的软件产品需具备：中华人民共和国国 家版权1.3.1 1.3 软件配置要求 局自主知识产权的计算机软件著作权等级证书， 并提供证明文件。 大数据平台软件基于 Apache开源社区，保持开放性，并 在可靠性、安全性、管理性、咼效性方面进行了增强。 采用Spark作为内存计算引擎，支持基于内存或者 固态硬盘高10特性优化的列式存储，避免 时以提高数据扫描速度。 SSD 10带来的延 序号 技术指标 要求 投标响应 提供基于SQL面向海量数据进行任意维度的内存计算交 互式分析能力。 *支持在分布式列式存储上建立局部索引，提供 力，为大表创建索引，支持多维数据灵活分析。 OLAP能 采用全局索引，快速找到精确查询的记录，精确定位数 据。 支持物化视图技术，在查询分析时通过 划优化，提升交互式分析性能与并发度。 MBO进行执行计 *提供内存计算的数据集市开发工具， 支持拖拽方式设计 Cube模型，支持维度/度量/层次结构/级别/属性，支持 星型模型、雪花型模型。 *提供全向量化的执行引擎， 通过向量化操作可以降低解 析传输等操作的开销，提升系统并行化效率，加速内存 计算交互式分析业务场景。 提供分布式存储框架，避免各个存储引擎在高可用、接 口抽象、运维等方面的重复，能够对接各种专用存储引 擎。 产品具有高性能特性，能对亿级数据进行任意维度、任 意过滤条件的聚合分析，秒级响应，同时具有 的并发能力。 100以上 *在大数据内存计算的数据管理方面， 提供多存储层级支 持，能够将应用表建立在不同IO读写速度的不同介质上， 包括磁盘、SSD固态硬盘和内存，其中建立的非易失存储 上的数据表在整个系统重启后能保证数据不丢失。 *投标人需承诺，软件功能科研根据大数据研究所进行科 研和教 学的需求进行定制开发。 2、大数据平台存储节点 序号 1.1 技术指标 *数量 2台服务器，4个存储节点 要求 投标响应 原厂软硬件一体化设备，大数据软件和硬件为冋一家 制造商。 要求配置企业级机架式（非刀片式）服务器，模块化 架构，可堆叠。通过软硬件一体化装置实现计算、存 储、网络、虚拟化和应用融合的紧密集成的大数据平 台。 每套设备的技术要求如下： 平台要求：高度2U包括2个服务器节点，每个服务器 节点：*1.2.1 配置要求 支持》2颗In tel Xeon E5-2600v3 、v4系列处 理器每个节点最大8根内存插槽，最大支持512G内存， 每个节点最大支持 6个3.5寸SAS/SATA硬盘（支持SAS RaidO, 1, 5, 6）,双千兆网口，每个节点最大支持 2 个 PCI-E X8 3.0 插槽 2 个，PCI-E X8 1 个，1280W冗 余电源 硬 件 1.2 配 置 要 求 处理器：每个服务器节点实配》个64位8核处理 器，主频》_2.1_GHz 内存：每个服务器节点实配》 _64_GB DDR4内存主频 > 2133MT/S 硬盘：每个服务器节点实配至少 _5块4T 3.5' 7200RPM SAS企业级硬盘 每个独立物理计算节点的技术要求如下： 1）系统扩展性和扩容性 采用横向扩展的架构，可随着节点的增加而使得 1.2.2 配 置要求 CPU 内存、存储、网络等均在一种平衡模式上增加，确保 扩展没有瓶颈。支持在线升级，保证随数据存储和计 算需求的增长而平滑升级。平台由多个单机组成的大 数据集群 架构，所有组件 可选配 万兆以 太网或者 Infin iba nd 兆以太网互联。 为保证平台7 X 24小时连续可用性，系统必须支持在 线扩展，网络或者千 系统扩展时不需要停机，系统扩展时，平台 序号 技术指标 要求 投标响应 整体性能保持基本冋比增长 关键应用的咼可用性 采用工程化设计，可提供高级别的高可用性。所有故 障类型均可得到防护，包括磁盘、 服务器、网络等简 单故障，以及站点故障和人为失误等复杂故障。拥有 完整的冗余的硬件保护，包括冗余的供电电源、冗余 的风扇等。 通过中断优化、内核优化、 BIOS优化、NUMA优化实现 分布式处理能力提升，提供相应的功能证明材料。 为自主研发的产品，拥有独立知识产权，提供相应的 证明材料。 123 配 置项完整 性承诺 投标人须承诺保证根据招标人技术需求所做出的设备 配置项的完整性，包括但不限于提供本标段设备连接 所有一切电缆、接头、配件、机柜，以及设备微码、 驱动程序等软件。 如果缺漏或不符，应免费补充或更换。 投标大数据平台的软件产品需具备：两年以上 （含两 年）Gartner 数据仓库相关魔力象限入围的发行版厂 商，并提供证明文件。 投标大数据平台的软件产品需具备：中华人民共和国 国家版权局自主知识产权的计算机软件著作权等级证 书，并提供证明文件。 大数据平台软件基于 Apache开源社区，保持开放性， 并在可靠性、安全性、管理性、高效性方面进行了增 1.3.1 1.3 软件配置要求 强。 提供标准 JDBC（包括 JDBC type 4 driver ）、ODBC驱 动，ODBC驱动至少兼容linux、windows （64位）。 * 支持 Oracle、DB2 Teradata、HiveSQL 等多种数据 库/数据仓库方言。兼容 Oracle PL/SQL、IBM DB2 SQL PL、Teradata宏，包括函数、流程控制、 Package、游 标、异常处理以及动态 SQL等语法。支持 SQL2003语 法，支持存储过程。 支持多种数据输入输出管理，包括： 序号 技术指标 要求 投标响应 1） 多种数据类型接入存储，例如结构化数据、半结 构化数据、非结构化数据、常见字符集、常见数 据格式、常见压缩类型。 2） 多种加载方式，例如批量模式、增量模式、准实 时接入模式、实时接入模式等。 3） 多种数据类型输出，例如常见数据类型、常见数 据格式、常见导出方式。 *具备统一数据存储管理能力，基于统一数据存储管理 让多种数据存储引擎的差异透明化。统一数据存储管 理能够支持使用一种计算引擎对接多种分布式存储系 统/引擎，包括分布式文件系统、基于内存或固态硬盘 的列式存储、搜索引擎、分布式 NoSQL数据库等。 *支持半结构化（JSON/BSON形式存储）和非结构化文本 数据的高效存储与搜索，支持全文索引功能，实现文 本数据等非结构化数据的搜索。支持使用 SQL接口进 行半结构化数据（JSON/BSON^式存储）的查询、更新 与删除。 支持海量影像数据或文件数据等大对象数据的存储与 检索，提供稳定咼效的入库和检索能力，支撑非结构 化数据内容管理。 产品具有咼性能：按关键字检索单表记录延时小于 500ms,单个节点并发度超过 200。按关键字检索多表关 联记录延时小于2s,单个节点并发度超过 200。 系统中不允许存在单点故障，任何一个角色故障后都 应有备份机器承担原失效节点工作，并在监控页面上 对错误状态进行显示标识。 *投标人需承诺，软件功能科研根据大数据研究所进行 科研和 教学的需求进行定制开发。 3、大数据平台深度机器学习节点 序号 1.1 技术指标 *数量 要求 投标响应 1台服务器，1个计算节点 原厂软硬件一体化设备， 大数据软件和硬件为冋一 家制造商。 要求配置企业级机架式（非刀片式）服务器，模块 化架构，可堆叠。通过软硬件一体化装置实现计算、 存储、网络、虚拟化和应用融合的紧密集成的大数 据平台。 每套一体机的技术要求如下： 平台要求：高度2U包括1个服务器节点，每个服 务器节点：支持》2颗In tel Xeo n E5-2600v3、v4 系列处理器每个节点最大 16根内存插槽，支持》 DDR4 ECC 2TB （ 16 个 DIMM 插槽） *1.2.1 配置要求 2400/2133/1866/1600MHZ 内存，支持》12 块 3.5 寸 SAS/SATA/SSD硬盘（支持 SASRaidO , 1, 5, 6）, 四千兆网口， 3 个 PCI-E 3.0 x16 插槽（FH, 10.5\" L）,3 个 PCI-E 3.0 x8 插槽，1000W冗余电源，VGA 接口》1 , USB2.0A2, RJ-45 管理口》1 处理器：每个服务器节点实配》_2个64位8核处 理器，主频》_2.1_GHz 硬 件 1.2 配 置 要 求 内存：每个服务器节点实配》 _64_GB DDR4内存 主频》2133MT/S 硬盘：每个服务器节点实配至少 业级硬盘 3块2T 3.5'企 GPU加速卡：内存》8GB CUDA核心》2560,内存 带宽》192GB/S 每个设备的技术要求如下： 系统扩展性和扩容性 1.2.2 配置要求 采用横向扩展的架构，可随着节点的增加而使得 CPU内存、存储、网络等均在一种平衡模式上增 力口，确保扩展没有瓶颈。支持在线升级，保证随数 据存储和 计算需求的增长而平滑升级。 平台由多个 序号 技术指标 要求 投标响应 单机组成的大数据集群架构，所有组件可选配万兆 以太网或者 Infin iba nd 联。 为保证平台7 X 24小时连续可用性，系统必须支持 在线扩展，系统扩展时不需要停机，系统扩展时， 平台整体性能保持基本同比增长 网络或者千兆以太网互 关键应用的高可用性 采用工程化设计，可提供高级别的高可用性。所有 故障类型均可得到防护，包括磁盘、 服务器、网 络等简单故障，以及站点故障和人为失误等复杂故 障。拥有完整的冗余的硬件保护，包括冗余的供电 电源、冗余的风扇等。 通过中断优化、内核优化、 BIOS优化、NUMA优化 实现分布式处理能力提升，提供相应的功能证明材 料。 为自主研发的产品，拥有独立知识产权， 提供相应 的证明材料。 投标人须承诺保证根据招标人技术需求所做出的 设备配123 配置项完 整性承诺 置项的完整性，包括但不限于提供本标段设 备连接所有一切电缆、接头、配件、机柜，以及设 备微码、驱动程序等软件。 如果缺漏或不符，应免费补充或更换。 投标大数据平台的软件产品需具备：两年以上 （含 两年）Gart ner数据仓库相关魔力象限入围的发行 版厂商，并提供证明文件。 投标大数据平台的软件产品需具备： 中华人民共和 1.3.1 软件配置 1.3 要求 国国家版权局自主知识产权的计算机软件著作权 等级证书，并提供证明文件。 大数据平台软件基于 Apache开源社区，保持开放 性，并在可靠性、安全性、管理性、咼效性方面进 行了增强。 *提供丰富的分布式统计算法以及机器学习基础算 法库， 包括数据预处理，数值分析，特征工程相关 序号 技术指标 要求 投标响应 分布式算法以及基础的分类、聚类、预测等机器学 习算法，方便数据分析人员进行数据分析与挖掘的 相关工作。 *提供流数据实时分析预测能力，进行流式机器学 习。 *支持自定义分布式数据挖掘算法，用户可以根据 生产需求自疋义开发分布式数据挖掘算法。 数据分析开发语言与接口支持： 1） 提供R语言开发接口支持。 2） 提供Python语言开发接口支持。 3） 提供API开发接口支持。 支持主流深度学习框架， 包括Tensoflow、MXNet, 通过将深度学习框架与 Hadoop体系融合，帮助数 据科学家以及分析人员敏捷构建 DNN CNN等模型， 使用全量数据样本进行模型训练，提高算法的精准 度。 支持挖掘标准PMML莫型导入导出，方便模型管理 与使用。 支持模型管理，包括内置行业模板、自定义模型模 板。 支持模型协作，多人协作模型开发模式。 *提供3种以上的脱敏数据源，定制开发 3个行业 大数据分析的业务场景，能完整显示从数据洞察、 数据清洗、数据归一化、建立模型、模型验证到模 型应用的全过程。 *投标人需承诺，软件功能科研根据大数据研究所 进行科研和教学的需求进行定制开发。