當前位置:經管資料網信息管理管理信息化智慧城市:集團公司(郵務、速遞物流、金融)大數據平臺整體方案建議書520頁

智慧城市:集團公司(郵務、速遞物流、金融)大數據平臺整體方案建議書520頁

前往專題
19.2 MB
中文
500
計點資料
201708
520頁
DOCX [下載閱讀器]
2017-08-26 11:35:54
推薦星級
信息化 | 解決方案
信息管理 | 管理信息化

智慧城市:集團公司(郵務、速遞物流、金融)大數據平臺整體方案建議書簡介

集團大數據平臺整體方案建議書 目錄 1 項目概述 14 1.1 建設背景 14 1.1.1 集團已有基礎 14 1.1.2 痛點及需提升的能力 14 1.1.3 大數據趨勢 15 1.2 建設目標 15 1.2.1 總體目標 15 1.2.…

集團大數據平臺整體方案建議書
目錄
1 項目概述 14
1.1 建設背景 14
1.1.1 集團已有基礎 14
1.1.2 痛點及需提升的能力 14
1.1.3 大數據趨勢 15
1.2 建設目標 15
1.2.1 總體目標 15
1.2.2 分階段建設目標 16
1.3 與相關系統的關系 16
1.3.1 數據分析綜合服務平臺 16
1.3.2 量收系統 17
1.3.3 金融大數據平臺 18
1.3.4 各生產系統 18
1.3.5 CRM 18
1.4 公司介紹和優勢特點 18
1.4.1 IDEADATA 18
1.4.2 TRANSWARP 20
1.4.3 我們的優勢 21
2 業務需求分析 24
2.1 總體需求 24
2.2 數據管理 25
2.2.1 數據采集 26
2.2.2 數據交換 26
2.2.3 數據存儲與管理 26
2.2.4 數據加工清洗 27
2.2.5 數據查詢計算 27
2.3 數據管控 28
2.4 數據分析與挖掘 29
2.5 數據展現 29
2.6 量收系統功能遷移 30
3 系統架構設計 31
3.1 總體設計目標 31
3.2 總體設計原則 31
3.3 案例分析建議 32
3.3.1 中國聯通大數據平臺 32
3.3.2 恒豐銀行大數據平臺 39
3.3.3 華通CDN運營商海量日志采集分析系統 51
3.3.4 案例總結 56
3.4 系統總體架構設計 57
3.4.1 總體技術框架 57
3.4.2 系統總體邏輯結構 60
3.4.3 平臺組件關系 62
3.4.4 系統接口設計 67
3.4.5 系統網絡結構 71
4 系統功能設計 73
4.1 概述 73
4.2 平臺管理功能 73
4.2.1 多應用管理 73
4.2.2 多租戶管理 77
4.2.3 統一運維監控 78
4.2.4 作業調度管理 97
4.3 數據管理 99
4.3.1 數據管理框架 99
4.3.2 數據采集 101
4.3.3 數據交換 104
4.3.4 數據存儲與管理 105
4.3.5 數據加工清洗 123
4.3.6 數據計算 124
4.3.7 數據查詢 139
4.4 數據管控 158
4.4.1 主數據管理 158
4.4.2 元數據管理技術 160
4.4.3 數據質量 163
4.5 數據ETL 170
4.6 數據分析與挖掘 172
4.6.1 數據分析流程 174
4.6.2 R語言開發環境與接口 175
4.6.3 并行化R算法支持 176
4.6.4 可視化R軟件包 179
4.6.5 編程語言支持 181
4.6.6 自然語言處理和文本挖掘 181
4.6.7 實時分析 182
4.6.8 分析管理 182
4.6.9 分析支持 186
4.6.10 指標維護 186
4.6.11 分析流程固化 187
4.6.12 分析結果發布 187
4.6.13 環境支持 187
4.7 數據展現 188
4.7.1 交互式報表 190
4.7.2 儀表盤 195
4.7.3 即席查詢 196
4.7.4 內存分析 197
4.7.5 移動分析 198
4.7.6 電子地圖支持 198
5 技術要求實現 200
5.1 產品架構 200
5.1.1 基礎構建平臺 203
5.1.2 大數據平臺組件功能介紹 204
5.1.3 系統分布式架構 242
5.2 運行環境支持 244
5.2.1 系統操作支持以及環境配置 244
5.2.2 與第三方軟件平臺的兼容說明 245
5.3 客戶端支持 246
5.3.1 客戶端支持 246
5.3.2 移動端支持 246
5.4 數據支持 246
5.5 集成實現 248
5.6 運維實現 250
5.6.1 運維目標 250
5.6.2 運維服務內容 251
5.6.3 運維服務流程 253
5.6.4 運維服務制度規范 255
5.6.5 應急服務響應措施 256
5.6.6 平臺監控兼容 256
5.6.7 資源管理 257
5.6.8 系統升級 259
5.6.9 系統監控平臺功能 260
5.7 平臺性能 268
5.7.1 集群切換 268
5.7.2 節點切換 270
5.7.3 性能調優 271
5.7.4 并行化高性能計算 276
5.7.5 計算性能線性擴展 279
5.8 平臺擴展性 280
5.9 可靠性和可用性 282
5.9.1 單點故障消除 282
5.9.2 容災備份優化 284
5.9.3 系統容錯性 288
5.10 開放性和兼容性 290
5.10.1 高度支持開源 293
5.10.2 操作系統支持以及軟件環境配置 305
5.10.3 兼容性與集成能力 306
5.11 安全性 307
5.11.1 身份鑒別 308
5.11.2 訪問控制 308
5.11.3 安全通訊 314
5.12 核心產品優勢 314
5.12.1 高速運算、統計分析和精確查詢 314
5.12.2 有效的資源利用 316
5.12.3 高并發、低延遲性能優化 317
5.12.4 計算資源有效管控 318
5.12.5 API設計和開發工具支持 319
5.12.6 友好的運維監控界面 321
5.12.7 擴容、備份、恢復機制 325
5.12.8 集群自動負載均衡 327
5.12.9 計算能力擴展 327
5.13 自主研發技術優勢 327
5.13.1 高穩定、高效的計算引擎Inceptor 328
5.13.2 完整的SQL編譯引擎 329
5.13.3 高性能的SQL分析引擎 329
5.13.4 SQL統計分析能力 330
5.13.5 完整的CURD功能 331
5.13.6 Hyperbase高效的檢索能力 332
5.13.7 基于Hyperbase和SQL引擎的高并發分布式事務 334
5.13.8 Hyperbase非結構化數據的支持 335
5.13.9 機器學習與數據挖掘 335
5.13.10 Transwarp Stream 339
5.13.11 內存/SSD/磁盤混合存儲 341
5.13.12 MR/Spark/流處理統一平臺 343
5.13.13 多租戶支持能力 344
5.13.14 多租戶安全功能 345
5.13.15 標準JDBC與ODBC接口 345
6 系統性能指標和測試結果說明 347
6.1 性能測試報告 347
6.1.1 測試目標 347
6.1.2 測試內容 347
6.1.3 測試環境 347
6.1.4 測試過程和結果 349
6.2 TPC-DS測試報告 352
6.2.1 測試目標 352
6.2.2 測試內容 352
6.2.3 測試環境 354
6.2.4 測試過程和結果 355
6.3 量收遷移驗證性測試報告 356
6.3.1 測試目標 356
6.3.2 測試內容 356
6.3.3 測試環境 357
6.3.4 串行執行情況 357
6.3.5 并行執行情況 359
6.3.6 生產表數據規模 360
6.3.7 測試結果 362
6.4 某銀行性能測試報告 362
6.4.1 測試目標 362
6.4.2 測試內容 362
6.4.3 測試環境 362
6.4.4 測試過程和結果 363
7 系統配置方案 375
7.1 硬件系統配置建議 375
7.1.1 基礎Hadoop平臺集群配置規劃 375
7.1.2 數據倉庫集群配置規劃 377
7.1.3 集群規模綜述 379
7.1.4 開發集群配置建議 380
7.1.5 測試集群配置建議 380
7.2 軟件配置建議 381
7.3 軟硬件配置總表 382
7.4 網絡拓撲 384
8 系統測試 385
8.1 系統測試方法 385
8.2 系統測試階段 386
8.3 系統測試相關提交物 387
9 項目實施 389
9.1 項目實施總體目標 389
9.2 項目管理 389
9.3 業務確認 390
9.4 數據調研 391
9.5 系統設計階段 392
9.6 集成部署階段 393
9.7 ETL過程設計 393
9.8 ETL開發與測試 394
9.9 系統開發階段 395
9.10 系統測試階段 396
9.11 系統上線及驗收 397
9.12 提交物 399
9.13 系統的交接與知識轉移 401
10 項目管理 403
10.1 項目總體管理 403
10.1.1 項目實施總流程 403
10.1.2 項目實施中各階段的主要任務 403
10.1.3 項目組織架構 407
10.1.4 項目負責人及主要成員 412
10.1.5 項目管理制度 479
10.2 項目質量管理 482
10.2.1 范圍 483
10.2.2 過程目標 483
10.2.3 角色與職責 483
10.2.4 過程活動 485
10.3 項目計劃 488
11 安全保密 498
12 知識產權 500
13 技術服務 501
13.1 現場支持服務 501
13.2 標準售后技術服務 502
13.2.1 提供預防性維護 502
13.2.2 系統升級服務 503
13.2.3 系統性能優化 503
13.2.4 提供系統完整文檔 503
13.2.5 定期系統健康檢查服務 504
13.2.6 應急預案 505
13.3 承諾 505
13.3.1 我方對集團的承諾 505
13.3.2 關于開發隊伍的承諾 505
13.4 技術保證 506
13.4.1 方案實用性保證 506
13.4.2 應用系統的運行能力的保證 506
13.4.3 預防性維護檢修內容 506
13.4.4 服務響應 507
13.4.5 關于軟件維護的保證 507
13.4.6 專業服務保證 508
13.4.7 售后服務流程及時限 508
14 人員培訓 509
14.1 Hadoop系統培訓 510
14.2 業務使用培訓 511
14.3 分析挖掘培訓 512
14.4 運行維護培訓 514
14.5 開發培訓 515
14.5.1 培訓目標 518
14.5.2 培訓方式 519
14.5.3 培訓資源 519
項目概述
建設背景
集團已有基礎

經過十幾年的信息化建設,集團已經積累了覆蓋郵務、速遞物流、金融三大板塊的海量生產和經營數據,這些數據分布在集團各類應用系統和數據庫中,支撐著集團業務的發展。

集團初步搭建了由名址系統、量收系統、速遞平臺系統、數據分析平臺組成的初步的數據倉庫,為數據分析挖掘工作打下了一定的技術基礎。

組建了專業的組織架構促進企業數據管理與應用的規范化與制度化。

全部

狮鹫兑换码2019