日韩精品在线看_黄色成人美女网站_偷窥自拍亚洲色图精选_五月激情综合

MySQL+Hadoop+DataX+Flume+Hive+Spark+DolphinScheudler+Python+Shell+Superset等

1.基于電商的業(yè)務(wù)數(shù)據(jù)需求分析和指標(biāo)體系建立
2.原始數(shù)據(jù)(業(yè)務(wù)數(shù)據(jù)和日志數(shù)據(jù))探索
3.用戶、商品、訂單、訂單詳情、訂單支付、收獲地址、供應(yīng)商、時(shí)間維度、地區(qū)維度等相關(guān)業(yè)務(wù)數(shù)據(jù)全量和增量同步
4.業(yè)務(wù)數(shù)據(jù)同步任務(wù)開發(fā)、上線、測(cè)試及數(shù)據(jù)同步問題的數(shù)據(jù)補(bǔ)跑
5.用戶瀏覽、點(diǎn)擊、交互、啟動(dòng)、安裝、滑動(dòng)、輸入和搜索等相關(guān)行為數(shù)據(jù)采集和任務(wù)上線運(yùn)行
6.廣告投放外部數(shù)據(jù)采集和任務(wù)上線運(yùn)行
7.用戶、訂單、交易、營(yíng)銷等主題的DWD、DWS和ADS層開發(fā)
8.維度層數(shù)據(jù)加工與開發(fā)處理
9.ADS層數(shù)據(jù)導(dǎo)出到MySQL，配置相關(guān)任務(wù)，上線運(yùn)行
10.使用Superset BI可視化工具實(shí)現(xiàn)各個(gè)主題報(bào)表配置、看板配置與看板發(fā)布

ECS、RDS、DataHub、MaxCompute、DataWorks、QuickBI

1 部署一站式ODPS大數(shù)據(jù)環(huán)境
2 探索商城多種C端、B端和物流端等業(yè)務(wù)與數(shù)據(jù)，梳理相關(guān)業(yè)務(wù)指標(biāo)體系
3 ODS層建立對(duì)應(yīng)模型，應(yīng)用ODPS的數(shù)據(jù)集成模塊，將業(yè)務(wù)數(shù)據(jù)同步至ODS層
4 DWD和DIM層數(shù)據(jù)建模，將ODS層數(shù)據(jù)加工處理到DWD和DIM層
5 構(gòu)建DWS層用戶行為、商品、購物車和訂單等寬表模型，并將DWD層數(shù)據(jù)加工到對(duì)應(yīng)的寬表
6 ADS面向應(yīng)用構(gòu)建需求模型，將DWS層的數(shù)據(jù)再次加工到ADS層各個(gè)表中
7 使用QuickBI制作數(shù)據(jù)報(bào)表與可視化看板操作
8 數(shù)據(jù)質(zhì)量監(jiān)控開發(fā)和數(shù)據(jù)權(quán)限控制設(shè)置

Hadoop、Hive、Spark、DolphinScheudler、Hue、Shell

1 用戶和課程標(biāo)簽體系建設(shè)
2 ID-Mapping打通
3 用戶基礎(chǔ)標(biāo)簽與聚合標(biāo)簽?zāi)Ｐ蜆?gòu)建與加工
4 物品基礎(chǔ)標(biāo)簽與聚合標(biāo)簽的模型構(gòu)建與加工等
5 畫像標(biāo)簽落盤與維護(hù)
6 畫像標(biāo)簽的應(yīng)用與服務(wù)

MySQL、Kafka、Hadoop、Hive、Spark、ClickHouse、Superset、Hue、DolphinScheduler 或采用阿里云大數(shù)據(jù)服務(wù)

1 電商業(yè)務(wù)需求討論與評(píng)審
2 業(yè)務(wù)評(píng)審、架構(gòu)評(píng)審和技術(shù)評(píng)審
3 電商相關(guān)指標(biāo)體系，用戶、訂單、交易和商品等主題劃分
4 相關(guān)類別、地域和品牌等維度層數(shù)據(jù)加工，數(shù)據(jù)倉庫各層模型構(gòu)建
5 電商業(yè)務(wù)數(shù)據(jù)同步和指標(biāo)計(jì)算的任務(wù)排期、任務(wù)測(cè)試與上線部署
6 使用BI工具進(jìn)行主題數(shù)據(jù)報(bào)表和看板制作與發(fā)布
7 企業(yè)級(jí)大屏數(shù)據(jù)抽取、加工、推送、露出全流程數(shù)據(jù)加工流轉(zhuǎn)方式

MySQL、Kafka、Hadoop、Hive、Spark、ClickHouse、SuperSet、Hue、DolphinScheduler 等

1 問答系統(tǒng)業(yè)務(wù)需求討論與評(píng)審
2 問答系統(tǒng)數(shù)據(jù)倉庫架構(gòu)構(gòu)建
3 問答系統(tǒng)相關(guān)指標(biāo)體系，用戶、問答和互動(dòng)等主題劃分及各層模型建設(shè)
4 業(yè)務(wù)數(shù)據(jù)和行為數(shù)據(jù)的同步與采集
5 用戶、問答、互動(dòng)和行為相關(guān)指標(biāo)的計(jì)算
6 使用可視化工具對(duì)相關(guān)指標(biāo)和數(shù)據(jù)進(jìn)行展示
7 相關(guān)任務(wù)調(diào)度與上線配置

本項(xiàng)目工程組件： Spark MLlib + SpringBoot + Redis +HBase+ Milvus
本項(xiàng)目涉及算法: Word2Vec + ItemCF+ALS+GBDT+LR+BloomFilter
監(jiān)控架構(gòu)依然采用：Prometheus + Grafana + IM
本項(xiàng)目的組件監(jiān)控： 推薦API+HBase[Metric]+Prometheus + Grafana +Supervisor+ IM

1 項(xiàng)目協(xié)同過濾模型
2 基于ItemCF模型的召回，將召回的特征數(shù)據(jù)桶方式存儲(chǔ)HBase中
3 基于ALS模型的召回，將召回的特征數(shù)據(jù)以HBase的桶方式裝載到HBase中
4 物品的基礎(chǔ)特征向量加工和存儲(chǔ)HBase
5 用戶基礎(chǔ)特征向量加工處理與存儲(chǔ)HBase
6 物品和用戶嵌入向量的加工處理與存儲(chǔ)HBase
7 推薦系統(tǒng)排序階段解析，LR和GBDT模型構(gòu)建、訓(xùn)練和測(cè)試
8 PMML跨平臺(tái)構(gòu)建，Jpmml-SparkML的源碼研發(fā)，實(shí)現(xiàn)自定義Transformer，PMML模型文件保存
9 多路召回模型特征向量進(jìn)行Union，并存儲(chǔ)HBase中
10 PMML模型文件加載，應(yīng)用線上數(shù)據(jù)，對(duì)外開發(fā)推薦服務(wù)API
11 基于Promethuse和Grafana架構(gòu)的推薦API服務(wù)監(jiān)控