【標簽畫(huà)像系列】標簽體系設計與加工

編輯導語(yǔ)： 標簽體系在企業(yè)的數字化進(jìn)程中是經(jīng)常需要用到的，也是數據建設過(guò)程中必不可少的環(huán)節。那么如何進(jìn)行標簽的設計與加工呢？作者根據自身的一些項目交付經(jīng)驗進(jìn)行了總結，一起來(lái)看一下吧。

在企業(yè)的數字化進(jìn)程中，標簽體系的創(chuàng )建與使用在業(yè)務(wù)場(chǎng)景需求中經(jīng)常用到，也基本是數據建設過(guò)程中必不可少的環(huán)節。

一般有互聯(lián)網(wǎng)基因的大公司，有專(zhuān)業(yè)的數據技術(shù)人才儲備，會(huì )自己實(shí)現整個(gè)標簽加工使用流程、技術(shù)選型等，也存在不具備相應人才的公司需要標準產(chǎn)品幫他們快速實(shí)現這個(gè)過(guò)程，無(wú)需再自己探索，B端的標準產(chǎn)品可以幫客戶(hù)快速實(shí)現標簽體系的搭建與標準化管理，解決業(yè)務(wù)問(wèn)題。

本次我們一些項目交付經(jīng)驗，先來(lái)聊聊標簽的設計與加工。

標簽的建設與應用一般需要經(jīng)過(guò)幾個(gè)步驟：

標簽體系設計

標簽模型設計

標簽加工與更新

標簽應用

一、標簽體系設計

標簽服務(wù)于業(yè)務(wù)應用場(chǎng)景，好的標簽體系設計能夠讓業(yè)務(wù)人員在使用時(shí)隨需隨取，及時(shí)查詢(xún)出需要的數據，就算不具備這個(gè)標簽時(shí)，業(yè)務(wù)人員也可以自己快速加工出來(lái)，無(wú)需尋求數據開(kāi)發(fā)的幫助。那需要做到

標簽類(lèi)目劃分合理

標簽涵蓋的數據源豐富，標簽完善

后續擴展性高，即基于基礎標簽加工出新的標簽時(shí)，方便快速

標簽體系的設計一般會(huì )按照以下步驟：

1. 數據梳理

根據現有業(yè)務(wù)背景，以及數據，梳理出大概的標簽體系。如企業(yè)一般數據大概來(lái)源于這幾部分：

1）用戶(hù)基礎數據

用戶(hù)ID、性別、年齡、手機號、郵箱、身份證號、會(huì )員等級等基礎信息。

2）業(yè)務(wù)交易數據

如在零售領(lǐng)域，用戶(hù)發(fā)生的每一筆交易都會(huì )有記錄，如下圖：

*）用戶(hù)行為數據

如用戶(hù)在A(yíng)PP、PC、小程序等的瀏覽、點(diǎn)擊、收藏、評論行為，可反映出用戶(hù)的行為特點(diǎn)。

4）活動(dòng)/積分數據

會(huì )員商城的cha會(huì )員等級、積分兌換等數據。

*）售后投訴數據

客戶(hù)投訴、售后處理等數據。

基于對數據的梳理，可進(jìn)行標簽基本體系的梳理，梳理出一部分有價(jià)值的標簽。

2. 基于OLP模型體系化梳理標簽

OLP模型是目前比較通用的建立標簽體系的模型，OLP指“實(shí)體-關(guān)系-屬性”模型，用下方場(chǎng)景舉例：

實(shí)體：指對象，如人、書(shū)籍、門(mén)店等，可針對每個(gè)實(shí)體建立一套標簽體系

屬性：實(shí)體帶的特征，如人有性別、年齡屬性，書(shū)籍有價(jià)格、內容屬性，門(mén)店有售賣(mài)渠道、地址位置等屬性，屬性是一種類(lèi)型的標簽

關(guān)系：通過(guò)動(dòng)作產(chǎn)生關(guān)系，如基于購買(mǎi)動(dòng)作，人和書(shū)籍產(chǎn)生關(guān)系，基于這個(gè)動(dòng)作可產(chǎn)生消費時(shí)段偏好、支付方式偏好等標簽

基于該模型，對標簽進(jìn)行查漏補缺，梳理出標簽類(lèi)目與標簽。

*. 定義標簽與加工口徑

標簽中文、英文名：標簽的中文名稱(chēng)、英文名稱(chēng)

標簽所屬類(lèi)目：標簽所屬一級、二級、三級類(lèi)目

標簽類(lèi)型：根據不同維度的劃分，采用其中一種。比如統計類(lèi)標簽、預測類(lèi)標簽、自定義標簽等，亦或是原子標簽、衍生標簽、組合標簽、算法標簽等

標簽值定義：定義每個(gè)標簽的標簽值，如“近一個(gè)月買(mǎi)入金額區間”標簽，可根據購買(mǎi)金額的區間段定義“零/低端”、“普通”、“中端”、“準高端”、“高端”等標簽值

標簽含義（描述）：描述該標簽業(yè)務(wù)含義，如“最近*0天的購買(mǎi)商品的金額區間，對用戶(hù)消費力進(jìn)行評估”

標簽業(yè)務(wù)口徑：標簽以哪個(gè)數據定義為準，如“用戶(hù)活躍城市”標簽，以用戶(hù)購買(mǎi)次數最多的城市為口徑加工，而不是瀏覽次數、評論次數等

標簽技術(shù)口徑：描述該標簽從哪個(gè)表的哪個(gè)字段取值，SQL取數邏輯是什么

業(yè)務(wù)方來(lái)源：該標簽的業(yè)務(wù)需求方是誰(shuí)

標簽更新周期：描述標簽更新頻次，天(如T+1、T+2等)、周、月、小時(shí)、分鐘更新等

標簽更新優(yōu)先級：同一時(shí)間端跑多個(gè)標簽時(shí)，若資源有限，先跑優(yōu)先級高的標簽

基于以上工作，最終得出一份標簽體系表，以這份表和業(yè)務(wù)方最終確認標簽劃分、標簽與標簽值、標簽加工口徑是否有疑義，沒(méi)問(wèn)題，便可進(jìn)入標簽開(kāi)發(fā)環(huán)節。

二、標簽模型設計

進(jìn)入具體開(kāi)發(fā)之前，需考慮標簽模型層設計，在數倉加工出來(lái)哪些數據，標簽產(chǎn)品加工哪些數據。標簽模型依舊遵循數倉建模的“ODS-DWD-DWS-ADS”分層設計，基于DWD、DWS層抽象一層標簽模型層，加工標簽基礎標簽，屆時(shí)在標簽產(chǎn)品上讓業(yè)務(wù)人員通過(guò)規則可加工生成新的標簽。

一般遵循“公共層數據”、“大數據量計算”的標簽放在數倉中數據開(kāi)發(fā)寫(xiě)SQL實(shí)現，“通過(guò)規則可定義”、“標簽規則經(jīng)常修改”的標簽在標簽產(chǎn)品中配置。數倉一般實(shí)現：

1. 公共層數據

包含基礎屬性數據、基礎指標（指標也可以作為一種標簽，如最近*0天購買(mǎi)金額、最近*0天訪(fǎng)問(wèn)次數等），這些數據不僅給標簽系統用，也可以給BI報表、數據門(mén)戶(hù)使用，所以放在數倉中加工表。

1）基礎信息類(lèi)標簽

2）交易類(lèi)標簽

*）行為類(lèi)標簽

2. 大數據量計算的標簽

如計算歷史最高花費金額、商品的歷史最高庫存、累計消費金額、用戶(hù)排序等，這些標簽的計算基于的數據量大，最好放在hive中跑批上線(xiàn)。

在數倉中加工好標簽基礎表，這些表中的標簽一般稱(chēng)之為原子標簽，再將該表對接標簽產(chǎn)品，在標簽產(chǎn)品中進(jìn)行衍生類(lèi)、組合類(lèi)標簽加工。

三、標簽模型設計

基于標簽模型的設計，一部分基礎指標類(lèi)的標簽在數倉已建設完成，一部分標簽需要在產(chǎn)品界面上實(shí)現。我們接下來(lái)看下業(yè)務(wù)人員如何在袋鼠云標簽產(chǎn)品中配置標簽。

1. 根據業(yè)務(wù)對象，創(chuàng )建實(shí)體、關(guān)系

假設一個(gè)電商類(lèi)客戶(hù)，需要建立一套用戶(hù)標簽體系，則首先創(chuàng )建“用戶(hù)”實(shí)體對象，并在實(shí)體對象下可以接入標簽多張基礎表，如用戶(hù)基礎信息表、用戶(hù)行為事件的指標表等，這些表的字段可作為原子標簽直接使用，作為后續加工衍生、組合標簽的基礎。

同時(shí)，在后續加工衍生標簽時(shí)，在某些場(chǎng)景上會(huì )用到多個(gè)實(shí)體下的原子標簽加工，這時(shí)候可以用“關(guān)系”將2個(gè)實(shí)體關(guān)聯(lián)起來(lái)，如將“用戶(hù)”實(shí)體與“書(shū)籍”實(shí)體通過(guò)用戶(hù)表的“最近購買(mǎi)商品ID”、以及書(shū)籍表的“書(shū)籍ID”關(guān)聯(lián)起來(lái)，便可以用到2個(gè)表的字段進(jìn)行某個(gè)標簽的加工，如下圖：

2. 讀入原子標簽

從標簽基礎表中讀入原子標簽，進(jìn)行原子標簽的元數據管理。

讀入原子標簽時(shí)，有些字段可能存儲的是編號或一些枚舉值，但業(yè)務(wù)人員需要看到具有真實(shí)業(yè)務(wù)含義的值，此處可做一層字典值映射。比如將“省市編號”映射為具體的省市名稱(chēng)。

*. 創(chuàng )建衍生標簽

基于接入的數據表的原始字段和原子標簽，通過(guò)“且、或”關(guān)系、“求和、去 重計數、計數、最大值、最小值、均值”聚合函數、“等于、不等于、小于、小于等于、大于、大于等于、包含、不包含等”操作符，對源表字段進(jìn)行加工，生成衍生標簽。

如基于用戶(hù)訪(fǎng)問(wèn)次數、交易次數，加工“用戶(hù)活躍度“衍生標簽，包含“高活躍”、“一般活躍”、“睡眠狀態(tài)”標簽值，對用戶(hù)活躍度進(jìn)行衡量。

除通過(guò)可視化規則加工標簽外，也會(huì )開(kāi)放SQL界面寫(xiě)SQL加工標簽，因為在實(shí)際場(chǎng)景中，客戶(hù)場(chǎng)景不禁相同，有些復雜標簽需要SQL快速實(shí)現，在產(chǎn)品界面上也可直接操作。

同時(shí)，雖然產(chǎn)品上會(huì )開(kāi)放基于函數計算的標簽加工、SQL類(lèi)的標簽加工，但還是會(huì )建議客戶(hù)將公共層的指標類(lèi)標簽、及復雜類(lèi)標簽放在數倉中實(shí)現，以使標簽配置這層輕量，屆時(shí)進(jìn)行數據跑批時(shí)快速。

4. 創(chuàng )建組合標簽

基于原子標簽和衍生標簽，可進(jìn)行組合標簽的創(chuàng )建，如基于最近交易時(shí)間、最近1年交易次數，最近1年交易金額區間這*個(gè)標簽，加工“用戶(hù)綜合價(jià)值”組合標簽，將客戶(hù)分為“低價(jià)值用戶(hù)”、“一般保持用戶(hù)”、“重要發(fā)展用戶(hù)”等。

*. 創(chuàng )建實(shí)時(shí)、算法標簽

實(shí)時(shí)標簽：如基于用戶(hù)實(shí)時(shí)行為數據通過(guò)Flink引擎計算實(shí)時(shí)標簽，如用戶(hù)點(diǎn)擊APP上的一個(gè)商品廣告，且加入購物車(chē)，判斷該客戶(hù)屬于“某類(lèi)型商品感興趣用戶(hù)”，作為客戶(hù)短期興趣標簽。

算法標簽：如基于用戶(hù)的基金交易行為，預測該用戶(hù)屬于追漲、殺跌、高拋等哪種類(lèi)型的客戶(hù)，作為客戶(hù)的風(fēng)險偏好標簽。

最終將這些實(shí)時(shí)與算法標簽的元數據可統一接入標簽平臺統一管理。

標簽邏輯創(chuàng )建好之后，同時(shí)配置標簽的更新周期、更新優(yōu)先級，進(jìn)行標簽的定時(shí)跑批、手動(dòng)跑批等。

標簽體系設計與加工先講到這里，歡迎大家一起討論。

本文由 @木研 原創(chuàng )發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，禁止轉載

題圖來(lái)自 Unsplash，基于 CC0 協(xié)議