阿里云飛天大數(shù)據(jù)產(chǎn)品價值解讀,阿里云上海飛天大數(shù)據(jù)平臺-ESG跨境

阿里云飛天大數(shù)據(jù)產(chǎn)品價值解讀,阿里云上海飛天大數(shù)據(jù)平臺

阿里云飛天大數(shù)據(jù)產(chǎn)品價值解讀

演講嘉賓簡介：阿里云智能高級產(chǎn)品專家——吳世龍（染天）

以下內(nèi)容根據(jù)演講視頻以及PPT整理而成。

觀看回放:https://yq.aliyun.com/live/43343

本次分享主要圍繞以下三個方面：

一、如何評估搜索質(zhì)量、體驗與業(yè)務(wù)價值

二、OpenSearch背景與核心能力介紹

三、典型案例

一、如何評估搜索質(zhì)量、體驗與業(yè)務(wù)價值

1.搜索無處不在

生活中多種不同場景需要進行搜索，在企業(yè)內(nèi)部產(chǎn)品中也需要使用多種搜索功能，方便用戶快捷地獲取企業(yè)相關(guān)商品、服務(wù)、內(nèi)容等信息。搜索在不同的企業(yè)業(yè)務(wù)中的角色可能有所不同。如下圖所示，搜索在電商行業(yè)是十分重要的業(yè)務(wù)流量轉(zhuǎn)化入口，在其他領(lǐng)域也必不可少。

搜索是用戶獲取信息的基礎(chǔ)手段與能力，如果搜索不好用，用戶信任度必會降低。如果搜索在某業(yè)務(wù)場景中使用不多，建議衡量業(yè)務(wù)的全站流量結(jié)構(gòu)。

2.評估搜索質(zhì)量、體驗與業(yè)務(wù)價值

六成左右客戶不清楚如何評估搜索質(zhì)量、體驗與業(yè)務(wù)價值，那么引出以下問題。

搜索的業(yè)務(wù)價值驅(qū)動力是什么搜索在企業(yè)內(nèi)部的業(yè)務(wù)價值驅(qū)動一般依靠被動的Bad case、KPI或業(yè)務(wù)需求。依靠Bad case驅(qū)動，搜索結(jié)果具有隨機性，不固定時間地點場合，搜索體驗差。KPI指標判斷，容易片面和不知所以然。依靠業(yè)務(wù)需求指業(yè)務(wù)方或運營指明將某些搜索結(jié)果置于前排，意味著結(jié)果排序相關(guān)性勢必會完全依賴于業(yè)務(wù)方經(jīng)驗而無法客觀的保障用戶的體驗與業(yè)務(wù)轉(zhuǎn)化，不具備可控性。以上三種業(yè)務(wù)價值驅(qū)動方式都存在較大問題。

目前許多企業(yè)的做法是根據(jù)上述所謂的內(nèi)部搜索業(yè)務(wù)價值驅(qū)動力，做召回、排序、業(yè)務(wù)需求以及擴展搜索歷史等功能。

如何衡量主觀客觀如果明確了搜索的業(yè)務(wù)價值驅(qū)動力，如何衡量驅(qū)動效果，即業(yè)務(wù)價值具有客觀的體系化衡量手段才有可能實現(xiàn)客觀的判斷。

下圖所列舉為一套以淘寶內(nèi)部為典型的搜索上線流程。首先需要有監(jiān)控/評估搜索用戶體驗的方法，周期性評測用戶體驗。通過監(jiān)控/評估明確迭代/專項。在上線前做一些A/B Test或灰度測試，如果沒有問題可全量上線，并監(jiān)控線上效果。例如翻頁率下降，說明用戶以往搜索10頁才能找到的內(nèi)容現(xiàn)在1、2頁就可以找到，搜索體驗提升。

該鏈路是主動監(jiān)控、評估搜索業(yè)務(wù)價值的，好的驅(qū)動力應該是高效的體系化的持續(xù)化的實現(xiàn)交付價值。

那么如何衡量搜索業(yè)務(wù)價值該鏈路源頭是監(jiān)控/評估能力，需要有體系化、專業(yè)的報表與評估服務(wù)。報表是客觀性數(shù)據(jù)，只能反映果而不能體現(xiàn)因，評估服務(wù)是人工主觀評估服務(wù)。監(jiān)控/評估取代了所謂Bad case、KPI、業(yè)務(wù)需求，更加體系化地衡量搜索體驗。

如下圖所示，OpenSearch報表評估提供5大維度的30+指標。報表只能體現(xiàn)整體結(jié)果，而局部效果的評估可以根據(jù)大量指標從不同視角得出不同結(jié)論。五大維度分為流量指標、點擊類指標、用戶分析類指標、Query分析類指標、成交指標，核心指標由其提煉而來。

以往每天上班第一件事是查看關(guān)鍵指標，如發(fā)現(xiàn)可能存在問題，需要檢查連帶影響，確保報表各項核心指標正常后才會展開其他工作。因此該體系化、專業(yè)的報表與評估服務(wù)不僅帶給客戶一種技術(shù)能力，更使客戶能夠在平臺上完整落地、驅(qū)動搜索業(yè)務(wù)。

如何高效、可持續(xù)、體系化地交付搜索價值搜索的相關(guān)市場、場景、用戶、文化一直處于變化中，明確搜索業(yè)務(wù)價值驅(qū)動力、衡量方式后，如何高效、可持續(xù)、體系化地交付搜索價值

與一般開源不同，OpenSearch提供的不是需要客戶自行拼搭開發(fā)的零散工具，而是一套完整服務(wù)，一切皆為提升業(yè)務(wù)價值、體現(xiàn)大家的專業(yè)能力。OpenSearch服務(wù)主要有以下四個特點。第一，免運維，客戶只需要提供數(shù)據(jù)并配置滿足自身業(yè)務(wù)訴求的策略。第二，開箱即用，只需提供數(shù)據(jù)與配置策略，操作便捷。第三，一站式，提供搜索核心功能、擴展功能。第四，高搜索質(zhì)量。

下圖所示為搜索上線流程，創(chuàng)建應用、上傳數(shù)據(jù)并進行簡單調(diào)試后即可發(fā)布上線。若過程順利半天即可完成。

二、OpenSearch背景與核心能力介紹

OpenSearch是阿里巴巴自研的搜索引擎，過去一直支持并服務(wù)阿里內(nèi)部應用，經(jīng)過千錘百煉才沉淀到可以賦能市場上其他企業(yè)。

搜索的核心是做召回、排序、業(yè)務(wù)需求以及功能擴展，投入重、依賴多、周期長，一般企業(yè)難以投入大規(guī)模人力與資源。因此開發(fā)性能與體驗優(yōu)秀的搜索引擎并非易事。

召回核心模塊為分析器與查詢分析。中文博大精深，易生歧義，分詞效果至關(guān)重要。召回內(nèi)置多種分析器，分析語言意圖。查詢分析提供同義詞、糾錯、詞權(quán)重、實體識別、停用詞分析等必備功能。

排序方面支持二次排序，是大數(shù)據(jù)量召回的有效解決方式。還支持類目預測、人氣模型，支持表達式以及Cava排序定制。

根據(jù)業(yè)務(wù)需求需要支持混排、打散、詞典管理等功能實現(xiàn)。混排指在搜索召回結(jié)果中根據(jù)業(yè)務(wù)需求相應展示視頻、文字、圖片等不同媒體類型結(jié)果。例如在淘寶搜索結(jié)果中，打散指品牌、價格等打散展示。

擴展即功能性擴展，如A/B Test、搜索框下拉提示、熱搜底紋（默認搜索詞）、飄紅、Debug工具等。

召回、排序、業(yè)務(wù)、擴展都是為了服務(wù)客戶，使客戶能以最小成本、最短時間交付高質(zhì)量業(yè)務(wù)價值而提供的能力。

1.分析器

分析器是影響搜索效果的基礎(chǔ)模塊，不同業(yè)務(wù)場景需要使用不同分析器，需要用戶結(jié)合自身業(yè)務(wù)場景自行選擇。目前OpenSearch集成了12種分析器供用戶選擇，用戶也可上傳自己的分詞詞條個性化定制分析器。

下圖所示為阿里OpenSearch電商分析器與開源IK分析器對比數(shù)據(jù)，可見OpenSearch分析器的分詞效果相對優(yōu)于IK開源分析器。該對比隨機抽取100個電商類Query，下圖列舉部分結(jié)果。例如925銀耳飾，開源IK分析器分詞有“銀耳”一項，OpenSearch電商分詞理解顯然更優(yōu)。

2.類目預測

用戶搜索意圖可分為精搜、泛搜，類目預測即預測用戶搜索某一Query時目標類目的結(jié)果。類目預測并非依靠個人體感，而需要符合市場需求，根據(jù)行為數(shù)據(jù)盡可能快速滿足用戶需求。

如下圖所示，使用類目預測前在淘寶搜索光明，可能出現(xiàn)米、面、奶等多種相關(guān)商品。而根據(jù)用戶點擊行為數(shù)據(jù)，100個用戶搜索光明，絕大多數(shù)點擊的商品是光明牛奶，意味著用戶搜索光明通常是搜索光明牛奶，因此使用類目預測后前排推薦商品變化為光明牛奶。

類目預測也可使用純文本方式。

案例——雙面膠：多數(shù)時候搜索雙面膠指辦公用品，然而一段時間內(nèi)電視劇《雙面膠》很熱，出現(xiàn)了許多相關(guān)周邊產(chǎn)品。那么用戶在該階段搜索雙面膠想要的商品或許會發(fā)生變化，可通過用戶行為數(shù)據(jù)進行類目預測。

案例——播、海賊王、柯南：“播”是一個服裝品牌，多數(shù)時候需要召回的內(nèi)容為該品牌服裝。海賊王、柯南等Query，需要根據(jù)市場需求，通過類目預測提供更合適的結(jié)果。

3.人氣模型

淘寶早期搜索結(jié)果排序方式非常簡單，寶貝發(fā)布后上架試7天，剩余下架時間越短排序越靠前，所有賣家都有相同的機會獲得流量，對賣家、買家都相對公平。然而該模式無法將價值最大化，并不經(jīng)濟。

因此淘寶很早發(fā)布了人氣模型，盡可能與市場趨勢匹配，使用戶更加滿意，從而轉(zhuǎn)化為最大價值。用戶體驗好，對優(yōu)質(zhì)賣家、商品也更公平，是當前默認模型。

4.熱搜底紋

三、典型案例

1.召回

下圖所示站點是以UGC內(nèi)容為主的論壇。由于站內(nèi)搜索用戶地域表達與文化習慣差異大，易生歧義，導致搜索體驗差。因此該類搜索場景要求搜索引擎具備較強的語義理解能力，根據(jù)搜索和文檔的真實語義進行智能匹配。

詞權(quán)重分析：如下圖所示，搜索問題為“胎停有什么癥狀”，基于優(yōu)秀的召回質(zhì)量，通過詞權(quán)重分析能夠給出較好的結(jié)果排序。

拼寫糾錯、同義詞擴大召回：如下圖所示，由于用戶方言習慣等問題，搜索關(guān)鍵詞時將“剖腹產(chǎn)”誤輸入為“拋婦產(chǎn)”，通過拼寫糾錯等功能，仍然可以正確識別用戶意圖，提供相關(guān)內(nèi)容。

**客戶評價：簡單無門檻，連不懂技術(shù)的產(chǎn)品經(jīng)理都可以使用OpenSearch對業(yè)務(wù)進行迭代，大大縮短了項目的迭代周期。

客戶評價2：提高效率，目前技術(shù)團隊沒有專職優(yōu)化搜索的技術(shù)人員，只是根據(jù)項目需求做臨時優(yōu)化即可，省力省心。**

2.技術(shù)類內(nèi)容社區(qū)

某國內(nèi)最大的中文IT內(nèi)容社區(qū)，涉及眾多業(yè)務(wù)場景，由于是技術(shù)類內(nèi)容社區(qū)，需要提供強大、優(yōu)秀的搜索服務(wù)。

該社區(qū)花一年時間基于開源自建搜索服務(wù)，效果不佳。因此該社區(qū)試行OpenSearch。

下圖所示為基于開源自建搜索服務(wù)與基于OpenSearch服務(wù)的搜索效果對比。搜索同一關(guān)鍵詞Win10重裝，可見基于OpenSearch服務(wù)的搜索語義理解更優(yōu)，提供的搜索結(jié)果相關(guān)性更高。

由于該社區(qū)搜索詞專業(yè)垂直度高，通用分詞不足以支持，需要自定義詞典，并結(jié)合了阿里NLP通用Query智能分析+人氣模型。

效果：對比基于開源自建的搜索服務(wù)CTR提升80%+，對比友商CTR提升3%。

特別聲明：以上文章內(nèi)容僅代表作者本人觀點，不代表ESG跨境電商觀點或立場。如有關(guān)于作品內(nèi)容、版權(quán)或其它問題請于作品發(fā)表后的30日內(nèi)與ESG跨境電商聯(lián)系。