開放搜索簡介

開放搜索是阿里集團(tuán)搜索業(yè)務(wù)中臺(tái)AIOS體系打造的智能搜索云平臺(tái)。目前阿里集團(tuán)內(nèi)500+業(yè)務(wù)接入，主要包括釘釘、盒馬、菜鳥口碑等，整個(gè)集群在索引的文檔數(shù)量已經(jīng)超過了600億，日均的PV已經(jīng)超過了百億。在雙十一當(dāng)天查詢的QPS分值超過了百萬，文檔實(shí)時(shí)更新TPS峰值15萬+ ，并且整個(gè)服務(wù)非常平穩(wěn)，沒有任何降級。在2014年開放搜索正式通過阿里云進(jìn)行商業(yè)化輸出。

一站式智能搜索業(yè)務(wù)開發(fā)平臺(tái)

阿里大數(shù)據(jù)官網(wǎng)（盤點(diǎn)阿里大數(shù)據(jù)查詢平臺(tái)有哪些）

開放搜索產(chǎn)品優(yōu)勢：

相比于開源和自建的搜索，在核心引擎上面更穩(wěn)定，更高性能；
達(dá)摩院多年在NLP領(lǐng)域相關(guān)積累，通過查詢分析和排序搜索等形式開放，使用戶在初始階段就具備了一個(gè)高質(zhì)量搜索效果；
搜索引導(dǎo)功能支持千人千面；
強(qiáng)開放性，支持多種定制的手段，可以有內(nèi)置的模型，也可以回流用戶自己的模型。
免運(yùn)維，無需做運(yùn)維操；

AI.OS引擎系統(tǒng)

阿里巴巴搜索推薦事業(yè)部自研的AI.OS技術(shù)體系服務(wù)于阿里集團(tuán)內(nèi)部90%以上的搜索業(yè)務(wù)，AI.OS系統(tǒng)天生具有彈性擴(kuò)縮容，故障快速恢復(fù)的能力，比自建或開源的系統(tǒng)更加穩(wěn)定、更加高效，能夠支持海量的數(shù)據(jù)處理。

電商/O2O場景搜索常見問題

電商行業(yè)智能搜索系統(tǒng)

query處理流程

用戶在搜索框中輸入查詢詞，然后后端的系統(tǒng)根據(jù)對它進(jìn)行分析，分析的結(jié)果發(fā)送給搜索引擎，找到用戶想要的商品做排序返回用戶最想要的商品，最后將這些商品做一些人工干預(yù)，或者是直接最終返回的搜索結(jié)果頁給用戶展示出來。

如何構(gòu)建電商行業(yè)智能搜索系統(tǒng)

如果我們從零開始去構(gòu)建一個(gè)電商行業(yè)的智能搜索系統(tǒng)，我們需要解決哪些問題那？

商品如何建庫？如何準(zhǔn)確的理解用戶的查詢意圖？
如何為用戶提供個(gè)性化的搜索體驗(yàn)？
如何根據(jù)用戶的查詢返回最匹配的結(jié)果？
常見的功能怎么構(gòu)建？比如下拉提示、熱詞、底紋等；
相關(guān)技術(shù)人員問題；

開放搜索電商行業(yè)模板搜索架構(gòu)

商品建庫

電商行業(yè)模板在應(yīng)用結(jié)構(gòu)和索引結(jié)構(gòu)上面為用戶提供了一個(gè)默認(rèn)的模板。比如說將商品常用的字段抽象成了它的應(yīng)用結(jié)構(gòu)，并且根據(jù)搜索積累，為這些為電商搜索應(yīng)用創(chuàng)建的對應(yīng)的，默認(rèn)的索引結(jié)構(gòu)，用戶可能不需要有相關(guān)的領(lǐng)域知識(shí)就可以創(chuàng)建出搜索系統(tǒng)應(yīng)用，查詢分析和用意圖理解方面，并且結(jié)合行業(yè)的特征做針對性的分詞的優(yōu)化，行業(yè)實(shí)體識(shí)別的優(yōu)化，同義詞糾錯(cuò)的優(yōu)化和類目預(yù)測的優(yōu)化。

查詢分析鏈路

電商行業(yè)分詞

分詞是影響搜索效果的最基礎(chǔ)的模塊。開放搜索集成了淘寶搜索同款的電商分詞器，訓(xùn)練語料來自淘寶搜索多年積累的百萬級有標(biāo)注的電商行業(yè)數(shù)據(jù)。

分詞效果對比：

電商語義理解

命名實(shí)體識(shí)別

電商N(yùn)ER問題定義

對電商Query和標(biāo)題進(jìn)行實(shí)體詞打標(biāo)識(shí)別其中的品牌、品類、品類修飾、型號(hào)、款式等40種類別；

難點(diǎn)

品牌更新快歧義大；

例：播（女裝品牌）、老爸（食品品牌

品類存在修飾關(guān)系；

例：華為手機(jī)（品類修飾）透明手機(jī)殼（品類）

解決思路

現(xiàn)有框架知識(shí)庫更新

基于老模型鏈路重新構(gòu)建全量知識(shí)庫，F(xiàn)1 69 -> 74

標(biāo)注訓(xùn)練數(shù)據(jù)，使用神經(jīng)網(wǎng)絡(luò)模型

標(biāo)注10萬條數(shù)據(jù)，耗時(shí)4個(gè)月，BiLSTM-CRF模型，F(xiàn)1 74 -> 78

神經(jīng)網(wǎng)絡(luò)模型結(jié)合知識(shí)庫

技術(shù)創(chuàng)新GraphNER框架結(jié)合監(jiān)督模型與知識(shí)庫，F(xiàn)1 78 -> 82

查詢分析行業(yè)增強(qiáng)版效果

query改寫

文本query

針對查詢詞處理之后改寫的query

個(gè)性化query

在查詢詞改寫基礎(chǔ)之上引入個(gè)性化信息，比如u2i，i2i，u2s2等

向量query

在查詢詞改寫基礎(chǔ)之上引入向量信息，需要對查詢詞進(jìn)行向量化

多路召回技術(shù)

電商排序

支持兩輪排序機(jī)制，粗排和精排

粗排參與的文檔數(shù)量比較多，可能是幾萬到幾十萬量級，所以對排序的耗時(shí)要求比較嚴(yán)格，從而導(dǎo)致它能使用的特征就比較少。

精排參與的排序的數(shù)量比較少，所以打分使用特征可以多一些。

定制排序-Cava腳本

Cava與排序表達(dá)式相比有更高的靈活性和開放性，方便用戶自由的定制自己的排序規(guī)則，它是開放搜索自己研發(fā)的一個(gè)類java 的語言，性能和C++相當(dāng)，支持面向?qū)ο蟮某毯图磿r(shí)編譯；不同的數(shù)據(jù)類型支持類的定義，多種運(yùn)算符和一些簡單的控流程控制語句。

另外一個(gè)很重要的部分是在開發(fā)語言的基礎(chǔ)之上，開放搜索封裝了通用的排序特征和為了方便用戶開發(fā)排序新的排序特征，也封了一些框架類的相關(guān)特征。通過這些特征，用戶可以直接在腳本中引用，從而開發(fā)出自己新的排序腳本，大大簡化了開發(fā)成本。

搜索引導(dǎo)功能

內(nèi)置熱搜、底紋、下拉提示多樣搜索引導(dǎo)算法模型，無需開發(fā)系統(tǒng)每天自動(dòng)訓(xùn)練模型，對用戶搜索意圖起到重要的引導(dǎo)作用，大大降低后續(xù)查詢意圖理解、相關(guān)性、排序、運(yùn)營干預(yù)等環(huán)節(jié)的調(diào)優(yōu)難度，對提升整體業(yè)務(wù)目標(biāo)可以起到非常好的鋪墊作用。

搜索前引導(dǎo)：

搜索中引導(dǎo)：

電商行業(yè)模板實(shí)踐案例

案例1客戶情況：

某電商購物平臺(tái)，與淘寶天貓等一線商家合作，每日選擇優(yōu)惠券供用戶領(lǐng)取使用,導(dǎo)購電商行業(yè)排名前TOP5；

行業(yè)模板應(yīng)用效果：

- 功能和性能遠(yuǎn)超同類競品，無結(jié)果率下降20%，CTR絕對值提升3%；
- 工程架構(gòu)類開發(fā)和系統(tǒng)運(yùn)維人力成本降低，團(tuán)隊(duì)成員專注業(yè)務(wù)開發(fā)，幫助業(yè)務(wù)發(fā)展速度更快；
- 搜索引導(dǎo)成交的GMV顯著提升；

案例2客戶情況：

某上市的電商分期購物平臺(tái)，為年輕人提供正規(guī)化、透明化、個(gè)性化的消費(fèi)金融產(chǎn)品與服務(wù)；

行業(yè)模板應(yīng)用效果：

- 商品交易額增長：通過搜索服務(wù)增加了商品曝光率，帶動(dòng)商品下單轉(zhuǎn)化，轉(zhuǎn)化率同比增長15% 訂單轉(zhuǎn)化提升：
- 從商品詳情頁到下單頁的轉(zhuǎn)化率同比增長20% 接口性能大幅提升；
- 搜索接口耗時(shí)從100ms降低到20ms 使企業(yè)能夠?qū)①Y源精力著重投入到用戶拉新、升級現(xiàn)金業(yè)務(wù)等的核心業(yè)務(wù)上；
- 彈性擴(kuò)容，預(yù)估容量峰值，滿足雙十一大促等特殊時(shí)段的搜索服務(wù)需求；