正文
有一類(lèi)業(yè)務(wù)場(chǎng)景，沒(méi)有固定的schema存儲(chǔ)，卻有著海量的數(shù)據(jù)行數(shù)，架構(gòu)上如何來(lái)實(shí)現(xiàn)這類(lèi)業(yè)務(wù)的存儲(chǔ)與檢索呢？58最核心的數(shù)據(jù)“帖子”的架構(gòu)實(shí)現(xiàn)技術(shù)細(xì)節(jié)，今天和大家聊一聊。
背景描述及業(yè)務(wù)介紹
什么是58最核心的數(shù)據(jù)？
58是一個(gè)信息平臺(tái)，有很多垂直品類(lèi)：招聘、房產(chǎn)、二手物品、二手車(chē)、黃頁(yè)等等，每個(gè)品類(lèi)又有很多子品類(lèi)，不管哪個(gè)品類(lèi)，最核心的數(shù)據(jù)都是“帖子信息”。
畫(huà)外音：像不像一個(gè)大論壇？
各分類(lèi)帖子的信息有什么特點(diǎn)？
逛過(guò)58的朋友很容易了解到，這里的帖子信息：
（1）各品類(lèi)的屬性千差萬(wàn)別，招聘帖子和二手帖子屬性完全不同，二手手機(jī)和二手家電的屬性又完全不同，目前恐怕有近萬(wàn)個(gè)屬性；
（2）數(shù)據(jù)量巨大，100億級(jí)別；
（3）每個(gè)屬性上都有查詢需求，各組合屬性上都可能有組合查詢需求，招聘要查職位/經(jīng)驗(yàn)/薪酬范圍，二手手機(jī)要查顏色/價(jià)格/型號(hào)，二手要查冰箱/洗衣機(jī)/空調(diào)；
（4）吞吐量很大，每秒幾10萬(wàn)吞吐；
如何解決100億數(shù)據(jù)量，1萬(wàn)屬性，多屬性組合查詢，10萬(wàn)并發(fā)查詢的技術(shù)難題呢？一步步來(lái)。
最容易想到的方案
每個(gè)公司的發(fā)展都是一個(gè)從小到大的過(guò)程，撇開(kāi)并發(fā)量和數(shù)據(jù)量不談，先看看
（1）如何實(shí)現(xiàn)屬性擴(kuò)展性需求；
（2）多屬性組合查詢需求；
畫(huà)外音：公司初期并發(fā)量和數(shù)據(jù)量都不大，必須先解決業(yè)務(wù)問(wèn)題。
如何滿足業(yè)務(wù)的存儲(chǔ)需求呢？
最開(kāi)始，業(yè)務(wù)只有一個(gè)招聘品類(lèi)，那帖子表可能是這么設(shè)計(jì)的：
tiezi(tid, uid, c1, c2, c3);
那如何滿足各屬性之間的組合查詢需求呢？
最容易想到的是通過(guò)組合索引滿足查詢需求：
index_1(c1, c2)
index_2(c2, c3)
index_3(c1, c3)
隨著業(yè)務(wù)的發(fā)展，又新增了一個(gè)房產(chǎn)類(lèi)別，存儲(chǔ)問(wèn)題又該如何解決呢？
可以新增若干屬性滿足存儲(chǔ)需求，于是帖子表變成了：
tiezi(tid, uid, c1, c2, c3, c10, c11, c12, c13);
其中：
- c1,c2,c3是招聘類(lèi)別屬性
- c10,c11,c12,c13是房產(chǎn)類(lèi)別屬性
通過(guò)擴(kuò)展屬性，可以解決存儲(chǔ)的問(wèn)題。
查詢需求，又該如何滿足呢？
首先，跨業(yè)務(wù)屬性一般沒(méi)有組合查詢需求。只能建立了若干組合索引，滿足房產(chǎn)類(lèi)別的查詢需求。
畫(huà)外音：不敢想有多少個(gè)索引能覆蓋所有兩屬性查詢，三屬性查詢。
當(dāng)業(yè)務(wù)越來(lái)越多時(shí)，是不是發(fā)現(xiàn)玩不下去了？
垂直拆分是一個(gè)思路
新增屬性是一種擴(kuò)展方式，新增表也是一種方式，垂直拆分也是常見(jiàn)的存儲(chǔ)擴(kuò)展方案。
如何按照業(yè)務(wù)進(jìn)行垂直拆分？
可以這么玩：
tiezi_zhaopin(tid, uid, c1, c2, c3);
tiezi_fangchan(tid, uid, c10, c11, c12, c13);
在業(yè)務(wù)各異，數(shù)據(jù)量和吞吐量都巨大的情況下，垂直拆分會(huì)遇到什么問(wèn)題呢？
這些表，以及對(duì)應(yīng)的服務(wù)維護(hù)在不同的部門(mén)，看上去各業(yè)務(wù)靈活性強(qiáng)，研發(fā)閉環(huán)，這恰恰是悲劇的開(kāi)始：
（1）tid如何規(guī)范？
（2）屬性如何規(guī)范？
（3）按照uid來(lái)查詢?cè)趺崔k（查詢自己發(fā)布的所有帖子）？
（4）按照時(shí)間來(lái)查詢?cè)趺崔k（最新發(fā)布的帖子）？
（5）跨品類(lèi)查詢?cè)趺崔k（例如首頁(yè)搜索框）？
（6）技術(shù)范圍的擴(kuò)散，有的用mongo存儲(chǔ)，有的用MySQL存儲(chǔ)，有的自研存儲(chǔ)；
（7）重復(fù)開(kāi)發(fā)了不少組件；
（8）維護(hù)成本過(guò)高；
（9）…
畫(huà)外音：想想看，電商的商品表，不可能一個(gè)類(lèi)目一個(gè)表的。
統(tǒng)一帖子中心服務(wù)
平臺(tái)型創(chuàng)業(yè)型公司，可能有多個(gè)品類(lèi)，各品類(lèi)有很多異構(gòu)數(shù)據(jù)的存儲(chǔ)需求，到底是分還是合，無(wú)需糾結(jié)：基礎(chǔ)數(shù)據(jù)基礎(chǔ)服務(wù)的統(tǒng)一，是一個(gè)很好的實(shí)踐。
畫(huà)外音：這里說(shuō)的是平臺(tái)型業(yè)務(wù)。
如何將不同品類(lèi)，異構(gòu)的數(shù)據(jù)統(tǒng)一存儲(chǔ)起來(lái)呢？
（1）全品類(lèi)通用屬性統(tǒng)一存儲(chǔ)；
（2）單品類(lèi)特有屬性，品類(lèi)類(lèi)型與通用屬性json來(lái)進(jìn)行存儲(chǔ)；
更具體的：
tiezi(tid, uid, time, title, cate, subcate, xxid, ext);
（1）一些通用的字段抽取出來(lái)單獨(dú)存儲(chǔ)；
（2）通過(guò)cate, subcate, xxid等來(lái)定義ext是何種含義；
