我們正處于云計算、大數據、移動技術以及物聯網等多元化信息技術變革時代，由此產生的數據正以幾何層級激增，隨著互聯網+時代的到來，更多互聯網業務中的深度應用需求會越來越細化。這些需求對數據處理平臺有很高的需求，那么，在數據存儲/計算平臺、數據倉庫技術和數據產品設計上如何權衡?
會場座無虛席，還有專程從寶島臺灣、山東以及杭州趕過來的開發者們。
5月23日，環信第二屆SM Meetup(Social and Mobile Meetup)在環信即時通訊云總部舉行。本期Meetup以《互聯網+時代下的數據處理技巧》為主題，邀請到陌陌基礎平臺組架構師楊建軍、PingCap重度折騰師唐劉、京東云主機及云數據庫架構高級研發工程師田琪，他們為到場的開發者分享了 “陌陌數據源訪問中間件的演化進程實踐、下一代分布式kv數據庫、Docker鏡像驅動選擇與存儲系統” 三個主題的實戰干貨，并在現場互動環節耐心解答了每一位開發者們面臨的一些技術難題。
以下是本次活動的全程紀實。
【PART1】陌陌數據源訪問中間件的演化進程實踐
揚老師演講全程對著PPT，這是唯一給我的一個正臉，還好手勢到位。
演講人：楊建軍，陌陌基礎平臺組架構師，在陌陌工作期間主要負責基礎平臺中間件研發，業務系統架構評審以及優化工作。加入陌陌前曾在58同城、世紀佳緣等公司從事搜索、大數據平臺、推薦系統架構設計研發工作。
干貨要點：
一、數據存儲集群發展
1.單機
2.主從
3.多主從集群現狀。redis、mysql、mongodb是主要集群方式。特點是架構簡單、穩定性較好、業界應用較多。多主從集群架構需要解決的問題：數據路由、實例遷移、實例的動態變更管理、擴容、高效配置管理、對運維友好。
4.分布式存儲
二、陌陌數據存儲介紹
三、momostore自研中間件介紹
1.自研中間件介紹：基于多主從模型設計;zookeeper 存儲元數據;支持redis 、mysql等;Java 開發
2.momostore一些特性：路由算法(一致性hash、mod、region…);節點信息動態變更;支持靈活配置多寫、讀寫分離、冷備等;高可用主從切換;Failfast支持。
3.集群信息變更：Instance 信息后臺直接修改、客戶端proxy自動watch 相關變更;盡量減少因路由變更帶來數據不一致影響，cluster、node信息變更引入兩階段確認模式。
4.擴容：盡量在架構設計時預估好容量、一致性hash 直接添加節點、MOD、 Region算法可按倍分擴容、擴容后節點舊數據需人工腳本刪除
5.mysql proxy介紹：基于config center源數據配置、支持分庫分表、支持sql 解析、按特定切片字段路由、暫不支持跨庫join、order by、group by、limit、in 等操作。
四、內部使用情況
1.redis proxy已用于消息業務相關集群、用戶關系集群、feed相關業務等。
2.sentinel 高可用切換系統覆蓋全量redis集群。
3.逐步替換線上靜態數據源配置方式。
4.mysql proxy還處于測試推廣階段。
PPT下載地址：http://vdisk.weibo.com/s/sTtZFJCY4HpFk
觀看完整演講視頻請點擊：http://v.youku.com/v_show/id_XOTYzOTY1MzUy.html
【PART2】reborndb：下一代分布式kv數據庫
唐老師穿著上午才打版印刷出來的TEE給新公司做廣告也真是蠻拼的。
演講人：唐劉，PingCap重度折騰師。唐劉同時也是典型宅男程序員一枚，愛好開源，愛好折騰。在騰訊，金山打過醬油，現在PingCAP跟大家一起搗鼓下一代分布式KV以及NewSQL。
干貨要點：
一、Redis特點：
1.純內存，性能高，速度快
2.協議簡單，客戶端豐富
3.string，list,hash,set,zste等數據結構
4.持久化支持，RDB，AOF
5.Replication支持
6.大量公司使用，市場選擇
二、Redis存在的問題：
1.數據量太大，內存不夠
2.無法區分冷熱數據，內存浪費嚴重
3.RDB Block住整個服務
4.寫操作太頻繁，AOF刷盤太多，很容易就rewrite
三、Redis Cluster特性：
1.官方出品，但最近才出了一個stable版
2.業界幾乎沒有成功案例，沒有最佳實踐指導
3.系統復雜度高，運維難度高，升級困難
4.要修改客戶端
四、QDB特性及缺點
1.特性：redis子集，支持大部分常用redis命令;string，list,hash,set,zste等數據結構支持;多存儲引擎支持;多存儲引擎支持，rocksdb,leveldb等;超越內存限制，熱點數據內存，冷數據硬盤;支持psync斷點續傳，go多核友好，并發讀支持，性能強悍。
2.存在的問題：數據量太大，硬盤撐不住了;單點，性能瓶頸。
五、集群方案
1.Smart Client方案優點：直連后端存儲，性能高，延遲低;缺點：不同語言都需要定制客戶端，升級較困難。
2.Proxy Based方案優點：隱藏集群信息，對外黑盒?，F有客戶端直接使用，更好的監控，控制，升級 。缺點：多了一層，性能損耗。
3.P2P方案優點：去中心化，完全分布式，node既是存儲，也是proxy，現有客戶端直接支持。缺點：實現難度大。
4.Twemproxy方案優點：最早最有名的PROXY解決方案;缺點：Twitter內部已經棄用靜態拓撲，不能支持動態擴容，縮容更改配置需全服重啟。
5.Codis優點：全兼容twemproxy，充分利用多核，性能高,proxy無狀態，運維工具齊全，不停機resharding，動態擴容，縮容。缺點：強依賴zookeeper,需要修改版Redis支持。
6.Migration:使用zookeeper進行協調，2PC保證迀移安全。過程是：slot_7標記為pre-migrate狀態,等待所有proxy確認。slot_7標記為migrating狀態,不斷的遷移slot_7里面的key,直到完成。將slot_7標記為online。
7.RebornDB與RebornDBTodo。
PPT下載地址：http://vdisk.weibo.com/s/sTtZFJCY4Hq3o
觀看完整演講視頻請點擊：http://v.youku.com/v_show/id_XOTY0MTUwNjA4.html
【PART3】 Docker鏡像驅動選擇與存儲系統
我端著相機從始至終沒捕捉到田老師的眼睛，你有看到么?
演講人：田琪，京東云主機及云數據庫架構高級研發工程師。10年互聯網行業從業經驗，分別就職于搜狐，新浪，騰訊，京東等公司，目前負責京東云主機及云數據庫的架構及研發工作，之前曾在搜狐技術產品中心負責搜狐webim,實時游戲平臺等技術產品的研發與架構工作，之后加入新浪微博負責新浪微博的底層平臺研發工作，主導了 redis在新浪微博的大規模定制開發與應用。之后加入騰訊負責騰訊大規模分布式存儲項目的研發與架構工作，為騰訊眾多業務產品線提供高可靠的存儲服務。
干貨要點：
一、Agenda
二、docker鏡像
1.需要系統提供有效的CoW機制
2.文件系統層
3.疊合文件系統
4.塊設備層
三、Device Mapper框架
四、DM thin provision
五、overlayfs
1.內核dentry的游戲
2.大文件的copy up會比較慢
六、JD Image Store
七、Namespace概念、使用接口及內核實現
1.Namespace使用接口
創建新進程及namespace;加入當前進程到新建namespace中;改變當前進程的namespace
2.Namespace內核實現：初始狀態;after normal fork;clone a new ns;aftersetns on task
八、CGroups資源管理及框架實現
1.提供進程的資源管理功能
2.資源管理主要涉及內存,CPU,IO等
3.不依賴于Namespace，可單獨使用
4.管理功能通過VFS接口暴露
5.CGroups提供通用框架，各子系統負責實現
九、cgroup及ns的問題
1.ns的隔離性不完整，需要更多種類的命名空間。
2.cgroup IO控制方面問題較多：帶寬控制只能CFQ調度器，不適合高速硬件;通用限流策略缺少彈性;buffer io無法準確控制。
PPT下載地址：http://vdisk.weibo.com/s/sTtZFJCY4Hq30
觀看完整演講視頻請點擊：http://v.youku.com/v_show/id_XOTY0NTIzMDk2.html
O2O編程馬拉松招募，蘋果大獎等你拿!
O2O創客編程馬拉松是由中關村移動互聯網產業聯盟開發者云服務聯合專業委員會發起，由環信、本地科技、大魚咖啡、緣創派、十分咖啡等聯盟成員和合作伙伴聯辦的面向廣大移動互聯網開發者的O2O應用開發大賽活動。本次大賽將在 北京、成都、杭州、深圳等地現場舉辦，是移動互聯網O2O創業團隊、開發者不容錯過的盛事。
點擊報名：http://www.mikecrm.com/f.php?t=WjVxhG
現場花絮：
簽到環節，業界鼎鼎大名的程開源老師已加盟環信表示將帶著SM Meetup沖出中關村走向硅谷或者澀谷。
不遠萬里從寶島臺灣趕過來的創業者，目前已經開發了一個O2O項目，面頰兩個小酒窩一看就有做O2O的潛質。
破冰環節，一位95后開發者自述開發之路。世界是我們的，最終還是他們的。
程序媛妹子永遠是環信SM Meetup的一大亮點，要是還有蠟燭啥的就完美了。
程序猿們討論妹子的時候一般都是這幅表情，不忍直視。
童鞋們，第二界SM Meetup已經圓滿結束，別不舍得走哦，第三期再見!
