本文將簡單介紹,如何去完成一個縮短網(wǎng)址的功能。
Node.js + MySQL + redis版本的源碼地址:github
Demo地址:www.ecool.fun/shortLink
什么是短鏈接
短鏈接,通俗來說,就是將長的URL網(wǎng)址,通過程序計算等方式,轉(zhuǎn)換為簡短的網(wǎng)址字符串。
大家經(jīng)常可以從微博或者各類營銷短信中,看到短鏈接,形式一般類似于 t.cn/xxxxxx,點擊后,就能跳轉(zhuǎn)到對應(yīng)的頁面。
早期短鏈接廣泛應(yīng)用于圖片上傳網(wǎng)站,通過縮短網(wǎng)址URL鏈接字?jǐn)?shù),達(dá)到減少代碼字符串的目的。更便于使用者引用網(wǎng)址,寫入代碼中,節(jié)省字符數(shù)空間。常見于網(wǎng)店圖片分類的使用,因有字符限制,運用短鏈接,達(dá)到外鏈圖片的目的,自微博盛行以來,在微博字?jǐn)?shù)有限的特色下,短鏈接也盛行于微博網(wǎng)站,以節(jié)省字?jǐn)?shù),給博主發(fā)布更多文字的空間。
將長鏈接轉(zhuǎn)成短鏈接,一般是為了方便記憶或者傳播。
需要完成的功能
從上面的介紹中,我們得出,縮短網(wǎng)址需要完成以下兩個功能點:
- 將長網(wǎng)址縮短成短鏈接
- 點擊生成短鏈接,能正常跳轉(zhuǎn)到原來的長網(wǎng)址頁面
全流程設(shè)計
其實上述功能點的原理很簡單,簡單描述一下:
- 用戶輸入長網(wǎng)址,服務(wù)端接收后進(jìn)行處理,并根據(jù)長網(wǎng)址的內(nèi)容,生成一個短碼,并將映射關(guān)系進(jìn)行存儲。然后根據(jù)短碼拼接出短鏈接,返回給用戶;
- 用戶點擊短鏈接,服務(wù)器端根據(jù)短鏈接中的短碼,查找到對應(yīng)的長網(wǎng)址,并302跳轉(zhuǎn)到對應(yīng)的頁面。
知識點:為什么要使用302跳轉(zhuǎn),而不是301跳轉(zhuǎn)呢?
301是永久重定向,302是臨時重定向。短地址一經(jīng)生成就不會變化,所以用301是符合http語義的。但是如果用了301, google,百度等搜索引擎,搜索的時候會直接展示真實地址,那我們就無法統(tǒng)計到短地址被點擊的次數(shù)了,也無法收集用戶的Cookie, User Agent 等信息,這些信息可以用來做很多有意思的大數(shù)據(jù)分析,也是短網(wǎng)址服務(wù)商的主要盈利來源。
引自知乎-武林的回答,原文鏈接
整個流程的設(shè)計如下圖所示:

可以看到,我用到了MySQL和Redis來存儲長網(wǎng)址和短碼之間的映射關(guān)系。
用MySQL想必大家都能理解,但是為什么要用 Redis 呢,直接用數(shù)據(jù)庫不就好了嗎?
這個主要是考慮到生成短鏈接,在投放之后的訪問量會比較大,使用 Redis 緩存后,能有效降低數(shù)據(jù)庫的壓力。
生成短碼的方法
通過上面的全流程設(shè)計,會發(fā)現(xiàn)主要的問題就是如何通過長網(wǎng)址,去生成對應(yīng)的短碼。
短碼一般是由 [a - z, A - Z, 0 - 9] 這62 個字母或數(shù)字組成,短碼的長度也可以自定義,但一般不超過8位。比較常用的都是6位,6位的短碼已經(jīng)能有568億種的組合:(26+26+10)^6 = 56800235584,已滿足絕大多數(shù)的使用場景。
目前比較流行的生成短碼方法有:自增id、摘要算法、普通隨機數(shù)。
- 自增id
該方法是一種無碰撞的方法,原理是,每新增一個短碼,就在上次添加的短碼id基礎(chǔ)上加1,然后將這個10進(jìn)制的id值,轉(zhuǎn)化成一個62進(jìn)制的字符串。
一般利用數(shù)據(jù)表中的自增id來完成:每次先查詢數(shù)據(jù)表中的自增id最大值max,那么需要插入的長網(wǎng)址對應(yīng)自增id值就是 max+1,將max+1轉(zhuǎn)成62進(jìn)制即可得到短碼。
但是短碼 id 是從一位長度開始遞增,短碼的長度不固定,不過可以用 id 從指定的數(shù)字開始遞增的方式來處理,確保所有的短碼長度都一致。同時,生成的短碼是有序的,可能會有安全的問題,可以將生成的短碼id,結(jié)合長網(wǎng)址等其他關(guān)鍵字,進(jìn)行md5運算生成最后的短碼。
10進(jìn)制轉(zhuǎn)成62進(jìn)制的具體實現(xiàn):
function string10to62(number) { const chars = '0123456789abcdefghigklmnopqrstuvwxyzABCDEFGHIGKLMNOPQRSTUVWXYZ'; const charsArr = chars.split(''); const radix = chars.length; let qutient = +number; let arr = []; do{ let mod = qutient % radix; qutient = (qutient - mod) / radix; arr.unshift(charsArr[mod]); }while(qutient); return arr.join(''); } 復(fù)制代碼
- 摘要算法
摘要算法又稱哈希算法,它表示輸入任意長度的數(shù)據(jù),輸出固定長度的數(shù)據(jù)。相同的輸入數(shù)據(jù)始終得到相同的輸出,不同的輸入數(shù)據(jù)盡量得到不同的輸出。
算法思路:
1、將長網(wǎng)址通過 md5 運算,生成 32 字符的 hex string,分為 4 段,每段 8 個字符;
2、對這四段循環(huán)處理,取 8 個字節(jié),將其看成 16 進(jìn)制串,并與 0x3fffffff(30位1) 與操作,即超過 30 位的忽略處理;
3、這 30 位分成 6 段,每 5 位的數(shù)字作為字母表的索引取得特定字符,依次進(jìn)行獲得 6 位字符串。
4、總的 md5 串可以獲得 4 個 6 位串,取里面的任意一個就可作為這個長網(wǎng)址的短鏈接 url 地址。
雖然幾率很小,但是該方法依然存在碰撞的可能性,解決沖突會比較麻煩。不過該方法生成的短碼位數(shù),是固定的,也不存在連續(xù)生成的短碼有序的情況。
- 普通隨機數(shù)
該方法是從62個字符串中隨機取出一個6位短碼的組合,然后去數(shù)據(jù)庫中查詢該短碼是否已存在。如果已存在,就繼續(xù)循環(huán)該方法重新獲取短碼,否則就直接返回。
該方法是最簡單的一種實現(xiàn),不過由于Math.round()方法生成的隨機數(shù)屬于偽隨機數(shù),碰撞的可能性也不小。在數(shù)據(jù)比較多的情況下,可能會循環(huán)很多次,才能生成一個不沖突的短碼。
具體實現(xiàn):
// 獲取唯一的Link async getShortLink() { const shortLink = this.generateShortLink(); // 查詢數(shù)據(jù)庫中是否存在該鏈接,如果存在,就直接返回 const searchResult = await this.searchByLinkInMySQL(shortLink); if (searchResult && searchResult.length > 0) { // 如果shortLink已經(jīng)存在,就遍歷重新生成 return this.getShortLink(); } return shortLink; } // 生成隨機的Link generateShortLink() { let str = ''; const arr = [ '0', '1', '2', '3', '4', '5', '6', '7', '8', '9', 'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z', 'A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I', 'J', 'K', 'L', 'M', 'N', 'O', 'P', 'Q', 'R', 'S', 'T', 'U', 'V', 'W', 'X', 'Y', 'Z', ]; for (let i = 0; i < 6; i++) { const pos = Math.round(Math.random() * (arr.length - 1)); str += arr[pos]; } return str; } 復(fù)制代碼
綜上,比較推薦使用第一種方法來實現(xiàn)短碼的生成