可能很多人都不知道，當(dāng)你在頭條號發(fā)布內(nèi)容的時(shí)候，你發(fā)布的內(nèi)容在通過審核和進(jìn)入推薦系統(tǒng)之間，還有一道門檻，那就是消重機(jī)制，根據(jù)數(shù)據(jù)發(fā)現(xiàn)，被消重是頭條號所發(fā)布內(nèi)容無推薦量的最常見的原因。
一、什么是消重？
我們都知道，在互聯(lián)網(wǎng)上，同樣的文章、圖片、視頻被多個(gè)媒體刊登，是很常見的情況。無論是網(wǎng)站，還是各種媒體平臺上，原創(chuàng)內(nèi)容除了原創(chuàng)來源之外，往往還會被很多其他媒體轉(zhuǎn)載或復(fù)制。
如果我們用搜索引擎搜索一篇內(nèi)容，經(jīng)常會得到多個(gè)網(wǎng)址。在過去，我們只要自己篩選和判斷，哪個(gè)網(wǎng)址更權(quán)威，更有價(jià)值，再點(diǎn)擊去訪問就可以了。但是想象一下，如果這樣的景象是出現(xiàn)在你今日頭條的信息流里——系統(tǒng)連續(xù)給你推薦了幾篇相似的內(nèi)容，會怎么樣呢？
你可能會覺得：為什么要給我推薦一樣的內(nèi)容呢？系統(tǒng)應(yīng)該選擇最好的那個(gè)來源，給我推薦一次就夠了——如果我想看，看一篇就夠了，如果我不想看，那么重復(fù)推薦也沒有意義啊？
沒錯(cuò)，所以今日頭條在推薦某篇內(nèi)容之前，必須確定這篇內(nèi)容：
在系統(tǒng)里是否存在相同或者高度相似的內(nèi)容？
如果存在，那么這篇內(nèi)容的來源是否是最權(quán)威、最有價(jià)值、最有可能是原創(chuàng)的來源呢？
消重就是指對重復(fù)、相似、相關(guān)的文章進(jìn)行分類和比對，使其不會同時(shí)或重復(fù)出現(xiàn)在用戶信息流中的過程。頭條號平臺首先會通過消重機(jī)制來決定同樣主題或內(nèi)容的文章是否有機(jī)會被推薦給更多用戶。
二、消重的種種好處
你可能會覺得，消重對原創(chuàng)發(fā)布者有利，但對于那些善于發(fā)現(xiàn)和再加工優(yōu)質(zhì)內(nèi)容的媒體不太有利，但是綜合看來，我們覺得消重的好處是很多的，尤其對于用戶來說：
優(yōu)化用戶的體驗(yàn)。對用戶來說，同樣主題的文章看一篇就夠了；
鼓勵(lì)原創(chuàng)！在文章相似的情況下，申明「原創(chuàng)」文章是后續(xù)獲得推薦的重要指標(biāo)；
給更多內(nèi)容以曝光機(jī)會。因?yàn)橛脩舻呐d趣是確定的，如果每次刷新都反復(fù)推薦類似的內(nèi)容，你發(fā)布的其他內(nèi)容不就沒有曝光機(jī)會了嗎？
當(dāng)然，總體來說，這是一個(gè)有利于原創(chuàng)者的機(jī)制，這也和頭條號平臺鼓勵(lì)原創(chuàng)內(nèi)容生產(chǎn)的目標(biāo)一致。
三、頭條號算法中的消重過程
如何判斷兩個(gè)內(nèi)容是否相同呢？如果讓人來判斷，可能就要逐字逐句地把文章讀完才能判斷得出來。通過計(jì)算機(jī)這樣去判斷當(dāng)然也是可以的，不過，當(dāng)每天需要處理的內(nèi)容達(dá)到十多萬篇次的時(shí)候，這么做即使對于計(jì)算機(jī)來也太麻煩了。
有沒有更簡單的方法呢？有的，通過系統(tǒng)的計(jì)算，一篇文章的文本、標(biāo)題、圖片等都是可以轉(zhuǎn)換成一串?dāng)?shù)字代碼，這就像我們每個(gè)人的身份證，如果兩個(gè)人的身份證號碼一模一樣，那么就可以肯定這是兩個(gè)一樣的人了，并不一定要仔細(xì)去看他們的長相。文字信息的「身份證」也能起到類似的作用，對于圖片、視頻等信息形式，原理也是類似的。
延伸閱讀：
注意：此處介紹的只是計(jì)算原理，并非實(shí)際發(fā)生的計(jì)算過程。
信息的「身份證」，一種更常見的稱呼是「信息指紋」，是計(jì)算機(jī)應(yīng)用領(lǐng)域里經(jīng)常用以判斷信息重復(fù)性的方法。「信息指紋」的計(jì)算方法有很多種，但原理是相似的：
你可能知道，不管是中文、外文還是數(shù)字，在計(jì)算機(jī)系統(tǒng)里，實(shí)際上都是以0或1的代碼形式存儲的，例如大寫字母A的ASCII編碼就是01000001，而小寫字母z的ASCII編碼是01111010（實(shí)際上也存在很多種編碼標(biāo)準(zhǔn)，ASCII是一種常見的英語編碼標(biāo)準(zhǔn)，采用8位二進(jìn)制數(shù)字編碼）。這實(shí)際上就相當(dāng)于，每個(gè)字符都有一個(gè)自己專屬的信息指紋。
簡單來說，計(jì)算會對文本中出現(xiàn)的不同字符的信息指紋，結(jié)合它們各自在內(nèi)容中出現(xiàn)的次數(shù)，反復(fù)進(jìn)行算術(shù)運(yùn)算，最終得到一篇內(nèi)容的信息指紋。理論上說，如果運(yùn)算足夠多的次數(shù)，就會產(chǎn)生足夠獨(dú)一無二的數(shù)字結(jié)果。
信息指紋的重復(fù)概率有多低呢？假設(shè)我們通過上面的計(jì)算，得到一串128位的二進(jìn)制數(shù)字，這在計(jì)算機(jī)系統(tǒng)里只需要占用很小的空間，但是根據(jù)「抽屜原理」，這樣的數(shù)字重復(fù)一千八百億次才能重復(fù)一次！這對于一般的信息消重來說，已經(jīng)非常足夠了。
總而言之，相同文章具有不同信息指紋，或者不同文章具有相同信息指紋的概率都幾乎是0，對于“消重”機(jī)制，不必?fù)?dān)心誤判，也不能心存僥幸！
原理上說，不同內(nèi)容的身份證是不一樣的，而相同內(nèi)容的身份證是一樣的。并且，相似的內(nèi)容會具有相似的身份證。這是頭條號的系統(tǒng)對內(nèi)容進(jìn)行消重的基礎(chǔ)。
每一篇文章都有屬于自己的「身份證」，用來與平臺中的其他文章進(jìn)行比對。通常有以下幾種不同的消重機(jī)制：
1. 內(nèi)容消重與「關(guān)鍵項(xiàng)」
在計(jì)算一篇內(nèi)容的「身份證」之后，基本上有兩種情況。其一，這是一個(gè)系統(tǒng)中獨(dú)一無二的身份證，換言之，同樣的內(nèi)容在系統(tǒng)里只有這樣一篇。對于內(nèi)容發(fā)布者來說，這恐怕是最理想的情況了，這種情況下，在向讀者推薦相同內(nèi)容時(shí)，系統(tǒng)除了推薦這一篇外，別無選擇。
第二種就要復(fù)雜得多了，同時(shí)也是非常常見的情況：系統(tǒng)里存在多篇不同內(nèi)容，都具有同一張身份證。這時(shí)，系統(tǒng)就需要從這些相同內(nèi)容中選擇一篇“關(guān)鍵項(xiàng)”向用戶推薦。進(jìn)行選擇的最終目的是保證向用戶推薦的內(nèi)容來自更權(quán)威、更有可能是原創(chuàng)來源的頭條號。
如何判斷哪個(gè)頭條號更權(quán)威、更有可能是原創(chuàng)呢？兩篇相同的內(nèi)容，在內(nèi)容本身之外可能存在很多的差異，這些差異就是判斷的關(guān)鍵，具體的計(jì)算標(biāo)準(zhǔn)是非常多的，其中最重要的一些包括：
來源頭條號是否開通「原創(chuàng)」標(biāo)記；
發(fā)布時(shí)間；
來源的權(quán)威性和在網(wǎng)絡(luò)上被引用的次數(shù)。
舉例來說，假如「央視新聞」通過頭條號平臺在5月19日上午發(fā)布了一篇內(nèi)容，「門頭溝新聞」的頭條號在5月20日上午轉(zhuǎn)發(fā)了同樣一篇內(nèi)容，兩者都沒有標(biāo)記原創(chuàng)，那么：
首先，根據(jù)文本分析，這兩篇內(nèi)容會被計(jì)算出一個(gè)相同的「信息指紋」；
接著，「央視新聞」是比較權(quán)威的新聞報(bào)道媒體，而且，「央視新聞」的內(nèi)容發(fā)布時(shí)間更早，因此，是權(quán)威、原創(chuàng)來源的可能性就遠(yuǎn)遠(yuǎn)大于「門頭溝新聞」；
那么，「央視新聞」所發(fā)布的同一篇內(nèi)容，就會被認(rèn)定是這兩篇內(nèi)容中的關(guān)鍵項(xiàng)，繼而向用戶推薦。
那么，假如說，同樣的內(nèi)容，5月19日先由「門頭溝新聞」的頭條號發(fā)布，5月20日再出現(xiàn)在「央視新聞」的頭條號上，系統(tǒng)會如何判定呢？這就比較復(fù)雜了，但是綜合看來，系統(tǒng)選擇最佳內(nèi)容來源的可能性非常大。
有一種例外的情況是，某篇內(nèi)容被頭條號利用「原創(chuàng)」功能，標(biāo)記了「原創(chuàng)」，那么在這種情況下，系統(tǒng)會有很大的幾率把這篇內(nèi)容選擇為「關(guān)鍵項(xiàng)」，無論其他因素的比較結(jié)果如何（盡管如此，「原創(chuàng)」頭條號應(yīng)該盡量謹(jǐn)慎地使用這個(gè)功能，一旦被舉報(bào)濫用原創(chuàng)，查實(shí)后會被永久取消申明原創(chuàng)的資格）。
一旦系統(tǒng)發(fā)現(xiàn)了可能對某篇內(nèi)容感興趣的用戶正在刷新今日頭條客戶端，那么系統(tǒng)會自動(dòng)把具有同樣「信息指紋」的內(nèi)容中，經(jīng)過挑選最優(yōu)的一篇推薦到用戶的信息流。剩下具有相同「信息指紋」的內(nèi)容，就幾乎不可能獲得推薦了。
這就是基于內(nèi)容的消重規(guī)則，這解釋了為什么許多非原創(chuàng)的內(nèi)容無法在今日頭條獲得推薦量的原因。
2.其他一些「消重」的規(guī)則
除了內(nèi)容消重的規(guī)則外，頭條號平臺上實(shí)際上還存在這一些針對內(nèi)容之外的消重規(guī)則。
標(biāo)題和預(yù)覽圖片的消重。
原理與內(nèi)容消重相似，只不過是只比較標(biāo)題以及預(yù)覽圖片的「信息指紋」。
之所以要對具有相同的標(biāo)題或者預(yù)覽圖片的內(nèi)容進(jìn)行消重（哪怕它們的內(nèi)容并不相同），這是因?yàn)椋偃缬脩魶]有點(diǎn)擊內(nèi)容詳情頁，這看上去就是系統(tǒng)把兩篇一樣的內(nèi)容重復(fù)推薦給了用戶！可想而知這樣的瀏覽體驗(yàn)是很糟糕的，況且，很少有人愿意連續(xù)點(diǎn)擊幾篇看上去一模一樣的內(nèi)容，因此這樣的推薦也很少起效果。
針對相似主題的消重。
你肯定對這樣的景象不陌生：每當(dāng)有某個(gè)社會熱點(diǎn)事件或者話題出現(xiàn)的時(shí)候，媒體、自媒體、KOL們一擁而上，競相報(bào)道事件細(xì)節(jié)或者發(fā)表觀點(diǎn)，讓你的微博、朋友圈被有關(guān)這件事的種種內(nèi)容“刷屏”。
追逐熱點(diǎn)，是媒體、自媒體很本能的一種行為模式，但是對于用戶來說，需要的其實(shí)并不是反復(fù)看到相同的信息，如果有足夠優(yōu)質(zhì)的報(bào)道或者觀點(diǎn)的話，其實(shí)看有限的幾條就夠了。
機(jī)器為避免在同一時(shí)間段用戶看到太多同一事件的文章，就會啟動(dòng)對「相似主題」的消重。
不難想到，對于主題的消重原理和對內(nèi)容的消重其實(shí)原理是一樣的，如果能對文章中全部的關(guān)鍵詞進(jìn)行統(tǒng)計(jì)并計(jì)算信息指紋，當(dāng)然也可以對其中部分與話題相關(guān)的關(guān)鍵詞進(jìn)行統(tǒng)計(jì)并計(jì)算信息指紋。
在所有消重規(guī)則中，對內(nèi)容的消重是最嚴(yán)格的，其他類型的消重則更加靈活一些，因?yàn)樵谛畔⒘骼锟吹街貜?fù)的內(nèi)容對用戶是最不好的體驗(yàn)。
四、應(yīng)如何避免被消重？
不管是自己原創(chuàng)，還是轉(zhuǎn)載了網(wǎng)絡(luò)上的優(yōu)質(zhì)內(nèi)容，如果出現(xiàn)了被系統(tǒng)消重而無法獲得推薦的情況，總是讓人感到遺憾的。那么要如何才能避免這樣的情況呢？
堅(jiān)持原創(chuàng)！
如果內(nèi)容完全是你原創(chuàng)的，那么，可以想見這樣的內(nèi)容基本上都是獨(dú)一無二的，自然就不用擔(dān)心消重的問題了。
當(dāng)然這是最理想的情況，不可諱言，對于「原創(chuàng)」這件事，有時(shí)計(jì)算機(jī)的判斷和人的判斷是不一致的。原因是，計(jì)算機(jī)只能觀察到互聯(lián)網(wǎng)上發(fā)生的事，卻對沒有在網(wǎng)絡(luò)上留下痕跡的事情一無所知！
一種比較常見的情況是，原創(chuàng)作者把自己的原創(chuàng)內(nèi)容授權(quán)給了多家媒體，甚至有些媒體有首發(fā)權(quán)。而這些媒體可能都有自己的頭條號，因此就把作者的原創(chuàng)內(nèi)容先發(fā)到頭條號上來了。
因此，當(dāng)作者自己在頭條號上更新時(shí)，也許因?yàn)榘l(fā)得比較晚，也許因?yàn)椴蝗缑襟w有知名度，導(dǎo)致自己發(fā)布的內(nèi)容沒能成為「關(guān)鍵項(xiàng)」。因此，建議原創(chuàng)作者在給予其他媒體內(nèi)容授權(quán)時(shí)，盡可能約定清晰。同時(shí)，如果可能的話，盡量把自己原創(chuàng)的內(nèi)容，在自己的頭條號上首發(fā)。
有些作者傾向于使用維新同步功能將自己的內(nèi)容從維新工種號上同步到頭條號上。但是有時(shí)這個(gè)策略會導(dǎo)致一些意料之外的「消重」問題。因?yàn)檫@個(gè)功能需要調(diào)用維新工種平臺的一些技術(shù)接口，因此頭條號是無法保證它始終良好運(yùn)行的。如果同步生效的時(shí)間比較晚，甚至同步失敗。那么在這個(gè)過程中很容易發(fā)生其他頭條號把原創(chuàng)內(nèi)容先轉(zhuǎn)載到自己的頭條號上，并且成為「關(guān)鍵項(xiàng)」的情況。因此建議頭條號運(yùn)營者一定要謹(jǐn)慎使用維新同步功能，盡可能在頭條號手動(dòng)發(fā)布、首先發(fā)布。
面對「熱點(diǎn)」要謹(jǐn)慎追逐。
別忘了「話題消重」這個(gè)規(guī)則，盡管這不如「內(nèi)容消重」那么嚴(yán)格，但是一件事再熱，讀者的興趣也是有限的。因此，如果不能確定自己創(chuàng)作的角度足夠獨(dú)特，自己的內(nèi)容足夠優(yōu)質(zhì)，那么就不要隨意地追逐熱點(diǎn)，免得做了無用功。
少用常見標(biāo)題套路
最后，起標(biāo)題時(shí)，盡量挖掘自己的創(chuàng)意，起出一些別出心裁又有吸引力的標(biāo)題，盡量少用網(wǎng)絡(luò)上常見的標(biāo)題套路，以免「撞款」了！要記得，標(biāo)題也是會被消重的。
關(guān)于自媒體的分享暫且到這里，希望我洋人摸索出來的這些小東西對大家有所幫助。還有，我相信這些知識拿到其他自媒體平臺上也是有用的。
