近日，中國(guó)知名內(nèi)容社交平臺(tái)整合營(yíng)銷企業(yè)仟傳網(wǎng)絡(luò)與火山引擎ByteHouse達(dá)成合作。仟傳網(wǎng)絡(luò)將通過(guò)火山引擎ByteHouse升級(jí)底層數(shù)據(jù)引擎的實(shí)時(shí)查詢、分析能力，在降低資源成本的情況下，實(shí)現(xiàn)高吞吐、低延時(shí)、高穩(wěn)定性，為品牌方提供全方位的輿情監(jiān)測(cè)服務(wù)。
仟傳網(wǎng)絡(luò)是一家AI驅(qū)動(dòng)的社媒大數(shù)據(jù)解決方案提供商，旨在運(yùn)用獨(dú)有大數(shù)據(jù)及自主研發(fā)系統(tǒng)賦能，為企業(yè)級(jí)客戶提供更有價(jià)值的KOL及公/私域流量經(jīng)營(yíng)解決方案，并提供社媒聆聽(tīng)、行業(yè)洞察、SCRM系統(tǒng)管理等綜合的數(shù)字營(yíng)銷及管理服務(wù)，為廣告主構(gòu)建涵蓋傳播、投放、監(jiān)測(cè)、評(píng)估等全方位內(nèi)容立體生態(tài)，創(chuàng)造更有價(jià)值的營(yíng)銷服務(wù)。
在數(shù)字化快速鋪開(kāi)的今天，輿情監(jiān)測(cè)已經(jīng)成為每個(gè)組織和品牌的必備工具。有效的輿情監(jiān)測(cè)能夠幫助品牌在信息瞬息萬(wàn)變的時(shí)代迅速應(yīng)對(duì)潛在負(fù)面消息，降低聲譽(yù)受損的風(fēng)險(xiǎn)，還能讓企業(yè)根據(jù)輿情數(shù)據(jù)調(diào)整營(yíng)銷策略，提升消費(fèi)滿意度，搶占行業(yè)先機(jī)。仟傳網(wǎng)絡(luò)旗下的移動(dòng)聯(lián)網(wǎng)廣告監(jiān)測(cè)平臺(tái)、社交媒體數(shù)據(jù)分析平臺(tái)、曉影短視頻輿情監(jiān)測(cè)平臺(tái)等產(chǎn)品則通過(guò)快捷、全面、準(zhǔn)確等優(yōu)勢(shì)為品牌方提供前沿、專業(yè)、科學(xué)的策略及項(xiàng)目服務(wù)支持。
輿情監(jiān)控對(duì)數(shù)據(jù)實(shí)時(shí)性要求高，在現(xiàn)有技術(shù)方案中，仟傳網(wǎng)絡(luò)通過(guò)自建Elasticsearch來(lái)提供輿情相似度檢索能力，但從性能、成本角度來(lái)看，還無(wú)法完全滿足仟傳網(wǎng)絡(luò)的需求。在性能上，業(yè)務(wù)上要求系統(tǒng)支持?jǐn)?shù)萬(wàn)QPS的實(shí)時(shí)檢索，采用ElasticSearch方案難以達(dá)到如此高的并發(fā)指標(biāo)。在成本上，使用ElasticSearch方案伴隨著高機(jī)器資源成本，隨著數(shù)據(jù)量不斷增大，機(jī)器資源成本將愈加不可控;此外，數(shù)據(jù)寫(xiě)入和查詢流程較為復(fù)雜，導(dǎo)致應(yīng)用開(kāi)發(fā)成本高。
在此背景下，仟傳網(wǎng)絡(luò)進(jìn)一步尋求降本增效的解決方案，并將目光投向火山引擎ByteHouse。作為一款云原生數(shù)據(jù)倉(cāng)庫(kù)，火山引擎ByteHouse提供極速數(shù)據(jù)分析服務(wù)，能支撐實(shí)時(shí)數(shù)據(jù)分析和海量數(shù)據(jù)離線分析，對(duì)內(nèi)經(jīng)過(guò)字節(jié)跳動(dòng)大量業(yè)務(wù)檢驗(yàn)，并在外部互聯(lián)網(wǎng)、游戲、金融、汽車等領(lǐng)域產(chǎn)生實(shí)效。
從Elasticsearch順滑遷移到ByteHouse，雙方面臨的核心難題在于，仟傳網(wǎng)絡(luò)輿情數(shù)據(jù)高達(dá)幾十億，QPS峰值達(dá)到數(shù)萬(wàn)。ByteHouse不僅要具備處理復(fù)雜OLAP分析場(chǎng)景的能力，還要支持仟傳網(wǎng)絡(luò)超高QPS在線點(diǎn)查服務(wù)，并做到高吞吐、低延時(shí)、高穩(wěn)定。
為了解決更好解決仟傳網(wǎng)絡(luò)高并發(fā)點(diǎn)查的問(wèn)題，ByteHouse采用多副本機(jī)制，將全量數(shù)據(jù)寫(xiě)入主節(jié)點(diǎn)，實(shí)時(shí)自動(dòng)同步至多個(gè)副本，并通過(guò)網(wǎng)關(guān)查詢實(shí)現(xiàn)自動(dòng)負(fù)載均衡、一寫(xiě)多讀，從而線性提高并發(fā)能力。
ByteHouse高并發(fā)點(diǎn)查技術(shù)方案
除此之外，ByteHouse還支持通過(guò)SQL寫(xiě)入、查詢完成業(yè)務(wù)邏輯，進(jìn)一步簡(jiǎn)化數(shù)據(jù)處理流程，提升開(kāi)發(fā)效率。在資源效率上，ByteHouse采用靈活的資源模型，可支持任意節(jié)點(diǎn)數(shù)量和副本數(shù)量變配。用戶最開(kāi)始只需購(gòu)買最小資源，后續(xù)可隨業(yè)務(wù)增長(zhǎng)即時(shí)擴(kuò)容，讓成本更加可控。
仟傳網(wǎng)絡(luò)大數(shù)據(jù)負(fù)責(zé)人唐根平介紹道：“ByteHouse在幾十億數(shù)據(jù)下查詢和寫(xiě)入都非常穩(wěn)定，不僅幫我們實(shí)現(xiàn)了性能提升，還進(jìn)一步降低了成本，目前總資源成本整體節(jié)省了60%?！?/p>
當(dāng)前視頻、圖片等成為互聯(lián)網(wǎng)上的主流內(nèi)容載體，仟傳的曉影短視頻輿情監(jiān)測(cè)產(chǎn)品基于短視頻平臺(tái)方數(shù)據(jù)授權(quán)，結(jié)合大語(yǔ)言模型(LLM)、自然語(yǔ)言分析(NLP)等AI能力加持，可幫助政企迅速、全面、準(zhǔn)確把握短視頻輿情動(dòng)態(tài)，ByteHouse即將發(fā)布的向量檢索和全文檢索功能，也將進(jìn)一步增強(qiáng)曉影在短視頻輿情監(jiān)測(cè)業(yè)務(wù)上的能力。(作者：段藝歆)
