近日，中國知名內(nèi)容社交平臺整合營銷企業(yè)仟傳網(wǎng)絡(luò)與火山引擎ByteHouse達(dá)成合作。仟傳網(wǎng)絡(luò)將通過火山引擎ByteHouse升級底層數(shù)據(jù)引擎的實(shí)時查詢、分析能力，在降低資源成本的情況下，實(shí)現(xiàn)高吞吐、低延時、高穩(wěn)定性，為品牌方提供全方位的輿情監(jiān)測服務(wù)。
仟傳網(wǎng)絡(luò)是一家AI驅(qū)動的社媒大數(shù)據(jù)解決方案提供商，旨在運(yùn)用獨(dú)有大數(shù)據(jù)及自主研發(fā)系統(tǒng)賦能，為企業(yè)級客戶提供更有價值的KOL及公/私域流量經(jīng)營解決方案，并提供社媒聆聽、行業(yè)洞察、SCRM系統(tǒng)管理等綜合的數(shù)字營銷及管理服務(wù)，為廣告主構(gòu)建涵蓋傳播、投放、監(jiān)測、評估等全方位內(nèi)容立體生態(tài)，創(chuàng)造更有價值的營銷服務(wù)。
在數(shù)字化快速鋪開的今天，輿情監(jiān)測已經(jīng)成為每個組織和品牌的必備工具。有效的輿情監(jiān)測能夠幫助品牌在信息瞬息萬變的時代迅速應(yīng)對潛在負(fù)面消息，降低聲譽(yù)受損的風(fēng)險，還能讓企業(yè)根據(jù)輿情數(shù)據(jù)調(diào)整營銷策略，提升消費(fèi)滿意度，搶占行業(yè)先機(jī)。仟傳網(wǎng)絡(luò)旗下的移動聯(lián)網(wǎng)廣告監(jiān)測平臺、社交媒體數(shù)據(jù)分析平臺、曉影短視頻輿情監(jiān)測平臺等產(chǎn)品則通過快捷、全面、準(zhǔn)確等優(yōu)勢為品牌方提供前沿、專業(yè)、科學(xué)的策略及項(xiàng)目服務(wù)支持。
輿情監(jiān)控對數(shù)據(jù)實(shí)時性要求高，在現(xiàn)有技術(shù)方案中，仟傳網(wǎng)絡(luò)通過自建Elasticsearch來提供輿情相似度檢索能力，但從性能、成本角度來看，還無法完全滿足仟傳網(wǎng)絡(luò)的需求。在性能上，業(yè)務(wù)上要求系統(tǒng)支持?jǐn)?shù)萬QPS的實(shí)時檢索，采用ElasticSearch方案難以達(dá)到如此高的并發(fā)指標(biāo)。在成本上，使用ElasticSearch方案伴隨著高機(jī)器資源成本，隨著數(shù)據(jù)量不斷增大，機(jī)器資源成本將愈加不可控;此外，數(shù)據(jù)寫入和查詢流程較為復(fù)雜，導(dǎo)致應(yīng)用開發(fā)成本高。
在此背景下，仟傳網(wǎng)絡(luò)進(jìn)一步尋求降本增效的解決方案，并將目光投向火山引擎ByteHouse。作為一款云原生數(shù)據(jù)倉庫，火山引擎ByteHouse提供極速數(shù)據(jù)分析服務(wù)，能支撐實(shí)時數(shù)據(jù)分析和海量數(shù)據(jù)離線分析，對內(nèi)經(jīng)過字節(jié)跳動大量業(yè)務(wù)檢驗(yàn)，并在外部互聯(lián)網(wǎng)、游戲、金融、汽車等領(lǐng)域產(chǎn)生實(shí)效。
從Elasticsearch順滑遷移到ByteHouse，雙方面臨的核心難題在于，仟傳網(wǎng)絡(luò)輿情數(shù)據(jù)高達(dá)幾十億，QPS峰值達(dá)到數(shù)萬。ByteHouse不僅要具備處理復(fù)雜OLAP分析場景的能力，還要支持仟傳網(wǎng)絡(luò)超高QPS在線點(diǎn)查服務(wù)，并做到高吞吐、低延時、高穩(wěn)定。
為了解決更好解決仟傳網(wǎng)絡(luò)高并發(fā)點(diǎn)查的問題，ByteHouse采用多副本機(jī)制，將全量數(shù)據(jù)寫入主節(jié)點(diǎn)，實(shí)時自動同步至多個副本，并通過網(wǎng)關(guān)查詢實(shí)現(xiàn)自動負(fù)載均衡、一寫多讀，從而線性提高并發(fā)能力。
ByteHouse高并發(fā)點(diǎn)查技術(shù)方案
除此之外，ByteHouse還支持通過SQL寫入、查詢完成業(yè)務(wù)邏輯，進(jìn)一步簡化數(shù)據(jù)處理流程，提升開發(fā)效率。在資源效率上，ByteHouse采用靈活的資源模型，可支持任意節(jié)點(diǎn)數(shù)量和副本數(shù)量變配。用戶最開始只需購買最小資源，后續(xù)可隨業(yè)務(wù)增長即時擴(kuò)容，讓成本更加可控。
仟傳網(wǎng)絡(luò)大數(shù)據(jù)負(fù)責(zé)人唐根平介紹道：“ByteHouse在幾十億數(shù)據(jù)下查詢和寫入都非常穩(wěn)定，不僅幫我們實(shí)現(xiàn)了性能提升，還進(jìn)一步降低了成本，目前總資源成本整體節(jié)省了60%?！?/p>
當(dāng)前視頻、圖片等成為互聯(lián)網(wǎng)上的主流內(nèi)容載體，仟傳的曉影短視頻輿情監(jiān)測產(chǎn)品基于短視頻平臺方數(shù)據(jù)授權(quán)，結(jié)合大語言模型(LLM)、自然語言分析(NLP)等AI能力加持，可幫助政企迅速、全面、準(zhǔn)確把握短視頻輿情動態(tài)，ByteHouse即將發(fā)布的向量檢索和全文檢索功能，也將進(jìn)一步增強(qiáng)曉影在短視頻輿情監(jiān)測業(yè)務(wù)上的能力。(作者：段藝歆)
