火山引擎ByteHouse上線ELT能力，進一步降低企業(yè)數(shù)字化維護成本
(資料圖片僅供參考)
在數(shù)據(jù)分析場景中，企業(yè)使用的數(shù)據(jù)通常具備來源多樣化的特點，如支付交易記錄、用戶行為等，且數(shù)據(jù)格式各異，有的為行式存儲結(jié)構(gòu)，有的為列式存儲結(jié)構(gòu)。這就要求企業(yè)數(shù)倉具備一定的數(shù)據(jù)轉(zhuǎn)換能力。
傳統(tǒng)方式是采用Extract-Transform-Load (ETL)來將業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)換為適合數(shù)倉的數(shù)據(jù)模型，然而，這依賴于獨立于數(shù)倉外的ETL系統(tǒng)，導(dǎo)致維護成本較高。但隨著云計算時代的到來，云數(shù)據(jù)倉庫具備更強擴展性和計算能力，也要求改變傳統(tǒng)的ELT流程。
火山引擎ByteHouse是一款基于開源ClickHouse推出的云原生數(shù)據(jù)倉庫，為用戶提供極速分析體驗，能夠支撐實時數(shù)據(jù)分析和海量數(shù)據(jù)離線分析，同時還具備便捷的彈性擴縮容能力，極致分析性能和豐富的企業(yè)級特性。憑借其強大的計算能力，火山引擎ByteHouse目前已全面支持Extract-Load-Transform (ELT)的能力，讓用戶免于維護多套異構(gòu)系統(tǒng)，產(chǎn)品易用性實現(xiàn)飛躍。
通過ByteHouse的ELT能力，用戶只需將數(shù)據(jù)導(dǎo)入，用自定義SQL語句在ByteHouse內(nèi)部進行數(shù)據(jù)轉(zhuǎn)換，無需依賴獨立的ETL系統(tǒng)及資源。具體來說，ByteHouse主要通過以下三個能力實現(xiàn)ELT能力：
首先，長任務(wù)管理。ByteHouse的查詢時間為秒級，一旦查詢中出故障，系統(tǒng)會直接返回錯誤并重試。在ETL場景下，如果一個任務(wù)已經(jīng)執(zhí)行50分鐘才發(fā)生故障，重試意味著浪費了前50分鐘的資源，影響任務(wù)推進。在ByteHouse中，SQL查詢會被轉(zhuǎn)化為一系列的算子，研發(fā)團隊則通過提升算子的容錯能力，來應(yīng)對長時間查詢下的系統(tǒng)故障問題，即當(dāng)某個算子無法獲得足夠的內(nèi)存時，系統(tǒng)允許該算子將一部分?jǐn)?shù)據(jù)緩存在磁盤上，保證在資源緊張的情況下仍能夠完成工作。
其次，異步提交能力。面對大量長耗時的ETL任務(wù)時，傳統(tǒng)的同步執(zhí)行方式需要客戶端等待服務(wù)端返回，容易出現(xiàn)超時問題，影響后續(xù)任務(wù)執(zhí)行，而ByteHouse提供的異步提交能力，通過客戶端的間歇性輪訓(xùn)來獲得用戶任務(wù)的最終狀態(tài)，由此保障任務(wù)在規(guī)定時間內(nèi)完成。
最后，查詢隊列。當(dāng)面臨大量離線加工請求時，系統(tǒng)會出現(xiàn)超載。ByteHouse為此提供了查詢隊列能力，允許用戶從隊列大小、總CPU占用率、總內(nèi)存占用率三個維度定義一個隊列。
具體來說，當(dāng)用戶向某隊列提交查詢時，ByteHouse可以通過組件監(jiān)聽各個隊列中的查詢指標(biāo)，如果隊列未達到上限，則會將查詢?nèi)腙牐駝t拒絕。除此之外，ByteHouse還會檢查隊列的資源利用率，當(dāng)空閑資源高過某閾值時，自動將等待中的查詢出隊。利用查詢隊列，用戶在編排ETL任務(wù)時無需擔(dān)心底層資源過載，讓開發(fā)更加便捷。
長任務(wù)管理、異步提交和查詢隊列是火山引擎ByteHouse ELT的核心能力。未來，ByteHouse也會進一步迭代，支持轉(zhuǎn)換函數(shù)、長任務(wù)容錯、優(yōu)先級隊列等更豐富ELT功能，為用戶提供更極致、更便捷的使用體驗。（作者：何雅逸）
標(biāo)簽：
相關(guān)閱讀
-
火山引擎ByteHouse上線ELT能力，進一步降低企業(yè)數(shù)字化維護成本
在數(shù)據(jù)分析場景中，企業(yè)使用的數(shù)據(jù)通常具備來源多樣化的特點，如支付交
2023-09-08 -
-
-
-
-
《重生邊緣》全球同步上線，英特爾銳炫顯卡+XeSS助力玩家開啟酣戰(zhàn)之旅
中關(guān)村在線消息，9月8日，備受矚目的國產(chǎn)射擊游戲《重生邊緣》（SYNCED
2023-09-08 -
-
-
火山引擎ByteHouse上線ELT能力，進一步降低企業(yè)數(shù)字化維護成本
在數(shù)據(jù)分析場景中，企業(yè)使用的數(shù)據(jù)通常具備來源多樣化的特點，如支付交
2023-09-08 -
-
-
-
-
-
-
埃斯頓：公司與比亞迪、吉利、長城等國內(nèi)新能源頭部企業(yè)都保持業(yè)務(wù)合作
埃斯頓近期在接受調(diào)研時表示，公司在新能源汽車、光伏、鋰電儲能、焊接
2023-09-08 -
-
-
-
-
-
-
《重生邊緣》全球同步上線，英特爾銳炫顯卡+XeSS助力玩家開啟酣戰(zhàn)之旅
中關(guān)村在線消息，9月8日，備受矚目的國產(chǎn)射擊游戲《重生邊緣》（SYNCED
2023-09-08 -
-
-
-
-
-
將“以病人為中心”的理念貫穿于醫(yī)療服務(wù)各環(huán)節(jié) 讓就醫(yī)更便捷更舒適（健康焦點）
《 人民日報 》（ 2023年09月08日 第 19 版）2023年5月，國家
2023-09-08 -
-
-
-
-
華為Mate 60 Pro+上架預(yù)售：支持天通衛(wèi)星通話、雙向北斗衛(wèi)星消息
近日，華為Mate60Pro+在未公布售價的情況下，通過訂金預(yù)售的方式上市。
2023-09-08 -
-
永川區(qū)發(fā)布關(guān)于重慶佰盈祥電子商務(wù)有限責(zé)任公司涉嫌非法集資的風(fēng)險提示
據(jù)重慶市永川區(qū)打擊非法金融活動領(lǐng)導(dǎo)小組辦公室發(fā)布“關(guān)于重慶佰盈祥電
2023-09-08 -
-
-
-
-
-
-
-
-
-
任天堂Switch2新爆料：內(nèi)存為12GB 或有防漂移技術(shù)
任天堂Switch2新爆料：內(nèi)存為12GB或有防漂移技術(shù),內(nèi)存,漂移,gb,控制器,
2023-09-08 -
-
-
-
-
同濟大學(xué)長三角可持續(xù)發(fā)展研究院柳劍雄：聯(lián)合長三角優(yōu)質(zhì)科創(chuàng)資源，共同服務(wù)高質(zhì)量一體化建設(shè)
9月7日，全球環(huán)境科學(xué)家大會暨第七次全球環(huán)境展望第二次作者研討會主論
2023-09-08 -
-
-
-
-
精彩推薦
閱讀排行
相關(guān)詞
- 沃爾沃XC90
- 推進以黨建引領(lǐng)基層治理（新論）
- 從鄉(xiāng)村籃球賽看浙江鄉(xiāng)村體育蓬勃發(fā)展勢頭
- 相約北京聚焦文化論壇｜“一站式”藝術(shù)之旅
- 湖南省民科會知識產(chǎn)權(quán)委赴山河智能考察
- 【四季看新疆之沿著河湖看新疆】又到豐收季 “梨城”果飄香
- 夜間體育消費持續(xù)升溫 “一站式”滿足多元需求
- 汽車注塑模具供應(yīng)商競爭格局 2023汽車模具制造未來前景
- 玩家喜悅 游戲平臺為《星空》加入訂閱服務(wù)
- 《星空》玩家意外發(fā)現(xiàn)空間站部件
- 蘋果已經(jīng)成立AI團隊 意圖開發(fā)出Siri新功能
- 香港交易所宣布今日暫停交易
- 瑞幸咖啡：長期售賣醬香拿鐵 茅臺補貨了
- 804.6萬贊的《逃出大英博物館》能把“短劇”帶上牌桌嗎？
- 主機性能炸裂！FS社新游戲《裝甲核心6》存在性能問題
- 四家銀行發(fā)布公告
- 陶德·霍華德：《星空》讓玩家玩上很長一段時間
- 押注“恐慌指數(shù)”飆升1100%！為何有交易員如此瘋狂？
- 9月8日沙鋼永興管坯出廠價格持平
- 華甬新材擬闖關(guān)北交所，輔導(dǎo)券商為華安證券
- 《封神三部曲》導(dǎo)演分享拍攝心得：制作精細度國內(nèi)都驚嘆
- 碰撞測試黑歷史：多款日系車表現(xiàn)差，A柱彎折不止帕薩特
- 東湖評論：外賣行業(yè)要“速度”也要有“溫度”
- 【楚天評】東湖評論：跑好支教“接力賽”，育人薪火代代傳
- 八連板當(dāng)天違規(guī)減持遭立案調(diào)查 我樂家居股東道歉承諾“購回”
- 東湖評論：打破“內(nèi)耗”魔咒，做情緒的主人
- 東湖評論：讓“瘦身”引領(lǐng)月餅包裝新風(fēng)潮
- 【地評線】東湖評論：銀發(fā)經(jīng)濟 “適老”更要“護老”
- 中巨芯正式登陸科創(chuàng)板，上市首日一度漲超200%
- 八連板當(dāng)天違規(guī)減持遭立案調(diào)查 我樂家居股東道歉承諾“購回”
- 兆新股份：9月7日融券凈賣出2.55萬股，連續(xù)3日累計凈賣出102.78萬股
- “進口雞蛋風(fēng)波”黑幕重重 再曝民進黨當(dāng)局執(zhí)政之亂
- 用人偽裝AI？熱門AI初創(chuàng)公司Kaedim虛假宣傳其3D模型生成技術(shù)
- iPhone 15新C口將引大量安卓用戶回歸
- 新一周2只新股上市（9月11日~9月15日）
- 華為Mate 60系列或 again 出現(xiàn)供不應(yīng)求
- 廈門銀行：上半年歸母凈利潤14.28億元同比增長15.92%，資產(chǎn)質(zhì)量穩(wěn)步提升
- 小米13T系列獲4年Android大版本更新 搭載天璣9200+徠卡影像
- 海南橡膠獲國內(nèi)首個FSC認(rèn)證 認(rèn)證木材可出口歐美國家
- 三項隊內(nèi)最高，羅梅羅本場7次搶斷&11次成功對抗&12次贏回球權(quán)
- 微軟承諾設(shè)立“護欄”，確保AI產(chǎn)品不會侵犯版權(quán)
- AR界的“中國第一”走進IFA2023，雷鳥創(chuàng)新用什么驚艷世界？
- 民間借貸起訴需繳納怎樣的費用
- 2023年9月18日新股申購：科創(chuàng)板愛科賽博
- 旋極信息(300324.SZ)：子公司旋極星源生產(chǎn)衛(wèi)星導(dǎo)航類芯片不適用于華為衛(wèi)星手機
- “玩”在服貿(mào)會：看傳統(tǒng)文化“擁抱”現(xiàn)代生活
- 東湖評論：“City Walk”點燃文化的交流探索
- 日產(chǎn)中國8月銷量同比下降34%
- 娘子有雙陰陽眼好看嗎 娘子有雙陰陽眼
- 暴雨預(yù)警！廣州4區(qū)停課、6區(qū)延遲上學(xué)
- 壹健康三闖資本市場 產(chǎn)品口碑堪憂 33.6億營銷費吞噬凈利
- 專精特新企業(yè)正“瞄準(zhǔn)”未來——2023年服貿(mào)會觀察
- 芯原股份：9月7日融資買入1380.08萬元，融資融券余額7.78億元
- 南京取消限購：首套房首付降至兩成，鼓勵“賣舊換新”
- 江西宜春可提供奧圖碼投影機維修服務(wù)地址在哪
- “低價新股”中巨芯科創(chuàng)板上市開盤漲191%，總市值222億元
- 嘉興：對用人單位引進的各類人才給予購房補貼 最高45萬元/人
- 新老汽車品牌正在大浪淘沙，高管人事調(diào)整不可避免
- 特斯拉墨西哥工廠或延期投產(chǎn) 投資巨大
- 分析師：iPhone 15 Pro Max售價上漲150美元
- 網(wǎng)易《逆水寒》適配華為Mate 60和Mate 60 Pro
- 比亞迪元PLUS推出冠軍版：售價更優(yōu)惠
- 99元！華為Mate 60官方磁吸保護殼上架
- 專訪：美國軍事霸權(quán)阻礙世界和平與發(fā)展，拉美深受其害——訪阿根廷國立拉普拉塔大學(xué)教授梅里諾
- 打卡杭州地鐵“亞運號”專列
- 美國防部前官員：向烏克蘭提供貧鈾彈是白宮絕望之際的錯誤決定
- 杭州亞運會丨城市漫步，打卡“潮涌”——杭州亞運會會徽解讀之三
- 跨省追逃“危險駕駛?cè)恕?高速酒駕謊稱吃了“醉蟹”……重慶高速公路 曝光多個特殊案例
- 非法改裝偷拍設(shè)備最常用到手機記者“臥底”調(diào)查偷拍設(shè)備售賣改裝產(chǎn)業(yè)鏈
- 暑期檔電影創(chuàng)新高 新導(dǎo)演成中堅力量
- 美國向烏提供貧鈾武器遭多方反對：“犯罪行徑”！丨世界觀
- 詹姆斯為何加盟湖人？富保羅透露內(nèi)幕，只因在東部沒有對手太寂寞
- 西峽縣五里橋鎮(zhèn)：履行監(jiān)督督查職責(zé) 鞏固文明城市創(chuàng)建成果
- 豐田gt86報價
- 相約北京聚焦文化論壇｜王寧：希望讓全世界感受到中國文化的力量
- 守護師生“舌尖上的安全” 西安經(jīng)開區(qū)開展校園食品安全專項檢查
- 利空突襲！深夜，美股科技股又大跌！白宮周圍一度關(guān)閉，啥情況？
- 我市開展重大事故隱患專項排查整治互查行動
- 廣汽本田汽車召回2020（最近廣汽本田要召回一批車是什么原因）
- 意爾科技綠色涂料及樹脂項目全力建設(shè)
- 聚焦“第一資源” 擦亮教育品牌
- 粵港澳大灣區(qū)機器人產(chǎn)業(yè)聯(lián)盟考察團來銅
- 小綠洲下月起關(guān)停！2.6億月活用戶撐不起小紅書的電商夢？
- 新華全媒+ | 黃河之聲
- 各地加強田間管理 秋糧長勢總體正常
- 聯(lián)合國教科文組織發(fā)布《教育研究中使用生成式AI指南》
- 帶超級防抖2.0 國產(chǎn)全景運動相機正式發(fā)布
- 哈曼卡頓新款便攜藍牙音箱GO+PLAY 3上架京東：2799元
- 聊天機器人ChatGPT能力波動：質(zhì)數(shù)識別準(zhǔn)確率下降
- 游戲界 speedplayer 刷新《星空》通關(guān)新紀(jì)錄
- 短焦高亮 使用方便 明基JD530投影太適合升級了！
- 開學(xué)啦該換機了！影馳各硬件升級配置推薦 助力新學(xué)期
- 廣西梧州：稅惠送暖 激發(fā)民營經(jīng)濟活力
- 2023“最美醫(yī)生”邵志敏：為乳腺癌患者生命健康護航
- 總臺記者探訪丨雅萬高鐵沿線車站設(shè)計突出印尼元素
- 讀懂杭州亞運會火炬“薪火”背后的中國式浪漫
- 成立10周年極米億元補貼推投影普惠
- “改善護理服務(wù)行動計劃”發(fā)布 責(zé)任護士平均負(fù)責(zé)患者不多于8人
- 我國海上發(fā)射迎來六戰(zhàn)六捷 海上測試發(fā)射團隊能力不斷提升
- 由“跟跑”“并跑”向“領(lǐng)跑”跨越 我國綠色能源產(chǎn)業(yè)快速發(fā)展
- 中國經(jīng)濟信心說丨中國“智造”的創(chuàng)新動能來自何處？
- 上百所大學(xué)開展臨時困難補助行動 保障經(jīng)濟困難學(xué)生入學(xué)
- 海報丨智慧未來照進現(xiàn)實！9大關(guān)鍵詞“透視”2023智博會
- 安徽“最美教師”董艷：“一半是詩人，一半是匠人”
- 村里采摘忙 村外交易旺 陜西洛川早熟蘋果迎豐收
- 新時代 我在中國|尋匠心之美 品煙火“淄”味
- 發(fā)放給經(jīng)濟困難高校新生的“愛心禮包”，實惠、暖心！
- 美媒喊話政府加強槍支監(jiān)管：盡快結(jié)束槍支暴力 讓民眾有更多安全感
- 百望云亮相服貿(mào)會重磅發(fā)布業(yè)財稅融Copilot
- 立減百元！雙扇顯卡iGame RTX 4070 Ultra限時優(yōu)惠活動開啟
- 主動撤回上市申請，津同仁堂IPO終止
- 東湖評論：享受快樂跳水，莫忘安全第一
- 【地評線】東湖評論：年輕干部練好群眾工作“看家本領(lǐng)”不負(fù)時代使命
- 深耕基層攻關(guān)農(nóng)村高血壓防治 科研成果兩次獲《柳葉刀》發(fā)表
- 天天收評：兩市超4500只個股飄綠 半導(dǎo)體板塊跌幅居前
- 騰訊云MaaS再升級：混元筑底、生態(tài)擴容，持續(xù)推進“效能革命”
- 遠大健科：引領(lǐng)健康快樂生活理念，塑造中國凈水行業(yè)典范
- 【楚天評】東湖評論：文旅市場消費火熱，升騰湖北經(jīng)濟發(fā)展新氣象
- 紅旗HS7首推旗享版，顏值在線兩驅(qū)省油，還有6/7座可選
- 融券T+0影響市場？專業(yè)人士解讀 A股融券規(guī)模尚小 對市場影響有限
- 小米汽車最快年內(nèi)量產(chǎn)
- 利好政策推動行業(yè)轉(zhuǎn)向買方市場 業(yè)界：二手車購買方式或?qū)⒅貥?gòu)
- 瀟湘平：守好園區(qū)“主戰(zhàn)場” 打好高質(zhì)量發(fā)展“主動仗”
- 【夏季行動】永州公安連破兩起冒充“領(lǐng)導(dǎo)”詐騙案件
- 230名新聞記者齊聚郴州 共同推介文旅資源
- 中南建設(shè)前8月合同銷售297.4億元同比減少30.8% 單月銷售25.6億元
- 省委政法委來銅調(diào)研平安建設(shè)工作
- 一項目獲評第十二屆“中華慈善獎”
- 走，去永州——永州經(jīng)開區(qū)篇｜創(chuàng)新潮涌逐浪高 百業(yè)競興耀瀟湘
- 非遺賦能鄉(xiāng)村振興丨千年瑤寨旅游旺
- 2023年市“質(zhì)量月”活動啟動
- 市大健康和文旅產(chǎn)業(yè)（數(shù)字創(chuàng)意產(chǎn)業(yè)）鏈領(lǐng)導(dǎo)小組會議召開
- “警”力而為 護企發(fā)展
- 微軟iOS版遠程桌面應(yīng)用更新：支持AirPlay投屏
- 全新奧迪Q8/SQ8官方圖片發(fā)布 外觀變化明顯
- 奶白色版本Smart精靈#3紀(jì)念版上線 25周年回顧
- 吉利帝豪14周年銷量370萬輛 新車型上線
- 比亞迪海豹DM-i上市 16.68萬油電同價
- 置業(yè)指南：盤點巴南區(qū)部分在售樓盤
- 鮮美來撤回A股上市申請，上交所終止其IPO審核
- 涉嫌超比例減持！我樂家居相關(guān)股東被證監(jiān)會立案調(diào)查
- 今年前8個月我國外貿(mào)進出口總值27.08萬億元 處于歷史同期高位
- 東湖評論：跨界融合關(guān)鍵要融到點子上
- 8月金融數(shù)據(jù)前瞻：政府債券凈融資回暖，社融有望同比小幅多增
- 東湖評論：返鄉(xiāng)創(chuàng)業(yè) 讓青春之花絢麗綻放
- 三友硅業(yè)啟動A股IPO輔導(dǎo)，擬在深交所創(chuàng)業(yè)板上市
- 重慶“現(xiàn)代社區(qū)”試點項目啟動 重慶天地上榜
- 【地評線】東湖評論：讓人才與國家發(fā)展相得益彰
- 西普尼擬沖刺北交所，輔導(dǎo)券商為國元證券
- 億縷陽光｜一聲老師 一生老師
- 42家風(fēng)電企業(yè)2023年中報盤點：近6成公司凈利增長，整機、零部件廠商上演“冰與火”
