如何提高上百萬級記錄mysql資料庫查詢速度

2021-05-05 19:06:55 字數 748 閱讀 3028

1樓:愛可生雲資料庫

先安裝 apache spark,查詢資料庫的速度可以提升10倍。

在已有的 mysql 伺服器之上使用 apache spark (無需將資料匯出到 spark 或者 hadoop 平臺上),這樣至少可以提升 10 倍的查詢效能。使用多個 mysql 伺服器(複製或者 percona xtradb cluster)可以讓我們在某些查詢上得到額外的效能提升。你也可以使用 spark 的快取功能來快取整個 mysql 查詢結果表。

思路很簡單:spark 可以通過 jdbc 讀取 mysql 上的資料,也可以執行 sql 查詢,因此我們可以直接連線到 mysql 並執行查詢。那麼為什麼速度會快呢?

對一些需要執行很長時間的查詢(如報表或者bi),由於 spark 是一個大規模並行系統,因此查詢會非常的快。mysql 只能為每一個查詢分配一個 cpu 核來處理,而 spark 可以使用所有叢集節點的所有核。在下面的例子中,我們會在 spark 中執行 mysql 查詢,這個查詢速度比直接在 mysql 上執行速度要快 5 到 10 倍。

另外,spark 可以增加「叢集」級別的並行機制,在使用 mysql 複製或者 percona xtradb cluster 的情況下,spark 可以把查詢變成一組更小的查詢(有點像使用了分割槽表時可以在每個分割槽都執行一個查詢),然後在多個 percona xtradb cluster 節點的多個從伺服器上並行的執行這些小查詢。最後它會使用map/reduce 方式將每個節點返回的結果聚合在一起形成完整的結果。

如何做有效的區域觀察記錄,淺談如何提高區域活動中觀察記錄的有效性

內容來自使用者 易發表網 我們知道區域bai活動是教du師瞭解幼兒情況的第zhi一手材料的場所 dao,而這第一手資料就是內 教師對幼兒活動有效的觀察和記錄。容蒙氏教育的理念也對觀察和記錄在幼兒教育中的地位給予充分的肯定。蒙氏教育認為 觀察是一種藝術,是一種態度,是一條雙行道。要在和孩子不斷相處關係...

劍網三90級後裝備分數如何提高,如何得到裝備?劍網三90級之後副本裝備如何準備

pve剛滿級的話能否找一些幫貢裝最好了然後下25大明宮一般都是4定過畢業路線,可以先去25jxk搞405會心會效 如果沒有幫貢裝就先每天跟大戰團,湊齊一套370裝備,出的機率小,可以25jxk或者拿幫貢 然後就去刷直城門可以有會心會效的堆雲腰帶.堆雲囊.堆雲項鍊和褲子,其聲望可以換戒指攻擊破防命中的...

如何快速提高六年級語文成績,怎樣提高小學六年級孩子的語文成績

第一 語文作為各課的母科,語文成績提高,就會增加學生的思維能力,增強對各問題的評估與判斷。第二 要想提高語文的成績,就要提高學生的閱讀能力,閱讀對學生來說是重要的語文成績的基礎,在學生閱讀時,要讓學生理解閱讀文章的內容,要讓學生理解作者是在什麼環境中寫出來的,讓學生理解作者的心態,這樣學生才能讀出情...