1樓:網友
你的理解錯誤啦,資料探勘並不完全等於etl,etl是指資料的抽取、轉換、載入,這只是資料探勘的一部份。etl相當於資料探勘的預處理,預處理完後,後面才接著資料探勘真正的方法,比較說分類,或是**。
資料探勘的英文為data mining,而你說的data miner應該是資料探勘工具吧?現階段用的比較好的是ibm 旗下的乙個軟體,還有spss旗下的climentine。具體的軟體在現階段還是比較少的。
2樓:溫述賀
etl屬於資料倉儲的範疇!etl是資料倉儲中源系統資料的整合。
資料探勘(data mining)中的資料準備不是資料倉儲中的資料準備!其中包括有變數的選擇、建立組合變數、迴歸,變數離散化等工作。
資料探勘區別於olap和統計學。資料探勘趨向於發現資料集合中更加深層的規律和趨勢,有複雜的數學模型理論,比如人工神經網路、模糊數學、貝葉斯理論等等。
現在主流的有:sas、spss公司。
當讓也有開源工具:weka。
資料探勘與資料分析的區別是什麼?
3樓:網友
資料分析:一般要分析的目標比較明確,分析條件也比較清楚。
資料探勘:目標不是很清晰,要依靠挖掘演算法來找出隱藏在大量資料中的規則、模式、規律等。
4樓:透明液體
資料分析和資料探勘並不是相互獨立的,資料分析通常是直接從資料庫取出已有資訊,進行一些統計、視覺化、文字結論等,最後可能生成乙份研究報告性質的東西,以此來輔助決策。但是如果要分析已有資訊背後的隱藏資訊,而這些資訊通過觀察往往是看不到的,這是就需要用到資料探勘,作為分析之前要走的乙個門檻。資料探勘不是簡單的認為推測就可以,它往往需要針對大量資料,進行大規模運算,才能得到一些統計學規律。
這裡可以使用億信華辰一站式資料分析平臺abi,億信abi融合了資料來源適配、etl資料處理、資料建模、資料分析、資料填報、工作流、門戶、移動應用等核心功能。其中資料分析模組支援報表分析、敏捷看板、即席報告、幻燈片、酷屏、資料填報、資料探勘等多種分析手段對資料進行分析、展現、應用。幫助企業發現潛在的資訊,挖掘資料的潛在價值。
5樓:藍龍兄弟
資料分析。
是通過已有資料指標進行分析,一般輸出結果為趨勢圖例;
資料探勘,是資料分析的基礎支援,簡單來說,就是先對原始資料進行業務關聯性、時效性、有效性等邏輯性挖掘,其次抽取有效資料,清理、格式化資料,為資料分析提供資料支援!
6樓:木易夕懵
前面的已經把理論知識都差不多講清楚了,那我來講的更具體點吧。舉個例子,我們公司之前用的資料分析和資料探勘都是億信華辰的,但是是不同的兩個工具,資料分析是abi,資料探勘是豌豆dm,其中,abi打通資料生命週期各環節。
從資料來源接入,到資料採集、資料處理,再到資料分析和挖掘,打通資料生命週期的各個環節,實現資料填報、處理、分析一體化,為使用者提供一站式資料服務。既能支援對分析表進行資料回填設定,又能完成資料融合,提公升資料質量,服務資料分析。而豌豆dm提供全程視覺化的建模過程,從訓練資料集選擇、分析指標欄位設定、挖掘演算法、引數配置、模型訓練、模型評估、對比到模型釋出都可以通過零程式設計、視覺化的配置操作,簡單、便捷的完成。
誰能說說資料倉儲,資料探勘,bi三者之間的區別和聯絡的相關推薦
7樓:vincent呂
資料倉儲(dw)屬於bi的一部分,一般來說dw就是bi這個房子的地基了。 做好dw才好進而分析利用,讓資料產生價值。 dw沒做好,整個bi專案很容易垮掉。
bi包括etl, dw和相應的reporting system. 因為現在一般的公司動不動說上個bi系統,都是要從dw建模開始做,然後做etl,最後做對應的reporting system. 雖然最終領導們只看到了他們想要的報表,但是這一套系統是需要dw和etl的支援的。
資料探勘(dm)是一門新興的技術,在bi 中會常用到資料探勘的技術。資料探勘涉及到的是資料庫、統計學、機器學習、資料分析、視覺化等等。
三者之間緊密聯絡,但是屬於三個不同的概念範疇。
資料分析和資料探勘的區別是什麼?如何做好資料探勘?
8樓:派可資料
資料分析和資料探勘都是從資料庫中發現知識、所以我們稱資料分析和資料探勘叫做資料庫中的知識發現。但嚴格意義上來講,資料探勘才是真正意義上的資料庫中的知識發現(knowledge discovery in database,kdd)。
資料分析是從資料庫中通過統計、計算、抽樣等相關的方法,獲取基於資料庫的資料表象的知識,也就是指資料分析是從資料庫裡面得到一些表象性的資訊。資料探勘是從資料庫中,通過機器學習或者是通過數學演算法等相關的方法獲取深層次的知識(比如屬性之間的規律性,或者是**)的技術。
9樓:海同職座標**
資料分析與資料探勘的目的不一樣,資料分析是有明確的分析群體,就是對群體進行各個維度的拆、分、組合,來找到問題的所在,而資料發挖掘的目標群體是不確定的,需要我們更多是是從資料的內在聯絡上去分析,從而結合業務、使用者、資料進行更多的洞察解讀。
資料分析與資料探勘的思考方式不同,一般來講,資料分析是根據客觀的資料進行不斷的驗證和假設,而資料探勘是沒有假設的,但你也要根據模型的輸出給出你評判的標準。
分析框架(假設)+客觀問題(資料分析)=結論(主觀判斷)
而資料探勘大多數是大而全,多而精,資料越多模型越可能精確,變數越多,資料之間的關係越明確。
資料分析更多依賴於業務知識,資料探勘更多側重於技術的實現,對於業務的要求稍微有所降低,資料探勘往往需要更大資料量,而資料量越大,對於技術的要求也就越高需要比較強的程式設計能力,數學能力和機器學習的能力。如果從結果上來看,資料分析更多側重的是結果的呈現,需要結合業務知識來進行解讀。而資料探勘的結果是乙個模型,通過這個模型來分析整個資料的規律,一次來實現對於未來的**,比如判斷使用者的特點,使用者適合什麼樣的營銷活動。
顯然,資料探勘比資料分析要更深乙個層次。資料分析是將資料轉化為資訊的工具,而資料探勘是將資訊轉化為認知的工具。
10樓:網友
簡單來講,資料探勘,就是把資料找出來,資料分析呢,就是針對挖掘出來的資料進行處理。資料中臺是集資料探勘和資料分析、資料呈現為一體,打破了傳統的數倉還有資料中心,並且在數倉模型的設計上也是一脈傳承,之所以我們現在處處推崇資料中臺建設及應用,乙個是因為資料中臺確實有過人之處,另乙個是這套模型在阿里體現了巨大的應用價值。資料中臺策略中的幾個過人之處。
第一,資料匯聚,承上啟下。
資料中臺策略的基本理念是,將所有的資料匯聚到資料中臺,以後的每個資料應用(無論是指標和分析類的,還是畫像類和大資料類的)統統從資料中臺獲取資料,如果資料中臺沒有,那麼資料中臺就負責把資料找來,如果資料中臺找不來,就說明當前真沒有這個資料,資料應用也就無從。相對而言,資料中臺策略中更加強調資料的「全」以及資料中臺組織與資料應用組織之間的協作關係,從設計、組織、建設、流程角度保障了模式的落地。
第二,縱觀大局,推動全域性。
資料業務在企業中應當是乙個完整業務,是乙個亟需提高定位的業務,是企業的戰略業務。所以資料中臺策略應當對應企業的資料戰略,並提供更有力的支撐,而不是僅僅停留在是把資料找到,把資料清洗了,把資料算出來。
第。三、技術公升級、應用便捷。
目前業內比較典型的就是阿里雲數加平臺,數加平臺基本讓資料開發者能夠像使用傳統資料庫一樣的使用大資料平臺了,所有操作方式都是通過視覺化介面進行,大部分的開發都是通過sql語句來實現。資料中臺在與數加產品功能對比上不分伯仲,同時又基於私有云大資料應用的特點定製開發了諸多功能以及資料治理模組用以推動企業整體資料化程序。
11樓:v流
廣義的資料分析肯定是包括資料探勘的, 真要說區別的話, 可能要從兩者的學術背景來講, 資料分析一直都存在, 主要是搞統計的人在做, 主要方法肯定就是各種統計學方法了, 引數估計,假設檢驗等等, 基本思路就是先提出假設, 再用資料驗證, 而資料探勘的概念起源於資料庫技術, 是搞計算機的提出的, 主要用機器學習的理論, 所需要的計算機工程技術更多, 做資料探勘肯定是要會程式設計的。分析思路上更多的是探索式的分析, 沒有先驗假設。
億信華辰豌豆dm視覺化資料探勘平臺深入洞察企業資料規律,充分挖掘資料潛在價值,多維度深度分析更精準。
直觀全程的視覺化建模。
豌豆dm提供全程視覺化的建模過程,從訓練資料集選擇、分析指標欄位設定、挖掘演算法、引數配置、模型訓練、模型評估、對比到模型釋出都可以通過零程式設計、視覺化的配置操作,簡單、便捷的完成。
談談你對資料倉儲和資料探勘的認識
12樓:智慧型
資料倉儲就是在企業管理和決策中面向主題的、整合的、與時間相關的、不可修改的資料集合。
資料探勘就是一種透過數理模式來分析企業內儲存的大量資料,以找出不同的客戶或市場劃分,分析出消費者喜好和行為的方法。
資料探勘試題etl在資料倉儲過程中有多大工作量
13樓:網友
資料倉儲主要工作:資料倉儲設計、開發、etl設計、etl開發、資料生成。
資料生成過程由etl來完成,etl主要是進行資料清洗、轉換、資料裝載。
bi工程師,資料倉儲工程師,etl工程師有什麼區別
14樓:小溪趣談電子數碼
bi工程師、資料倉儲工程師、etl工程師都屬於大資料工程技術人員,三種的主要區別如下:
一、工作內容不同。
1、bi工程師:主要是報表開發,負責開發工作。
2、資料庫工程師:主要負責業務資料庫從設計、測試到部署交付的全生命週期管理。
3、etl工程師:從事系統程式設計、資料庫程式設計與設計。
二、要求不同。
1、bi工程師:要有一定的資料庫經驗,掌握sql查詢優化方法,精通oracle、sqlserver、mysql等主流資料庫的應用設計、效能調優及儲存過程的開發。
2、資料庫工程師:理解資料備份/恢復與災難恢復;工具集的使用。
3、etl工程師:要掌握各百種常用的程式語言。
三、特點不同。
2、資料庫工程師:凡是關係到資料庫質量、效率、成本、安全等方面的工作,及涉及到的技術、元件,都在資料庫工程師的技術範疇裡。
3、etl工程師:海量資料的etl開發,抽取成各種資料需求。
百科-資料庫工程師。
百科-大資料工程技術人員。
15樓:網友
bi工程師包含了資料倉儲工程師的工作 資料倉儲工程師在建立資料倉儲的工作時又得幹etl的工作 換句話說 bi是整個商業智慧型的大概念 而商業智慧型的支撐正是資料倉儲 資料倉儲的建立靠的是etl
資料探勘的定義,資料探勘的概念和原理是什麼
就是從未知的大量資料中找到自己需要的知識。嘿嘿,上面這位的回答就這麼一句但恰好錯了。資料探勘是從大量資料中尋找到有價值有意義有趣事先未知的知識而不是從 未知的資料 中找到 自己需要的 知識。資料當然是已知的。可能找到的知識的結構決定於使用的方法資料模式。而具體知識是不是 知識 有沒有用,你需不需要,...
資料探勘學習心得體會,資料分析挖掘的作用和意義?
資料探勘包括理論和實踐兩方面。自己學習是沒有辦法達到企業招聘要求,因為很多知識點需要實踐,如果報名個培訓機構就不會存在這種問題,知名的培訓機構都有實踐課程,推薦選擇 達內教育 資料探勘的就業前景非常廣泛,最重要的作用,是可以幫助企業瞭解使用者。這方面最有代表性的就是電商。通過 大資料 可以分析使用者...
資料庫技術與資料探勘適合女孩子嗎
這個技術的適合與否不是特定的,女孩子也可以做的更好,關鍵是你對這項技術有沒有濃厚的興趣,因為你想要早某一領域有很深的的造詣或是做得更好,興趣是你的支撐,當你在這個領域遇到問題的時候,它可以給你提供無限的動力去解決它,如果你對這門技術沒有興趣,只是為了生活而選擇它,那到時你遇到困難會望而卻步的.點到為...