初探電子商務在大數據時代下的數據管理論文

學識都 人氣:1.72W

大數據時代的到來改變了人們對數據的認識和態度,電子商務作爲大數據產生的主要來源之一,其發展狀態及趨勢越來越被人們所關注。電子商務數據每年增長約60%,但數據利用卻不足5%,人們迫切希望通過數據的力量來解決一些發展道路上遇到的瓶頸問題。數據的價值逐漸被人們所重視,數據的客觀性、真實性、可靠性爲電子商務的數據服務提供了堅實的“物質基礎”,繼而發展成爲一種產業。那麼大數據時代進行數據存儲方式、讀取方式、分析方式的創新以及增加數據服務模式已經成爲大勢所趨,本文正是對上述問題進行初步研究。

初探電子商務在大數據時代下的數據管理論文

一、數據存儲方式

隨着Web2.0時代的到來,傳統的數據存儲模式已經不能夠應付規模龐大的數據流。存儲設備的成本增加,數據洪期的不預定型,結構化數據與非結構化數據混雜等因素讓存儲不得不做出徹底的變革。

爲了減少存儲成本,提高存儲容量和存儲空間利用率,人們利用虛擬化技術對存儲設備進行改造,將所有存儲空間作爲一個資源池,可以自由的配置存儲設備空間。虛擬化技術主要利用軟件實現對存儲資源的控制,根據實際需要可以將軟件安裝在相應的硬件設備之上。爲提高一些性能較爲低下的設備利用率,可以通過網絡將這些設備連接起來,作爲數據存儲的載體。例如San系統,集羣系統。San系統與集羣系統都可以實現數據共享和訪問,並可以對存儲空間進行自由的擴展,但是San系統可以支持不同客戶端的操作系統,擴展範圍更加廣泛,運用更加靈活。

San網絡存儲由服務器、存儲、互連組成,利用光纖通道實現對存儲設備的管理,既可以實現服務器到存儲的數據傳輸,也可以實現服務器到服務器的數據通信。San網絡採用雙環方式及數據遠程備份,增加了數據安全性。San對於磁盤進行虛擬化,可以讓磁盤同步存儲數據,加速了磁盤讀/寫操作的效率。

二、數據讀取方式

現階段,電子商務的數據存儲方式大多依靠廣泛使用的關係型數據庫。關係型數據庫採用關係模型,在結構上更容易理解,而其使用的數據庫操作語言SQL也廣泛被人們所接受。由於其對數據類型等多方面的嚴謹性,減少了使得數據庫的維護量,提高了數據管理效率。

然而,隨着電子商務的飛速發展,數據量的'巨增,給關係數據庫的I/O端口造成了很大的壓力。其次,在對數據的查詢操作上,尤其是一些大表的嵌套查詢,效率非常低。由於龐大的數據量,對數據庫的維護造成了一定影響,數據庫無法動態擴展其存儲空間及提高其負載能力。數據庫升級和往往要進行停機維護,導致業務的中斷。

近年來,非關係型數據庫及分佈式存儲的出現可以解決傳統關係型數據庫存在的問題。NoSQL數據庫是爲了解決大規模數據集的管理,包括對數據的存儲及併發控制。而數據的多樣化,非結構化等難題,給大數據處理及分析帶來了挑戰。現在NoSQL類型有很多,且各自擁有各自的技術優勢,數據管理者要結合自己的需求選擇好合適的NoSQL數據庫,才能體現非關係型數據庫具備的優勢。NoSQL數據庫主要分爲:鍵值存儲數據庫,列存儲數據庫,文檔型數據庫,圖形數據庫等。NoSQL數據庫並沒有一個統一的架構,兩種NoSQL數據庫之間的不同,甚至遠遠超過兩種關係型數據庫的不同。NoSQL沒有高低之分,只能合理地使用NoSQL到適合的場合,才能充分發揮NoSQL的優勢。

現在比較常用的NoSQL數據庫主要是Redis,Leveldb, Mongodb,HBase。HBase作爲Hadoop的子項目,適合於非結構化的數據存儲。HBase的一大特點是基於列的模式,這樣可以增強數據庫的擴展性,提高數據庫的存儲效率。而且,HBase作爲分佈式數據庫可以在廉價服務器上搭建起規模龐大且結構化的存儲集羣。

三、數據分析方式

大數據時代下,人們對數據的態度有了很大改變,對數據的研究由追尋因果向數據相關性轉變。然而,對於電子商務來說,需求關係的分析是電商市場一個重要因素,仍然不可或缺。電子商務數據包含了客戶的基本信息、消費信息、商家的產品信息、金融交易信息等結構化或非結構化數據。對電子商務數據的分析可分爲幾個方面:

(1)流量數據分析,包含了對電子商務網站的流量,點擊率等數據的分析。流量的大小可以反映商品的推廣程度,但是,爲檢測一些爲提高點擊率的惡意、虛假行爲,需要對流量來源等數據進行分析,確保點擊率能真實反映產品推廣程度。網站到達率,二跳率,pv/ip值等數據都可反映商品宣傳的效果。

(2)網站數據分析,網站數據最能直接反映商品推廣效率,商品質量及商品銷售情況等重要信息。各式各樣的電商產品琳琅滿目,客戶往往會陷入難以抉擇的尷尬局面,難以達成交易。通過對網站數據的分析,可以更好的瞭解客戶的真實需求和偏好,並制定相應的營銷策略,更好的將商品推銷至客戶。

(3)信用數據分析,無論是客戶還是商家,信用都代表了其交易的真誠度和可靠性。信用主要以交易量及交易評價作爲依據。面對日益競爭激烈的電商市場,商家爲了提高自身的銷售額,難免採用一些不正當手段,通過構造虛假評論信息來提升自己和打擊對手。通過對評價數據的分析,可以判斷其評價的真實性,避免了一些商家通過炒作來提高自身信用和客戶惡意評價等行爲帶來的影響。

四、數據服務模式

大數據時代下,數據分析所利用的數據不再是通過簡單的抽樣得到的樣本,而是要將整體數據作爲分析來源。以大數據的分析手段,得到分析結果。儘管相較於傳統方法,大數據分析需要消耗更多的時間和資源,然而,往往一些孤僻、異常的數據纔是問題出現的根本原因,而原有的抽樣方式很有可能將此類數據遺漏,影響到最終的分析結果。

通常,數據服務提供可視化界面,展現數據的統計分析結果。對於大數據的統計分析,需要呈現出更多,更廣的事務特徵。例如,某些電商推出的十年賬單查詢服務,引起了社會廣泛的反響。如今,隨着大數據分析技術的革新,數據服務模式也在不斷增加,大數據輔助決策和預測事物發展的特點引發了人們利用數據來研究事物發展規律的極大興趣,使得研究結果更具有客觀性和可靠性。