大數據(big data),是無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。
大數據平臺是各部門的核心資料庫,各級工作部門科學統籌、依法決策的重要支撐。平臺能夠準確獲取多年來全體數據標本,幫助工作部門及時掌握形勢變化、工作文件、資源配置、業績成效等動態信息,用事實數據決定科學判斷,用科學判斷引領工作決策。
采用信息抓取技術和大數據挖掘技術將為大數據平臺提供原始數據支撐,通過提供多種數據接入方法,將與全縣各項工作相關的結構化和非結構化的數據進行統一匯聚接入,可根據條件自動抓取有效信息,建設一個信息快捷、資源集中、數據豐富的數據中心。存儲用來滿足對結構化數據、非結構化數據和半結構化數據的統一存儲和查詢的需求。
大數據平臺能夠把海量的數據存儲于云服務平臺,再進行數據專業化處理,提供數據深度挖掘和分析服務的核心功能,利用分布式存儲和并行計算架構,結合多種分布式計算引擎,通過設定數據分析邏輯,提供基于關聯、聚類、分類、等類算法庫,以及生成數據可視化圖形。通過數據分析,能夠獲取有效的智慧數據。