https://api.vvhan.com/api/avatar/boy

技术博客分享

大数据的处理流程

大数据的处理流程

大数据处理流程一般分为四步骤:数据采集、数据导入和清洗预处理、数据统计分析和挖掘、结果可视化。

https://i-blog.csdnimg.cn/blog_migrate/8ca9583ba171d349b3b5752e423a63cc.png

1、数据采集

大数据的采集一般采用ETL( Extract-Transform-Load )工具负责将分布的、异构数据源中的数据如关系数据、平面数据以及其他非结构化数据等抽取到临时文件或数据库中。