📜  传统处理与流处理之间的区别(1)

📅  最后修改于: 2023-12-03 14:49:33.210000             🧑  作者: Mango

传统处理与流处理之间的区别

传统处理

传统处理是指将数据存储在batch中,然后对这些数据进行处理。这种处理方式主要是面向批处理的,也就是在处理前需要将所有数据写入磁盘,然后再从磁盘中读出来进行处理。这种处理方式对于数据量比较大的情况下,处理速度会比较慢。

流处理

流处理是指不断地从数据源中接收数据,并对其进行实时处理。这种处理方式主要是面向实时处理的,也就是在接收到每一个数据之后,就立即进行处理。流处理可以实时地获取数据,处理速度也比较快,而且可以快速地发现数据中的问题,以及及时地做出解决方案。

区别

传统处理与流处理主要的不同点就在于数据处理方式的不同。传统处理是批处理的,而流处理是实时处理的。

传统处理需要将所有数据写入磁盘,然后再从磁盘中读出来进行处理。这种处理方式对于数据量比较大的情况下,处理速度会比较慢。而流处理则可以不用将所有数据都写入磁盘,而是不断地从数据源中接收数据,并对其进行处理。这种处理方式可以实时获取数据,处理速度也比较快。

另外,传统处理的处理任务通常是在一次性处理完所有数据之后再得出结果,而流处理则是通过不断地处理新的数据来更新结果。传统处理可以批量进行处理,而流处理是以数据流的形式处理数据。

总结

传统处理与流处理之间的区别主要是数据处理方式的不同。传统处理是批处理的,而流处理是实时处理的。传统处理需要将所有数据写入磁盘,然后再从磁盘中读出来进行处理,处理速度比较慢,而流处理则可以不用将所有数据都写入磁盘,而是不断地从数据源中接收数据,并对其进行处理,可以实时获取数据,处理速度也比较快。