Spark SQL - DataFrame Row 개수 구하기
2021. 7. 13. 14:55ㆍSpark
저어어엉말 간단하게 단순한 명령어로
Row 개수를 구할 수 있다.
Pandas Dataframe 에서는 size 함수를 이용하여 row 의 개수를 받아 올 수 있지만,
spark sql dataframe에는 size 함수가 없다고 나온다. 대신에, count() 를 사용하면 row의 개수를 받아올 수 있다.
df.count()
'Spark' 카테고리의 다른 글
Spark - Apache Spark란.. (0) | 2021.07.21 |
---|---|
Spark - Docker로 Spark Cluster + Jupyterlab 구성 (2) | 2021.07.21 |
PySpark - SparkSQL Structured Streaming Kafka (0) | 2021.07.13 |
PySpark - Kafka Structured Streaming 설정 (0) | 2021.07.13 |
PySpark - Azure Event Hub Structured Streaming 설정 (0) | 2021.07.05 |