Apache Spark perguntas e respostas de entrevista
Question: How does Spark handle data skewness in transformations like groupByKey?Answer: Data skewness occurs when certain keys have significantly more data than others. Spark handles it by using techniques like data pre-partitioning or using advanced algorithms like map-side aggregation.Example:
|
Salvar para revisao
Adicione este item aos favoritos, marque-o como dificil ou coloque-o em um conjunto de revisao.
Faca login para salvar favoritos, perguntas dificeis e conjuntos de revisao.
Isto e util? Sim Nao
Mais uteis segundo os usuarios:
- What is the purpose of the Spark SQL module?
- Explain the difference between narrow and wide transformations in Spark.