30 Top Interview Questions and Answers (2024)

Ques 1

What is PySpark?

PySpark is the Python API for Apache Spark, a fast and general-purpose cluster computing system.

Example:

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName('example').getOrCreate()

Simpan untuk Revisi

Bookmark item ini, tandai sebagai sulit, atau masukkan ke dalam set revisi.

Buka Perpustakaan Belajar Saya

Apakah ini membantu? Ya Tidak

Add Comment View Comments

Ques 2

Explain the purpose of the 'groupBy' operation in PySpark.

'groupBy' is used to group the data based on one or more columns. It is often followed by aggregation functions to perform operations on each group.

Example:

grouped_data = df.groupBy('Category').agg({'Price': 'mean'})

Simpan untuk Revisi

Bookmark item ini, tandai sebagai sulit, atau masukkan ke dalam set revisi.

Buka Perpustakaan Belajar Saya

Apakah ini membantu? Ya Tidak

Add Comment View Comments

Ques 3

Explain the concept of a SparkSession in PySpark.

SparkSession is the entry point to any PySpark functionality. It is used to create DataFrames, register DataFrames as tables, and execute SQL queries.

Example:

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName('example').getOrCreate()

Simpan untuk Revisi

Bookmark item ini, tandai sebagai sulit, atau masukkan ke dalam set revisi.

Buka Perpustakaan Belajar Saya

Apakah ini membantu? Ya Tidak

Add Comment View Comments

Ques 4

Explain the purpose of the 'collect' action in PySpark.

The 'collect' action retrieves all elements of a distributed dataset (RDD or DataFrame) and brings them to the driver program.

Example:

data = df.collect()

Simpan untuk Revisi

Bookmark item ini, tandai sebagai sulit, atau masukkan ke dalam set revisi.

Buka Perpustakaan Belajar Saya

Apakah ini membantu? Ya Tidak

Add Comment View Comments

Ques 5

How can you perform a union operation on two DataFrames in PySpark?

You can use the 'union' method to combine two DataFrames with the same schema.

Example:

result = df1.union(df2)

Simpan untuk Revisi

Bookmark item ini, tandai sebagai sulit, atau masukkan ke dalam set revisi.

Buka Perpustakaan Belajar Saya

Apakah ini membantu? Ya Tidak

Add Comment View Comments

Ques 6

What is the purpose of the 'groupBy' operation in PySpark?

'groupBy' is used to group the data based on one or more columns. It is often followed by aggregation functions to perform operations on each group.

Example:

grouped_data = df.groupBy('Category').agg({'Price': 'mean'})

Simpan untuk Revisi

Bookmark item ini, tandai sebagai sulit, atau masukkan ke dalam set revisi.

Buka Perpustakaan Belajar Saya

Apakah ini membantu? Ya Tidak

Add Comment View Comments

Ques 7

How can you create a temporary view from a PySpark DataFrame?

You can use the 'createOrReplaceTempView' method to create a temporary view from a PySpark DataFrame.

Example:

df.createOrReplaceTempView('temp_view')

Simpan untuk Revisi

Bookmark item ini, tandai sebagai sulit, atau masukkan ke dalam set revisi.

Buka Perpustakaan Belajar Saya

Apakah ini membantu? Ya Tidak

Add Comment View Comments

Ques 8

What is the purpose of the 'orderBy' operation in PySpark?

'OrderBy' is used to sort the rows of a DataFrame based on one or more columns.

Example:

result = df.orderBy('column')

Bangun keterampilan dengan jalur belajar terfokus, tes simulasi, dan konten siap wawancara.

Interview Questions and Answers

The Best LIVE Mock Interview - You should go through before interview

Interview Questions and Answers

Freshers / Beginner level questions & answers

What is PySpark?

Simpan untuk Revisi

Explain the purpose of the 'groupBy' operation in PySpark.

Simpan untuk Revisi

Explain the concept of a SparkSession in PySpark.

Simpan untuk Revisi

Explain the purpose of the 'collect' action in PySpark.

Simpan untuk Revisi

How can you perform a union operation on two DataFrames in PySpark?

Simpan untuk Revisi

What is the purpose of the 'groupBy' operation in PySpark?

Simpan untuk Revisi

How can you create a temporary view from a PySpark DataFrame?

Simpan untuk Revisi

What is the purpose of the 'orderBy' operation in PySpark?

Simpan untuk Revisi

Most helpful rated by users:

Related interview subjects

All interview subjects

WithoutBook