如何在Spark SQL中读取JSON文件

1. JSON 文件介绍

JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，它是基于 JavaScript 的一个子集，具有自我描述性，易于理解和编写，更重要的是，它可以被机器解析和生成。JSON 文件是一种文本文件，它的格式类似 XML，但比 XML 更简洁，并且可以被许多编程语言读取和生成。

2. Spark SQL 读取 JSON 文件

Spark SQL 支持读取 JSON 文件，可以使用两种方法来读取 JSON 文件：一种是使用 Spark SQL 的内置函数，另一种是使用 Spark DataFrames API。

3. 使用 Spark SQL 内置函数读取 JSON 文件

Spark SQL 提供了内置函数，可以方便地从 JSON 文件中读取数据。可以使用以下语句：

SELECT * FROM json.load('/path/to/file.json')

上面的语句将从 JSON 文件中读取所有数据，并将其存储在一个 DataFrame 中。

4. 使用 Spark DataFrames API 读取 JSON 文件

可以使用 Spark DataFrames API 来从 JSON 文件中读取数据，可以使用以下语句：

val df = spark.read.json("/path/to/file.json")

上面的语句将从 JSON 文件中读取数据，并将其存储在 DataFrame 中。