Hive和Spark SQL是大数据领域常用的两个SQL查询引擎，它们在读取文件时都需要进行输入任务划分。本文将从两者的任务划分原理、文件格式和划分策略三个方面浅析Hive和Spark SQL读文件时的输入任务划分。

任务划分原理

Hive和Spark SQL的输入任务划分原理都是基于分片来进行的。分片是将大文件按照一定的规则划分成多个小文件，以便并行处理。在Hive中，称为HDFS块（HDFS block），一个文件一般由多个HDFS块构成。在Spark中，称为分区（Partition），一个数据集一般由多个分区构成。任务划分的目的是将分片分配给多个任务并行处理，提高查询效率。

文件格式的影响

文件格式对于Hive和Spark SQL的任务划分有很大影响。在Hive中，常用的文件格式有文本格式、序列文件（SequenceFile）、PARQUET等。其中，文本格式以行为单位进行划分，一个行属于某个任务的输入，适合小文件；序列文件则以key-value对为单位进行划分，一个key-value对属于某个任务的输入，适合大文件；PARQUET是一种高效的列式存储格式，可以通过对列进行压缩和编码来减少IO开销，适合处理大型数据集。Spark SQL也支持这些文件格式，但同样适用于其他文件格式，如ORC、Avro等。

划分策略的选择

Hive和Spark SQL在任务划分时，通常会根据输入数据的大小、格式和分布情况选择不同的划分策略。常见的划分策略有单片划分、单文件划分和均匀划分。单片划分适用于小文件，将一个文件划分给一个任务，可以避免数据倾斜；单文件划分适用于大文件，将一部分文件划分给一个任务，可以减少任务数；均匀划分适用于大型数据集，将文件均匀划分给多个任务，可以实现负载均衡。Hive和Spark SQL默认使用的是均匀划分。

综上所述，Hive和Spark SQL在读取文件时的输入任务划分是基于分片的，任务划分的原理是将大文件划分成多个小片段并行处理。文件格式对任务划分有较大影响，不同文件格式应选择相应的划分策略。选择合适的划分策略可以提高查询效率和性能。