在Hive中改变了列，在Spark SQL结果中显示为空值

0?人关注

我需要改变Hive中的一个列名，所以我用下面的查询做了这个。改动后，我可以在hive中看到 "select columnnm1 from tablename "的结果。

alter table tablename change columnnm1 columnnm2 string;

但当我试图执行select columnnm2 from spark.sql时，我得到的是NULL值，而我在hive中可以看到有效的值。

这是个管理表。我试着刷新了火花元数据，但还是没有成功。目前，我正在删除旧表，然后用正确的列名创建新的蜂巢表。但是如何处理这个ALTER方案呢？

spark.catalog.refreshTable("<tablename>")

谢谢你。

8?个评论

pythonic833：

你好，欢迎来到SO。你能否提供你在spark.sql中使用的确切命令？另外，你是否尝试过。spark.table?其结果是否相同？

pcbzmani：

嗨 @pythonic833 df=spark.sql("select columnm1 from tablename")。所以在改变蜂巢表之前，我可以看到df.show()的有效值。在改变蜂巢表后，当我执行df1=spark.sql("select columnm2 from tablename")时，我得到了空值。 df1.show() spark.table? 你能告诉我如何执行该命令吗，我会尝试的

pythonic833：

df=spark.table(<table_name>).也请你执行df1.printSchema() ，并将结果贴在这里。

pcbzmani：

相同的输出。

pythonic833：

会不会是，你把表中的值都改成了字符串，实际上是把所有的值都转换成了空值？

pythonic833：

请提供df1.printSchema() 的结果和显示show creat table <table_name> 的结果，从蜂巢。

pcbzmani：

旧的数据类型在hive中也是String。在改变了列名后，我可以在Hue中看到有效的值。df.printSchema()也给出了正确的数据类型为String，但值仍为Null。

pcbzmani：

显示创建表tablame CREATE TABLE 'tablame'( ... coulmnnm1 string, ...) ROW FORMAT SERDE OrcSerde TBLPROPERTIES( 'spark.sql.sources.schema.part.0='{"类型": "结构", "字段":[{"名称": "coulmnnm1", "类型":字符串", "nullable":true, "metadat":{}}] df1.printSchema() root |-- columnnm1 : string（nullable=true)

apache-spark

pyspark

hive

apache-spark-sql