Spark SQL Biçimlendirici
Spark kurallarıyla Apache Spark SQL ve Databricks sorgularını biçimlendirin: ters tırnaklı tanımlayıcılar, ters eğik çizgi kaçışlı dizeler, ham r'' dizeleri ve ${var} yer değiştirmeleri. CLUSTER BY, DISTRIBUTE BY ve SORT BY yan tümce olarak korunur; LATERAL VIEW ve LEFT SEMI veya ANTI JOIN yeni satırlarda başlar, SELECT * EXCEPT ise satır içinde kalır. Kapatılmamış dizeler ve parantezler satır ve sütun bilgisiyle bildirilir; bu özellik veri mühendislerine yardımcı olur.
Sık sorulan sorular
Hangi Spark SQL söz dizimi tanınır?
Ters tırnaklı tanımlayıcılar, ters eğik çizgi kaçışlı tek ve çift tırnaklı dizeler, ham r'' dizeleri ve X'' ikili sabitleri tanınır. ${var} yer değiştirmeleri, map['key'] ve array[0] alt indisleri ile :: tür dönüşümleri olduğu gibi korunur.
Spark'a özgü hangi yan tümceler destekleniyor?
CLUSTER BY, DISTRIBUTE BY ve SORT BY, ORDER BY gibi kendi satırlarında yer alır. LATERAL VIEW, LATERAL VIEW OUTER, LEFT SEMI JOIN ve LEFT ANTI JOIN, birleşimler gibi yeni satırlarda başlar.
SELECT * EXCEPT nasıl işlenir?
Yıldızın hemen ardından gelen EXCEPT aynı satırda kalır. Böylece SELECT * EXCEPT (col), EXCEPT küme işleciyle karıştırılmaz.
${var} yer tutucuları korunuyor mu?
Evet. ${env} veya ${hivevar:date} gibi yer değiştirmeler, içlerindeki iki nokta da dahil olmak üzere yazıldıkları gibi korunur.
MERGE INTO destekleniyor mu?
Evet. Delta Lake MERGE INTO ifadelerinin WHEN MATCHED ve WHEN NOT MATCHED dalları yeni satırlarda başlar.
PySpark dizesinden SQL yapıştırabilir miyim?
Evet, çevresindeki Python tırnakları olmadan yalnızca SQL metnini yapıştırın. Sonucu spark.sql() içine veya bir not defteri hücresine yapıştırabilirsiniz.
Anahtar sözcüklerin büyük-küçük harf kullanımını değiştiriyor mu?
Hayır. Anahtar sözcükler ve adlar yazdığınız büyük/küçük harf biçimini korur. Yalnızca boşluklar ve satır sonları değişir.
Hangi hatalar algılanıyor?
Kapatılmamış dizeler, ters tırnaklı tanımlayıcılar, alt indisler ve blok yorumları ile eşleşmeyen parantezler; her biri için satır ve sütun bilgisiyle bildirilir. Kümede hiçbir şey çalıştırılmaz.
Girdi ne kadar büyük olabilir?
İstek başına en fazla 1 MB, ifade başına 128 KB. Çok sayıda ifade içeren not defteri dışa aktarımları, her seferinde bir ifade olacak şekilde biçimlendirilir.
Girintiyi seçebilir miyim ve SQL saklanıyor mu?
2 veya 4 boşluk ya da sekme kullanın. SQL yalnızca bellekte biçimlendirilir ve asla kaydedilmez.