Oblikovalnik za Spark SQL
Oblikujte Apache Spark SQL in poizvedbe Databricks po pravilih Spark za identifikatorje v povratnih narekovajih, nize z ubežnimi znaki s poševnico nazaj, surove nize r'' in zamenjave ${var}. CLUSTER BY, DISTRIBUTE BY in SORT BY so ohranjeni kot stavčni členi, LATERAL VIEW ter LEFT SEMI ali ANTI JOIN se začnejo v novih vrsticah, SELECT * EXCEPT pa ostane v isti vrstici. Nezaključeni nizi in oklepaji so označeni z vrstico in stolpcem za podatkovne inženirje.
Pogosta vprašanja
Katera sintaksa za Spark SQL je podprta?
Prepoznani so identifikatorji v povratnih narekovajih, nizi v enojnih in dvojnih narekovajih z ubežnimi znaki s poševnico nazaj, surovi nizi r'' in binarni literali X''. Zamenjave ${var}, indeksi map['key'] in array[0] ter pretvorbe :: se ohranijo nedotaknjeni.
Kateri stavčni členi, značilni za Spark, so podprti?
CLUSTER BY, DISTRIBUTE BY in SORT BY dobijo svoje vrstice, tako kot ORDER BY. LATERAL VIEW, LATERAL VIEW OUTER, LEFT SEMI JOIN in LEFT ANTI JOIN se začnejo v novih vrsticah, tako kot združitveni stavki.
Kaj pa SELECT * EXCEPT?
EXCEPT neposredno za zvezdico ostane v isti vrstici. Tako se SELECT * EXCEPT (col) ne zamenja z operatorjem množic EXCEPT.
Ali se ohranijo nadomestni znaki ${var}?
Da. Zamenjave, kot sta ${env} ali ${hivevar:date}, se ohranijo natanko tako, kot so bile zapisane, vključno z dvopičjem v njih.
Ali podpira MERGE INTO?
Da. Veji WHEN MATCHED in WHEN NOT MATCHED stavkov Delta Lake MERGE INTO se začneta v novih vrsticah.
Ali lahko prilepim SQL iz niza PySpark?
Da. Prilepite samo besedilo SQL, brez okoliških narekovajev Python. Rezultat lahko prilepite nazaj v spark.sql() ali celico zvezka.
Ali spremeni velikost črk v ključnih besedah?
Ne. Ključne besede in imena ohranijo zapis z velikimi in malimi črkami, kot ste ga uporabili. Spremenijo se samo presledki in prelomi vrstic.
Katere napake zazna?
Nezaključeni nizi, identifikatorji v obratnih narekovajih, indeksi in komentarji v blokih ter neuravnoteženi oklepaji; pri vsaki napaki sta navedeni vrstica in stolpec. Na gruči se nič ne izvede.
Kako velik je lahko vhod?
Do 1 MB na zahtevo in 128 KB na stavek. Izvozi zvezkov z več stavki se oblikujejo po en stavek naenkrat.
Ali lahko izberem zamik in ali se moj SQL shrani?
Uporabite 2 ali 4 presledke ali tabulatorje. SQL se oblikuje samo v pomnilniku in se nikoli ne shrani.