Formator Spark SQL
Formatați Apache Spark SQL și interogările Databricks cu regulile Spark pentru identificatori între backtick-uri, șiruri cu escape-uri backslash, șiruri brute r'' și substituții ${var}. CLUSTER BY, DISTRIBUTE BY și SORT BY sunt păstrate ca clauze, LATERAL VIEW și LEFT SEMI sau ANTI JOIN încep pe linii noi, iar SELECT * EXCEPT rămâne pe aceeași linie. Șirurile și parantezele neînchise sunt raportate împreună cu linia și coloana, pentru inginerii de date.
Întrebări frecvente
Ce sintaxă Spark SQL este recunoscută?
Sunt recunoscuți identificatorii între backtick-uri, șirurile între ghilimele simple și duble cu escape-uri backslash, șirurile brute r'' și literalii binari X''. Substituțiile ${var}, indicii map['key'] și array[0], precum și conversiile ::, sunt păstrate intacte.
Ce clauze specifice Spark sunt acceptate?
CLUSTER BY, DISTRIBUTE BY și SORT BY primesc propriile linii, la fel ca ORDER BY. LATERAL VIEW, LATERAL VIEW OUTER, LEFT SEMI JOIN și LEFT ANTI JOIN încep pe linii noi, la fel ca celelalte tipuri de JOIN.
Dar SELECT * EXCEPT?
EXCEPT aflat imediat după un asterisc rămâne pe aceeași linie. Astfel, SELECT * EXCEPT (col) nu este confundat cu operatorul de reuniune EXCEPT.
Sunt păstrați substituenții ${var}?
Da. Substituții precum ${env} sau ${hivevar:date} sunt păstrați exact așa cum au fost scriși, inclusiv două puncte din interior.
Este acceptată instrucțiunea MERGE INTO?
Da. Ramurile WHEN MATCHED și WHEN NOT MATCHED din instrucțiunile Delta Lake MERGE INTO încep pe linii noi.
Pot lipi SQL dintr-un șir PySpark?
Da, lipiți textul SQL propriu-zis, fără ghilimelele Python din jur. Rezultatul poate fi lipit înapoi în spark.sql() sau într-o celulă de notebook.
Schimbă literele mari și mici ale cuvintelor cheie?
Nu. Cuvintele cheie și numele păstrează forma cu majuscule și minuscule pe care ați scris-o. Se modifică doar spațiile albe și întreruperile de linie.
Ce erori sunt detectate?
Șiruri neînchise, identificatori între backtick-uri, indici și comentarii bloc, precum și paranteze dezechilibrate, fiecare cu linia și coloana. Nimic nu este rulat pe un cluster.
Cât de mare poate fi intrarea?
Până la 1 MB per solicitare și 128 KB per instrucțiune. Exporturile din notebook cu multe instrucțiuni sunt formatate câte una.
Pot alege indentarea și este stocat SQL meu?
Folosiți 2 sau 4 spații ori taburi. SQL este formatată doar în memorie și nu este salvată niciodată.