Spark SQL-Formatter
Formatiere Apache Spark SQL und Databricks-Abfragen mit Spark-Regeln für Bezeichner in Backticks, Strings mit Backslash-Escapes, Raw-Strings im Format r'' und ${var}-Substitutionen. CLUSTER BY, DISTRIBUTE BY und SORT BY bleiben Klauseln, LATERAL VIEW und LEFT SEMI oder ANTI JOIN beginnen neue Zeilen und SELECT * EXCEPT bleibt in derselben Zeile. Nicht geschlossene Strings und Klammern werden mit Zeilen- und Spaltenangabe gemeldet, damit Data Engineers sie leichter finden.
Häufig gestellte Fragen
Welche Spark SQL-Syntax wird erkannt?
Bezeichner in Backticks, Strings in einfachen und doppelten Anführungszeichen mit Backslash-Escapes, Raw-Strings im Format r'' und binäre X''-Literale werden erkannt. ${var}-Substitutionen, map['key']- und array[0]-Indizes sowie ::-Casts bleiben intakt.
Welche Spark-spezifischen Klauseln werden unterstützt?
CLUSTER BY, DISTRIBUTE BY und SORT BY erhalten wie ORDER BY jeweils eine eigene Zeile. LATERAL VIEW, LATERAL VIEW OUTER, LEFT SEMI JOIN und LEFT ANTI JOIN beginnen wie andere Joins neue Zeilen.
Wie sieht es mit SELECT * EXCEPT aus?
EXCEPT direkt nach einem Stern bleibt in derselben Zeile. So wird SELECT * EXCEPT (col) nicht mit dem Mengenoperator EXCEPT verwechselt.
Bleiben ${var}-Platzhalter erhalten?
Ja. Substitutionen wie ${env} oder ${hivevar:date} bleiben exakt so erhalten, wie sie geschrieben wurden, einschließlich des Doppelpunkts darin.
Wird MERGE INTO unterstützt?
Ja. WHEN MATCHED- und WHEN NOT MATCHED-Zweige in Delta Lake-MERGE INTO-Anweisungen beginnen neue Zeilen.
Kann ich SQL aus einem PySpark-String einfügen?
Ja, füge den SQL-Text selbst ohne die umgebenden Python-Anführungszeichen ein. Das Ergebnis kannst du wieder in spark.sql() oder eine Notebook-Zelle einfügen.
Ändert das die Groß- und Kleinschreibung von Schlüsselwörtern?
Nein. Schlüsselwörter und Namen behalten die Schreibweise bei, die du eingegeben hast. Nur Leerzeichen und Zeilenumbrüche ändern sich.
Welche Fehler werden erkannt?
Nicht geschlossene Strings, Bezeichner in Backticks, Indizes und Blockkommentare sowie nicht ausgeglichene Klammern werden jeweils mit Zeilen- und Spaltenangabe gemeldet. Auf einem Cluster wird nichts ausgeführt.
Wie groß darf die Eingabe sein?
Bis zu 1 MB pro Anfrage und 128 KB pro Anweisung. Notebook-Exporte mit vielen Anweisungen werden einzeln formatiert.
Kann ich die Einrückung auswählen, und wird mein SQL gespeichert?
Verwende 2 oder 4 Leerzeichen oder Tabulatoren. Der SQL wird nur im Arbeitsspeicher formatiert und nie gespeichert.