Μορφοποιητής Spark SQL
Μορφοποιήστε τα Apache Spark SQL και τα ερωτήματα Databricks με κανόνες Spark για αναγνωριστικά σε ανάστροφα εισαγωγικά, συμβολοσειρές με διαφυγές ανάστροφης καθέτου, ακατέργαστες συμβολοσειρές r'' και αντικαταστάσεις ${var}. Τα CLUSTER BY, DISTRIBUTE BY και SORT BY διατηρούνται ως ρήτρες, τα LATERAL VIEW και LEFT SEMI ή ANTI JOIN ξεκινούν σε νέες γραμμές και το SELECT * EXCEPT παραμένει στην ίδια γραμμή. Οι μη κλειστές συμβολοσειρές και παρενθέσεις αναφέρονται με γραμμή και στήλη για τους μηχανικούς δεδομένων.
Συχνές ερωτήσεις
Ποια σύνταξη Spark SQL αναγνωρίζεται;
Αναγνωρίζονται αναγνωριστικά σε ανάστροφα εισαγωγικά, συμβολοσειρές σε μονά και διπλά εισαγωγικά με διαφυγές ανάστροφης καθέτου, ακατέργαστες συμβολοσειρές r'' και δυαδικά λεκτικά X''. Οι αντικαταστάσεις ${var}, οι δείκτες map['key'] και array[0], καθώς και οι μετατροπές τύπου :: διατηρούνται ακέραια.
Ποιες ειδικές ρήτρες Spark υποστηρίζονται;
Τα CLUSTER BY, DISTRIBUTE BY και SORT BY αποκτούν δικές τους γραμμές, όπως το ORDER BY. Τα LATERAL VIEW, LATERAL VIEW OUTER, LEFT SEMI JOIN και LEFT ANTI JOIN ξεκινούν σε νέες γραμμές όπως οι συνδέσεις.
Τι γίνεται με το SELECT * EXCEPT;
Το EXCEPT αμέσως μετά από αστερίσκο παραμένει στην ίδια γραμμή. Έτσι, το SELECT * EXCEPT (col) δεν συγχέεται με τον τελεστή συνόλων EXCEPT.
Διατηρούνται τα υποκατάστατα ${var};
Ναι. Αντικαταστάσεις όπως ${env} ή ${hivevar:date} διατηρούνται ακριβώς όπως γράφτηκαν, συμπεριλαμβανομένης της άνω και κάτω τελείας μέσα τους.
Υποστηρίζεται το MERGE INTO;
Ναι. Οι κλάδοι WHEN MATCHED και WHEN NOT MATCHED των εντολών MERGE INTO του Delta Lake ξεκινούν σε νέες γραμμές.
Μπορώ να επικολλήσω SQL από συμβολοσειρά PySpark;
Ναι, επικολλήστε το ίδιο το κείμενο SQL χωρίς τα περιβάλλοντα εισαγωγικά Python. Το αποτέλεσμα μπορεί να επικολληθεί ξανά στο spark.sql() ή σε κελί σημειωματάριου.
Αλλάζει την πεζοκεφαλαία γραφή των λέξεων-κλειδιών;
Όχι. Οι λέξεις-κλειδιά και τα ονόματα διατηρούν την πεζοκεφαλαιοποίηση που γράψατε. Αλλάζουν μόνο τα κενά και οι αλλαγές γραμμής.
Ποια σφάλματα εντοπίζονται;
Μη κλειστές συμβολοσειρές, αναγνωριστικά σε ανάστροφα εισαγωγικά, δείκτες και σχόλια μπλοκ, καθώς και μη ισοζυγισμένες παρενθέσεις, όλα με γραμμή και στήλη. Δεν εκτελείται τίποτα σε σύμπλεγμα.
Πόσο μεγάλο μπορεί να είναι το αρχείο εισόδου;
Έως 1 MB ανά αίτημα και 128 KB ανά εντολή. Οι εξαγωγές σημειωματάριου με πολλές εντολές μορφοποιούνται μία εντολή κάθε φορά.
Μπορώ να επιλέξω την εσοχή και αποθηκεύεται το SQL μου;
Χρησιμοποιήστε 2 ή 4 κενά ή στηλοθέτες. Το SQL μορφοποιείται μόνο στη μνήμη και δεν αποθηκεύεται ποτέ.