Parquet-fil er en hdfs-fil, der skal indeholde metadata for filen. Dette gør det muligt at opdele kolonner i flere filer, såvel som at have en enkelt metadatafil, der refererer til flere parketfiler. Metadataene inkluderer skemaet for de data, der er gemt i filen.
Hvordan opretter jeg et skema til en parketfil?
For at generere skemaet for parketprøvedata skal du gøre følgende:
- Log ind på Haddop/Hive-boksen.
- Det genererer skemaet i stdout'en som følger: -------------- [~] parket-værktøjer skema abc.parquet. besked hive_schema { …
- Kopiér dette skema til en fil med. parket/. par udvidelse.
Understøtter parket skemaudvikling?
Schema Merging
Ligesom Protocol Buffer, Avro og Thrift, Parquet understøtter også skemaudvikling Brugere kan starte med et simpelt skema og gradvist tilføje flere kolonner til skemaet efter behov. På denne måde kan brugere ende med flere Parket-filer med forskellige, men gensidigt kompatible skemaer.
Har parketfiler datatyper?
Parquet-fildatatyper er knyttet til transformationsdatatyper, som dataintegrationstjenesten bruger til at flytte data på tværs af platforme. Parket-skemaet, som du angiver til at læse eller skrive en Parket-fil, skal være med små bogstaver.
Hvad er strukturen af parketfilen?
Parquet-filer er sammensat af rækkegrupper, sidehoved og sidefod Hver rækkegruppe indeholder data fra de samme kolonner. De samme kolonner er gemt sammen i hver rækkegruppe: Denne struktur er veloptimeret både til hurtig forespørgselsydeevne samt lav I/O (minimerer mængden af scannede data).
