Version des composants
Version et release note de l'Open Source Data Platform la stack ODP est basée sur les composants Apache officiels, et le tableau suivant regroupe les versions officielles et Clemlab.
Apache Components
| Nom du projet | Version Apache | Version de build ODP |
|---|---|---|
| Apache Ambari | 2.7.8 | 2.7.8.0 |
| Apache Atlas | 2.3.0 | 2.3.0.1.2.1.0 |
| Apache Zookeeper | 3.5.6 | 3.5.6.1.2.1.0 |
| Apache Hadoop | 3.3.4 | 3.3.4.1.2.1.0 |
| Apache Hive | 3.1.3 | 3.1.3.1.2.1.0 |
| Apache HBase | 2.5.3 | 2.5.3.1.2.1.0 |
| Apache Kafka | 2.5.8 | 2.5.8.1.2.1.0 |
| Apache Knox | 2.0.0 | 2.0.0.1.2.1.0 |
| Apache Livy | 0.8.1 | 0.8.1.1.2.1.0 |
| Apache NiFi | 1.20.0 | 1.20.0.1.2.1.0 |
| Apache NiFi Registry | 0.8.0 | 0.8.0.1.2.1.0 |
| Apache Oozie | 5.2.1 | 5.2.1.1.2.1.0 |
| Apache Phoenix | 5.1.2 | 5.1.2.1.2.1.0 |
| Apache Ranger | 2.4.0 | 2.4.0.1.2.1.0 |
| Apache Ranger KMS | 2.4.0 | 2.4.0.1.2.1.0 |
| Apache Spark 2 | 2.4.8 | 2.4.8.1.2.1.0 |
| Apache Spark 3 | 3.4.1 | 3.4.1.1.2.1.0 |
| Apache Flink | 1.17.0 | 1.17.0.1.2.1.0 |
| Apache TEZ | 0.10.1 | 0.10.1.1.2.1.0 |
| Apache Ozone | 1.3.0 | 1.3.0.1.2.1.0 |
| Apache Solr | 8.11.2 | 8.11.2.1.2.1.0 |
Version Ambari
La distribution ODP peut être installée de manière manuelle ou avec Ambari. Les versions compatibles d'Apache Ambari sont les suivantes.
| Version ODP | Version Ambari |
|---|---|
| 1.0.3.x | 2.7.6.x/2.7.8.x |
| 1.0.4.x | 2.7.6.x/2.7.8.x |
| 1.0.5.x | 2.7.6.x/2.7.8.x |
| 1.1.6.x | 2.7.6.x/2.7.8.x |
| 1.2.1.x | 2.7.8.x |
Précédent : Installation
Suivant : Pré-requis et versions supportées.
Release Note - Open Source Data Platform
ODP 1.2.1.0 - 27 Septembre 2023
Upgrade majeure de la distribution
- Upgrade de Apache Hadoop vers la version 3.3.3
- Upgrade de Apache HBase vers la version 2.5.3
- Upgrade de Apache Spark 3 vers la version 3.4.1
- Upgrade de Apache Atlas vers la version 2.3.0
- Upgrade de Apache Ranger vers la version 2.4.0
- Upgrade de Apache Flink vers la version 1.17.0
- Upgrade de Apache Nifi vers la version 1.20.0
- Upgrade de Apache Ozone vers la version 1.3.0
- Upgrade de Apache Hive vers la version 1.3.1
Upgrade Ambari Version vers la version 2.7.8
- Upgrade Grafana vers la version 10.0.1
- Fix Ambari Metrics Dashboard non compatible avec dernier Grafana
Knox Bug Fix
- Fix Ambari Ui lors de l'ajout d'un repos
- Fix Solr Collection non créés lors de l'installation de Ranger
- Fix Ozone Plugin qui ne synchronisait pas avec Ranger
Since 1.1 and for now Apache Ozone can be installed only en mode Standalone avec Apache Ranger et Apache Solr pour sécurité ACL.
ODP 1.1.6.0 - 05 June 2023
Ajout du support d'Apache Ozone en version 1.2.1 (Tech Preview) Le support d'Ozone apport les fonctionnalités suivantes
- Haute Disponibilité pour Ozone Manager et Ozone Storage Container
- Ozone RECON WEBui
- Ozone AWS Gateway
- Kerberos
- SSL/TLS
- Support de la gestion d'ACL par Ranger
Apache Ozone ne peut être colocalisé avec Apache HDFS dans le même cluster géré par Ambari
ODP 1.0.5.0 - 08 Août 2022
Montée de version de la version de Spark vers 3.2.2
ODP 1.0.4.0 - 28 Juin 2022
Introduction d'Apache Flink qui est un moteur de calcul distribué basé sur des états static de données limités ou illimités. Apache Flink a été ajouté à la distribution ODP et peut être utilisée avec Kerberos.
Release Note - Ambari
Ambari 2.7.8.0 - 05 June 2023
- backport security patch and CVE
- add support for Apache Ozone installation
- AMBARI-31 (clemlab): Port main commits - follow up - align grafana version with main
- AMBARI-38 (Clemlab): Create ranger lookup password for ranger 2.4.0 - follow up add conditional statement
- AMBARI-38 (Clemlab): Create ranger lookup password for ranger 2.4.0 - rewrite repository creation user creations
- AMBARI-38 (Clemlab): Create ranger lookup password for ranger 2.4.0 - dissociate creation from rangerlookup and amber external user
- AMBARI-38 (Clemlab): Create ranger lookup password for ranger 2.4.0 - fix method not allowed and
- Use apache lucen project instead of Hortonworks
- AMBARI-48 (clemlab): Atlas fails to start when ssl is not enabled
- AMBARI-45: missing zeppelin user name in pid and log file
- AMBARI-44: ambari does not deploy knoxsso topology
- AMBARI-42: Flink kerberos install fails because of python error
- AMBARI-41 (clemlab): ambari collector not starting since using base 2.5 version
- AMBARI-25920: Ports Ambari server build failed due to ambari-serviceadvisor version
- Update datanode_webui alert with HDFS 3.3.4
- Switch Ambari metrics version to latest official build
- AMBARI-38: Create ranger lookup password for ranger 2.4.0 - follow up
- Fix permission on yarn apps directory
- AMBARI-27: Backport Issues from Main trunk - need http core upgrade follow up on AMBARI-25716
- AMBARI-40: add ubuntu22 support - start adding definition info
- AMBARI-39: ambari metrics enable to start embedded zookeeper because of zookeeper ensemble
- AMBARI-38: Create ranger lookup password for ranger 2.4.0
- AMBARI-33: Create Stack ODP 1.1 extending 1.0 - follow up on cycle dep
- Update repository generation with 2.7.8.0.0
- Remove usage of ${project.version}
- Introduce serviceadvisor and utility tag version
- Remove duplicate declaration of dependency
BUG connus
| ODP Stack | Description |
|---|---|
| SPARK 2 | Mauvaise substitution on odp.version |
| Ambari | Description |
|---|---|
| UI | Parfois les recommandations affichent une erreure à cause de la propriété yarn-site shuffle service property |