O Apache Airflow é uma ferramenta open source desenvolvida pela Apache Foundation para realizar a criação, agendamento e monitoramento de processos de ETL/ELT de forma programática. É escrito em Python (inclusive para os códigos ETL), funciona de maneira simples, dinâmica, escalável e possuí alguns diferenciais que auxiliam na administração como interface web, autenticação ldap (com gestão de acesso a cada ETL por grupos).
Conhecendo agora o Airflow, vamos falar como instalar ele em sua organização.
Vamos considerar aqui que você já tem um CentOS instalado com um padrão de sua empresa. Se você ainda não tem um padrão de instalação, sugerimos que leia primeiro alguns de nossos posts para se basear em uma instalação padrão para sua empresa:
- Instalação padrão do CentOS7
- Corrigir erro de não conseguir mais executar comando yum no CentOS
- Configurando o SSSD para integrar o CentOS com o LDAP (Active Directory)
- Montar compartilhamentos CIFS no CentOS
Com o sistema operacional instalado e configurado, acesse como root e execute os seguintes comandos para instalar os pacotes mínimos necessários:
yum install bzip2-devel gcc libffi-devel libpq libpq-devel openssl-devel sqlite-libs sqlite-devel unixODBC unixODBC-devel xz-devel zlib-devel -y
yum groupinstall "Development Tools" -y
Com os requisitos mínimos instalados, vamos instalar o Python 3.10. Para isso, execute:
cd /opt
wget https://www.python.org/ftp/python/3.10.0/Python-3.10.0.tgz
tar xvf Python-3.10.0.tgz
cd Python-3.10.0
./configure --enable-loadable-sqlite-extensions --enable-optimizations
make altinstallVamos instalar o pip, do repositório yum, que irá nos ajudar a suprir alguns erros e requisitos, execute o comando:
yum install python3-pip -yAgora, vamos atualizar o pip e instalar os módulos que usaremos do Python. Para isso, execute os seguintes comandos:
/usr/local/bin/python3.10 -m pip install --upgrade pip
pip install PyYAML
pip install wheel
pip install pysqlite3
pip install pyodbc
pip install psycopg2
pip install pandas
pip install apache-airflowAgora vamos baixar os arquivos de serviço do Airflow e configurá-los no ambiente, para isso execute:
useradd airflow
mkdir /etc/airflow
mkdir /run/airflow
chown airflow:airflow /run/airflow
chmod 0755 -R /run/airflowAgora vamos fazer download dos arquivos do https://github.com/apache/airflow/tree/main/scripts/systemd
wget -P /etc/sysconfig/ https://raw.githubusercontent.com/apache/airflow/master/scripts/systemd/airflow
wget -P /usr/lib/systemd/system/ https://raw.githubusercontent.com/apache/airflow/master/scripts/systemd/airflow-scheduler.service
wget -P /usr/lib/systemd/system/ https://raw.githubusercontent.com/apache/airflow/master/scripts/systemd/airflow-webserver.service
wget -P /etc/airflow/ https://raw.githubusercontent.com/apache/airflow/master/scripts/systemd/airflow.confPara criarmos a estrutura padrão do Airflow, tanto de arquivos, permissões e exemplos na intergade, execute o seguinte comando:
export AIRFLOW_HOME=/opt/airflow
echo "AIRFLOW_HOME=/opt/airflow" >> /etc/environment
airflow db initAgora vamos criar a conta de administrador:
airflow users create --username admin --firstname Admin --lastname Airflow --role Admin --email email_da_sua_equipe_de_ti@sua_empresa.com.brIrá solicitar uma senha, informe-a (e confirme-a), em seguida execute:
ln -s /etc/airflow/airflow.conf /usr/lib/tmpfiles.d/airflow.conf
ln -s /opt/airflow/airflow.cfg /etc/airflow/airflow.cfg
ln -s /opt/airflow/webserver_config.py /etc/airflow/webserver_config.py
ln -s `which airflow` /bin/airflow
sed -i "s/hostname_callable = socket.getfqdn/hostname_callable = socket:gethostname/g" /etc/airflow/airflow.cfg
sed -i "s/warn_deployment_exposure = True/warn_deployment_exposure = False/g" /etc/airflow/airflow.cfg
mkdir /opt/airflow/dags
mkdir /opt/airflow/plugins
chown -R airflow:airflow /opt/airflow
chmod -R 775 /opt/airflowCaso possua, coloque algum arquivo/script etl na pasta dags criada acima, para o que o Airflow leia, quando for iniciado. Com o ambiente preparado, vamos inicializar o diretório home do Airflow, para isso, execute:
echo "AIRFLOW_CONFIG=/opt/airflow/airflow.cfg" >> /etc/sysconfig/airflow
echo "AIRFLOW_HOME=/opt/airflow" >> /etc/sysconfig/airflowCom todo o ambiente pronto, configure o serviço para iniciar automaticamente
systemctl enable airflow-scheduler
systemctl enable airflow-webserverPara configurar o envio de e-mail, verifique no seu servidor de e-mail se está liberado o relay a partir do IP do seu servidor de Airflow e que há toda a liberação de rede (portas TCP no firewall, etc.), em seguida execute:
sed -i "s/smtp_host = localhost/smtp_host = seu_servidor_smtp.seu_dominio.com.br/g" /etc/airflow/airflow.cfg
sed -i "s/smtp_mail_from = airflow@example.com/smtp_mail_from = airflow@seu_dominio.com.br/g" /etc/airflow/airflow.cfgReinicie o servidor com o comando:
init 6Acesse a interface do Airflow por um navegador, com o endereço http://seu_servidor_airflow:8080 (com o usuário admin e a senha que você definiu durante a instalação)
Controlando os logs do Airflow
A configuração padrão do Airflow, além de gerar muitos logs, gera uma pasta diferente para cada log gerado. O que inviabiliza uma gerência da informação e do espaço em disco. Agora que seu Airflow está instalado e funcionando, caso queira mudar essa configuração sugerimos que leia nosso post Controlando os logs do Airflow, para reduzir consumo de disco
Opcional – Adicionar módulos adicionais no Python
Caso ache necessário colocar alguns desses módulos listados abaixo, execute:
pip install bcrypt
pip install iso8601
pip install isodate
pip install pandas-gbq
pip install mypy-extensions
pip install psycopg2-binary
pip install pyOpenSSL
pip install redis
pip install sshtunnel
pip install mysql-connector-python
pip install virtualenv
pip install pysftp
pip install websocket-client
pip install tornado
pip install httplib2
pip install grpcio-gcp
pip install ldap3
pip install python-http-client
pip install apache-airflow-providers-odbc
pip install apache-airflow-providers-ssh
yum install mysql-common mysql-libs mysql-devel -y
pip install mysqlclient
pip install apache-airflow-providers-mysql
pip install apache-airflow-providers-postgres
yum install openldap-devel -y
pip install python-ldapOpcional – Instalando o driver MSSQL
Para instalar o driver MSSQL, execute os seguintes comandos:
curl https://packages.microsoft.com/config/rhel/8/prod.repo > /etc/yum.repos.d/mssql-tools.repo
yum remove unixODBC-utf16 unixODBC-utf16-devel
ACCEPT_EULA=Y yum install msodbcsql17 mssql-tools -y
echo 'export PATH="$PATH:/opt/mssql-tools/bin"' >> ~/.bash_profile
echo 'export PATH="$PATH:/opt/mssql-tools/bin"' >> ~/.bashrc
source ~/.bashrc
yum install -y unixODBC-devel
pip install pymssqlFontes/Referências
NVLAN – Configurando o SSSD para integrar o CentOS com o LDAP (Active Directory)
NVLAN – Controlando os logs do Airflow, para reduzir consumo de disco
NVLAN – Corrigir erro de não conseguir mais executar comando yum no CentOS
NVLAN – Instalação padrão do CentOS7
NVLAN – Montar compartilhamentos CIFS no CentOS
https://airflow.apache.org/docs/apache-airflow/stable/installation/installing-from-pypi.html
https://airflow.apache.org/docs/apache-airflow/stable/start/local.html
https://docs.microsoft.com/pt-br/sql/connect/python/pyodbc/step-1-configure-development-environment-for-pyodbc-python-development?view=sql-server-ver16
https://github.com/danilosousadba/airflow
https://medium.com/@ryanroline/installing-apache-airflow-on-windows-10-5247aa1249ef
https://mlopshowto.com/an-apache-airflow-mvp-complete-guide-for-a-basic-production-installation-using-localexecutor-beb10e4886b2
https://stackoverflow.com/questions/1210664/no-module-named-sqlite3
https://tecadmin.net/install-python-3-7-on-centos-8/
https://towardsdatascience.com/how-to-run-apache-airflow-as-daemon-using-linux-systemd-63a1d85f9702
https://www.youtube.com/watch?v=s6TygwvYdN0
https://www.youtube.com/watch?v=SYOUbiGtGiU
Mais Informações
Esperamos ter ajudado da melhor forma possível e estaremos sempre a disposição para mais informações.
Se você tem interesse em algum assunto específico, tem alguma dúvida que precisa de ajuda, ou quer sugerir um post, entre em contato conosco pelo e-mail equipe@nvlan.com.br.
