Что да рассылки

Лапшин в свое время писал mysql -> pgsql

я бы не назвал это успехом

просто есть большая кодовая база на SQL, но при этом есть желание запускать это все на спарке

Как вариант udf с функциями, которые различаются в этих диалектах, написать. Но все - равно это полумера.

Есть вариант расширить Spark SQL. Действия в общем такие:
1. Расширить парсер, спарк использует Antlr, в исходниках можно найти файл грамматик и классы, которые отвечают за его использование. В 2.3.0 файлов с классами было два. Грамматики придется освоить, или, в крайнем случае, прикрутить парсер-комбинаторы scala, такое видел в Carbon Data
2. Добавить правила в оптимизатор. Если раскурить, как выполняются существующие стейтменты, смотря в код и на сайт Яцека Лазковского jaceklaskowski.gitbooks.io, то можно добавить те, которых не хватает, в логический план, проанализированный логический план, оптимизированный план, физический план. Некоторые этапы не надо будет править, потому что выполнение пойдет через существующие классы/объекты
3. Зарегистрировать созданные правила и парсер как расширения через хук при создании спарксессии, есть пара статей, где это хорошо описано, в документации тоже есть. Самый радостный пункт ))
4. Все вышеперечисленное лучше сразу (или до реализации) покрывать тестами, потому что связей очень много и риск получить совсем не то, что хочется, крайне высок

Разработка всего перечисленного потребует много времени и напряжения разработчиков, подумайте, может несколько джунов перепишут SQL, и, если они будут продвинутыми джунами, сразу на Dataset API !

Второй вариант выглядит куда реальнее)

В другом чате посоветовали попробовать написать сюда)

"""
Привет 👋
Кто-нибудь имел опыт пользования либами spark-daria и spark-fast-test? Стоит ли их вообще пытаться вносить в проект чтобы не писать утилитные велосипеды? Есть какие-либо отзывы по ним?
Заранее спасибо! 😀
"""

Доброй ночи! Подскажите пожалуйста: установил presto написал коннектор к базе, запустил через шел. И что? Как с ним работать дальше? Какие кейсы? С табло как то дружить?

Odbc например

Вы не доверяете документации? https://help.tableau.com/current/pro/desktop/en-us/examples_presto.htm

А про кейсы я вообще не понял, зачем вы его ставили если вам кейсы неизвестны?

Добрый день. Вопрос по Elasticsearch. есть ip адрес и порт. как подлючится к БД? К примеру пробовал _es = Elasticsearch([{'host': 'xxx.xxx.xxx.xxx', 'port': 9200}]). но когда делаю _ex.ping() = False. Хотя через терминал делал ping = пишет что все ок.

Привет

Подскажите пожалуйста как скипнуть первую строку когда выводишь таблицу в спарке?

А что для вас первая строка?

Ничего не значащая первая строка, которую просто надо выкинуть