Напомнило:

потом выясняется, что написанный иероглиф еще значит «вторник», «седло», «кнопка», «восемь», «громко жевать», «детородный орган змеи»

Это точно )))) особенно контекст важен )

кто нибудь сношался в python SDK azureml с таким объектом как Dataset.Tabular ?  документация у майкоф на его счет отсутствует. Собственно проблема в том что вместо милых всем нормальным людям пандосовских датафреймов azureml использует Dataset.TabularDataset, который создается вышеупомянутым Dataset.Tabular  из файлов с разделителями. Проблема в том что TabularDataset не имеет методов и полей которые бы могли бы кастить из float в int..

а int он считывает как десятичный, что совершенно не устраивает, так как это метка класса. И никаких тебе кастовых методов или .astype()..

А to_pandas_dataframe() не кастует?

а SDK дальше по пайплайну, несмотря на издевательское указание что работает с различными объектами в том числе  и pd.DataFrame в реальности работает только с TabularDataset. Вроде я нашел метод у фабрики создающей TabularDataset. Документация ужасающе противоречивая, на удивление хреново они ее поддерживают)

Хз, может кому то пригодится #azureml, решил так (нужен azureml.data.DataType) :

Dataset.Tabular.from_delimited_files(path = '',  set_column_types={'FeatureColumn':DataType.to_string(),'Mark':DataType.to_long()}

Подскажите, пожалуйста, суррогатные ключи(искусственные уникальные идентификаторы ID)в Spark SQL  лучше генерировать с помощью функций генерации UUID ? В Spark SQL может есть ещё аналоги Sequences из мира классических RDBMS ?

Если кому интересно
https://habr.com/ru/company/arenadata/blog/566182/

отличная работа! datasourcev2 очень кудрявый и местами плохо документированный API

даже SupportReportStatistics реализовали?

Он условно закрытый?

Да, для коммерческих заказчиков.

всем привет, есть кто то, кто на реальных проектах имел дело с apache thrift и с gRPC и может рассказать свое мнение о том что лучше и какие там есть существенные различия между ними в скорости передачи данных, например?

Ну такой уже есть(

Хотя где-то в архивах инэта был и код открытого, который самим надо собирать)