Вопросы по теме 'google-bigquery'

Дата Google BigQuery (формат строки) не удалось преобразовать / преобразовать как дату
Я пытаюсь преобразовать / преобразовать дату в большом запросе в формат даты. Мой запрос такой: SELECT CAST(t.date AS date) FROM `table` t; Но я получил код ошибки Invalid date:'20151108' . он дал мне другую дату ошибки, когда я запустил...
1271 просмотров
schedule 23.04.2024

Apache Beam в потоке данных большой боковой ввод
Это больше всего похоже на это вопрос . Я создаю конвейер в Dataflow 2.x, который принимает потоковый ввод из очереди Pubsub. Каждое поступающее сообщение необходимо передать в потоке через очень большой набор данных, поступающий из Google...
6431 просмотров

Как реплицировать посещения поля GA в Big Query
В типичном сеансе GA после выбора идентификатора представления и диапазона дат Мы можем получить данные за неделю следующим образом: Users 146,207 New Users 124,582 Sessions 186,191 Вопрос в том, какие поля BQ запрашивать, чтобы получить...
378 просмотров
schedule 09.05.2024

PyTest teardown_class запускается слишком рано
Python teardown_class ведет себя не так, как я ожидал. Ниже приводится краткое изложение моего кода: @classmethod def setup_class(cls): cls.create_table(table1) cls.create_table(table2) cls.create_table(table3) @classmethod def...
239 просмотров
schedule 07.05.2024

Получить заголовок видео в BigQuery
Сделал перенос данных ютуб канала в BigQuery. Видео идентифицируются по идентификатору видео, а не по названию. Есть ли способ получить таблицу заголовков, чтобы я мог присоединить ее к идентификаторам? Или мне нужно работать с YT API на втором...
177 просмотров

Объединить две таблицы с разными датами на основе значения столбца?
Мы перешли на новую платформу 1 января, и мне нужно объединить две таблицы, чтобы получить источник данных с объединенными старыми и новыми данными. Однако некоторые учетные записи пришлось перевести со старой платформы до 1 января. В новой...
50 просмотров
schedule 27.03.2024

Управление транзакциями в Google Bigquery
Эта проблема связана с управлением транзакциями в BigQuery. Я пытаюсь вставить в несколько таблиц из своего кода. Однако, поскольку после каждого оператора существует неявная фиксация, у меня нет возможности откатиться от первой таблицы, если...
4705 просмотров
schedule 07.05.2024

BigQuery: проблема с аналитикой окна
Если я запускаю следующий запрос WITH series AS( SELECT 'abcd' AS id, 'first' AS value, DATE('2020-07-27') AS date UNION ALL SELECT 'abcd' AS id, 'second' AS value, DATE('2020-07-28') AS date UNION ALL SELECT 'efgh' AS id, 'first' AS...
140 просмотров

Разделите строку, содержащую данные за несколько дней, по отдельной дате (BigQuery).
У меня есть набор данных, который содержит информацию об определенном типе события, включая starttime , endtime и duration (в минутах). Я хотел бы сгруппировать эти данные по date (будут извлечены из starttime ), но у меня есть строка,...
37 просмотров
schedule 19.04.2024

Приложение Firebase Analytics и пользователь Big Query Count
Как подсчитываются пользователи в аналитике firebase? Я запустил запрос ниже, но у меня большее число на панели инструментов GA (9k пользователей и 3,5k новых пользователей) вместо BigQuery (7,190) SELECT count(distinct user_pseudo_id) as user...
42 просмотров
schedule 26.05.2024

Автоматическое создание таблиц в Bigquery для нескольких CSV-файлов
Я хочу автоматически генерировать таблицы в Bigquery всякий раз, когда файл загружается в корзину хранилища, используя облачную функцию в python. Например, если файл sample1.csv загружен в корзину, то в Bigquery будет создана таблица sample1. Как...
88 просмотров