BigQuery
Bei BigQuery handelt es sich um einen Webservice von Google, das der Analytics-Produktreihe zuzuordnen ist. Entwickelt wurde der Service speziell zur besonders schnellen und webbasierten Datenabfrage und um mit sehr großen Datenmengen zu arbeiten.
Allgemeine Informationen zum Thema
BigQuery arbeitet mit Datenmengen im Bereich mehrerer Milliarden Zeilen. Um diese zu verbreiten, wird eine besondere Syntax benutzt, die mit SQL vergleichbar ist. Damit der Dienst BigQuery genutzt werden kann, greift Google auf schon existierende Cloud-Storage-Infrastrukturen zurück, die dezentralisiert sind und dadurch eine schnelle Datenverarbeitung ermöglichen. Die Folge ist eine Verbreitung von Daten innerhalb weniger Sekunden. BigQuery wird mit einer REST-orientierten Programmierschnittstelle (API) realisiert.
BigQuery wurde von Google bereits im Jahr 2011 veröffentlicht, damals noch unter dem Namen „V2“. Seitdem hat das System zahlreiche Entwicklungsstufen durchlaufen[1].
BigQuery für Unternehmen mit großen Datenmengen
Gedacht ist BigQuery vornehmlich für Entwickler und Unternehmen, die große Datenmengen bewegen und diese analysieren wollen. Aufgrund der Indexierung des Webs durch Google, war es schon früh nötig, entsprechende Tools zu entwickeln, um selbst Analysen betreiben zu können. Während diese zu Beginn von Google nur intern genutzt wurden, ist BigQuery als weiterführende Variante für Unternehmen zu sehen.
Die technische Grundlage von BigQuery ist ein Online Analytical Processing System: kurz: OLAP. Dieses ermöglicht die Verarbeitung von Datensätzen im Bereich von Milliarden Zeichen bzw. der Größe von Terabytes und wird in Verbindung mit Big Data angewendet. Denkbar ist die Nutzung von BigQuery über eine Kommandozeile, eine REST-API oder eine Web-Oberfläche. Alle Daten lassen sich im CVS-Format auf Google-Servern hochladen.
Um BigQuery nutzen zu können, gibt es eine Preisstaffelung, die nach Speicherplatz berechnet wird. Die maximale Datenmenge beträgt 2TB, das Limit der täglich möglichen Anfragen beträgt 1000. Die ersten 100GB sind kostenfrei, die weitere Nutzung wird nach Datenmengen berechnet.
Für die Verarbeitung von Online Transaction Processing (kurz: OLTP) Eignet sich BigQuery ebenso wenig wie für Änderungen an gespeicherten Daten, die nicht möglich sind[2].
Beispiele für BigQuery
Grenzen für große Datenmengen tauchen beispielsweise auf, wenn es um den Bereich Suchmaschinenoptimierung (SEO) geht. Will man etwa wissen, wie sich der Traffic aller Linkpartnerschaften des letzten halben Jahres entwickelt hat, steht man schnell vor Samplingproblemen. Auch die Auswertung von Keywordcluster der letzten ein oder zwei Jahre gestaltet sich schwierig, mittels Google Analytics Interface lässt sich das kaum darstellen. BigQuery bietet hier Möglichkeiten, mit deren Hilfe SEO deutlich verbessert werden kann.
Ähnlich verhält es sich, wenn unterschiedliche Datenquellen analysiert werden sollen, zum Beispiel für Betreiber von Shops, die sowohl online als auch offline agieren. Hier können die verschiedenen Verkaufsdaten durch BigQuery analysiert und abgeglichen werden[3].
QlikView und Google BigQuery
Der Webservice BigQuery lässt sich durch Entwickler und Unternehmen nutzen, ohne vorab zusätzliche Investitionen in Hardware oder Software tätigen zu müssen. Zudem ist BigQuery einfach zu bedienen und skalierbar, der Einsatz on-Demand erlaubt leistungsfähige Datenanalysen.
Die QlikView-BusinessDiscovery-Plattform erlaubt als benutzerdefinierbare Erweiterung eine einfache Integration in Google BigQuery. Anwender können mit dem QlikView-Konnektor die BigQuery-Daten in den Arbeitsspeicher laden und diesen nach Informationen durchsuchen, ohne Einschränkungen in Kauf nehmen zu müssen. Durch die assoziative Datenanalyse in QlikView können Anwender zudem die BigQuery-Daten flexibel durchsuchen und bearbeiten.
QlikView bietet zusätzlich zum benutzerdefinierbaren Konnektor eine Objekterweiterung, was eine direkte Verbindung des QlikView-Dashboards zu BigQuery von Google erlaubt. So können etwa Mitarbeiter von Fachbereichen ad-hoc-Fragen stellen und erhalten in kurzer Zeit – auch bei großen Datenmengen – Antworten. Auch Daten, die sich nicht im Memory befinden, können spontan ausgewertet werden. Sämtliche Ergebnisse liegen bereits nach wenigen Sekunden vor, das Schreiben von SQL-Zeilen fällt weg.
Für die Nutzbarkeit ist die Integration von QlikView und BigQuery eine spürbare Erleichterung, weil auch Benutzer, die keine oder wenige technische Vorkenntnisse mitbringen, Milliarden von Datenzeilen auswerten und nach für sie relevanten Informationen durchsuchen können. Die Arbeit ist darüber hinaus möglich, ohne umfangreiches SQL-Know-how mitbringen zu müssen[4].
Bedeutung für das Development
BigQuery kann Unternehmen helfen, mit großen Datenmengen besser umzugehen bzw. aus diesen Informationen zu ziehen, die ohne die Hilfe von BigQuery nicht oder nur schwer und mit erheblichem Aufwand zugänglich wären. Grundsätzlich sind für den Einsatz von Big-Data-Management-Systeme jedoch die Offenheit der IT-Abteilungen und gewisse Kenntnisse nötig, zum Beispiel bezüglich Systemen wie Hadoop oder NoSQL.
Gerade die nächtliche Auswertung großer Datenmengen wird mit BigQuery einfacher durchführbar, und auch im täglichen Geschäft lassen sich durch die schnell gewonnenen Informationen entsprechende weitere Maßnahmen ergreifen.
Allerdings eignet sich BigQuery nicht für jedes Unternehmen. Sinnvoll ist das System nur dann, wenn wirklich große Datenmengen anfallen oder die Suchmaschinenoptimierung oder der Shopbetrieb optimiert und ausgewertet werden soll. Entscheidend ist dabei weniger die Branche, sondern vielmehr die aufkommenden Datenmengen. Vielfach ist der Einsatz von Big-Data-Management-Systemen wie BigQuery, NoSQL oder Hadoop überdimensioniert und daher nicht ratsam. Treffen diese Voraussetzungen zu, reicht es völlig aus, auf herkömmliche Datenbanksysteme zu setzen. So kann man sich den technischen und finanziellen Aufwand also unter Umständen sparen.
Einzelnachweise
- ↑ BigQuery mso-digital.de. Abgerufen am 30.07.2018
- ↑ Google App Engine crisp-research.com. Abgerufen am 30.07.2018
- ↑ BigQuery für Big Data und Google Analytics udg.de. Abgerufen am 30.07.2018
- ↑ QlikView und Big Data Whitepaper iodata.de. Abgerufen am 30.07.2018