Idee: Twitter-Mining mit Raspberry Pi

Heute ist Stammtischzeit:
Jeden Donnerstag 20:30 Uhr hier im Chat.
Wer Lust hat, kann sich gerne beteiligen. ;)
  • Hallo zusammen!
    Ich bin seit kurzem Raspberry Pi (B) Besitzer und habe bisher erste Erfahrungen mit den klassischen Media-Center / Airplay - Anwendungen gemacht. Nun ist mir aber die Idee gekommen, den Raspberry Pi mit einem anderen Interesse von mir zusammenzubringen. Da ich nicht vom Fach bin, sondern mich nur privat damit beschäftige, würde ich mich über Rat freuen.

    Ich möchte meinen Raspberry Pi dafür verwenden, regelmäßig Daten von Twitter (über die Twitter API) abzugreifen und in einer Datenbank (bzw. einfachen Tabelle) abzuspeichern. Ich bin Student in den Sozialwissenschaften und möchte aus reinem Interesse diese Daten später mit der Statistik-Umgebung "R" auswerten.
    Als Daten möchte ich auf jeden Fall:
    - Alle Tweets mit einem bestimmten Hashtag (z.B. "#Energiewende")
    - Den Autor der Tweets
    - Den Zeitpunkt des Tweets
    archivieren.

    [Auswerten könnte ich damit: Zeitlicher Verlauf für die Popularität von Themen, Wer sind die ersten Personen die ein später populäres Thema aufgreifen, ich könnte Netzwerke zwischen Personen darstellen und es gibt Möglichkeiten die Texte übe Text-Mining auszuwerten, außerdem kann man per Word-Clouds verwandte Begriffe darstellen. Also: Sehr spannende Möglichkeiten! )

    Was wäre mein Ansatz?
    Ohne Raspberry Pi würde ich auf meinem Windows Rechner im Statistikprogramm R ein entsprechendes Package laden, dass auf die Twitter API zugreifen kann und dann die Daten abrufen.
    R ist für den Raspberry Pi aber sicher zu heftig (allein wg. Arbeitsspeicher). Ausserdem kann R nicht automatisiert jede Stunde neue Daten abgreifen.
    Leider habe ich von Python keine Ahnung - man liest ja, dass es für eine solche Aufgabe nützlich ist.

    Ich glaube ich bräuchte folgendes:
    1.) Eine Möglichkeit auf die Twitter API zu zugreifen und die gewünschten Daten abzugreifen. Das ganze in regelmäßigen Abständen
    2.) Eine Datenbank / Tabelle in welche die Daten geschrieben werden

    Ich würde mich sehr über Ideen, Lösungswege und weitere Beratung von Euch freuen!
    Viele Grüße
    Niels

    Einmal editiert, zuletzt von Niels_ (23. Januar 2014 um 08:42)

  • Also, wenn ich das richtig sehe, ist mein Ziel eine Datenbank aufzubauen ja vom Grundprinzip nichts anderes als das, was viele mit Ihren Raspberry-Wetterstationen machen. Es kommen regelmäßig Daten rein, die archiviert werden. Das wäre doch über eine MySQL-Datenbank zu lösen - oder gibt es da einfacherere Lösungen?
    Das Abgreifen der Daten über die Twitter-API und das Abspeichern in der Datenbank - In welcher Richtung müsste ich hier recherchieren?

  • Hey,
    bin ein totaler Pi Neuling (ist auch mein erster Beitrag hier im Forum..), aber von der Webprogrammierung habe ich ein wenig Ahnung.. bin auf der Suche nach nem eigenen Projekt auf deine Frage gestoßen und dachte ich helf dir ein wenig.

    also das sinnvollste wäre, wie du schon sagtest, eine Datenbank (MySQL sollte da ganz gut geeignet sein, da es dafür genug Infos und Hilfestellungne gibt). In diese Datenbank schreibst du dann mit Hilfe von PHP und der Twitter API die Daten rein wenn neue Hashtags gepostet werden.

    Hier siehst du wie du mit der Search API zB nach bestimmten Hashtags suchen kannst:
    https://dev.twitter.com/docs/api/1.1/get/search/tweets

    Hier findest du sicher auch noch genug Threads und Codeschnippsel zum Thema:
    http://stackoverflow.com/search?q=tweets+with+hashtag

    Dh du müsstest, so wie ich das sehe, auf dem PI Webserver+PHP+ MYSQL installieren. Dann das passende PHP skript hochladen, welches auf die Twitter API zugreift und dann sollte alles in deiner Datenbank stehen. Wenn du willst kannst du danach noch eine PHP Seite anlegen, welche die Daten aus der Datenbank in einem schönem Interface darstellt.


    gruß hoffe konnte dir helfen

    Einmal editiert, zuletzt von marcsterlabs (4. Februar 2014 um 14:00)

  • :danke_ATDE:

    Sorry, dass ich so lange nicht geantwortet habe. Meine Projektidee ist aus Zeitgründen ein bisschen eingeschlafen, aber ich möchte sie demnächst endlich angehen.

    An meinem PC habe ich die nötigen Schritte schon einmal ausprobiert und mittels R (Statistik-Programmierumgebung) und der Twitter-API einige Dinge ausgewertet. Das Tolle am Raspberry-Pi wäre für mich, dass er mit geringen Stromkosten in regelmäßigen Abständen Datenabfragen ausführen und in eine Datenbank schreiben könnte. Die Twitter-Api gibt nämlich nur eine begrenzte Anzahl aus. Wenn ich also die Popularität eines bestimmten Themas über mehrere Wochen verfolgen möchte, geht das nur mit eine regelmäßigen Abfrage.

    Falls noch jemand interessiert ist, hier hat jemand anderes eine ähnliche Idee wie ich. Allerdings gehts da nicht um twitter-mining sondern allgemeines Data-Scraping von websiten.
    http://http//frakturmedia.…s-for-scraping/

    Ich halte Euch auf dem laufenden. Wenn jemand mitarbeiten möchte, freue ich mich natürlich :)

    Einmal editiert, zuletzt von Niels_ (28. April 2014 um 13:02)

Jetzt mitmachen!

Du hast noch kein Benutzerkonto auf unserer Seite? Registriere dich kostenlos und nimm an unserer Community teil!