Empty attribute `Nutzbare Speicherkapazität` in bulk download

[nesnoj]

Bug report via mail (v0.17.1):

[...] Dabei ist mir aufgefallen, dass die Spalte „Nutzbare Speicherkapazität“ in den über db.download(data=“storage“) geladenen Daten zwar vorhanden ist, die Werte jedoch durchgehende NULL sind.

Da dieses Attribut für meine Auswertungen sehr wichtig ist, habe ich den Sachverhalt etwas genauer untersucht:

• Die betroffenen Speicheranlagen werden von open-mastr korrekt in die SQLite-Datenbank übernommen.
• Die Anlagen sind auch im heruntergeladenen MaStR-Gesamtdatenexport (XML) enthalten.
• Im XML-Export konnte ich jedoch kein Feld finden, das der „Nutzbaren Speicherkapazität“ entspricht.
• In der öffentlichen MaStR-Weboberfläche ist die „Nutzbare Speicherkapazität“ für dieselben Anlagen jedoch sichtbar.
• Auch beim manuellen Download der Anlagendaten über das Marktstammdatenregister scheint diese Information enthalten zu sein.

Daher stellen sich mir verschiedene Fragen: Ist bekannt, dass die „Nutzbare Speicherkapazität“ im öffentlichen Gesamtdatenexport der Bundesnetzagentur nicht enthalten ist? Gibt es die Möglichkeit, die „Nutzbare Speicherkapazität“ künftig auch bei der Verarbeitung des Gesamtdatenexports in der SQLite-Datenbank verfügbar zu machen? Ist das Fehlen der Werte ein bekanntes Thema oder handelt es sich möglichweise um einen Fehler?

[Simon-Will]

First of all, MaStR differentiates between "AnlagenStromSpeicher" (ID with SSE = Stromspeichereinheit), e.g. SSE994099461203, and "EinheitenStromSpeicher" (ID with SEE = Stromerzeugungseinheit). Anlage is a group of Einheiten. E.g. Anlage SSE994099461203 is linked to Einheiten SEE998534788504, SEE977346043964 and SEE943568591200. See this beautiful comment for a bit more explanation.

In open-mastr, we map the term "storage" to EinheitenStromSpeicher & AnlagenEegSpeicher, and the term "storage_units" to AnlagenStromSpeicher. So, I ran a download with Mastr().download(data=["storage", "storage_units"]) just now and it correctly downloaded and populated all three tables. See the following query where I retrieve the NutzbareSpeicherkapazitaet:

So, I think open-mastr is behaving correctly. Maybe the user didn't download "storage_units" and wasn't aware of the distinction between Anlage and Einheit.

@nesnoj, I can see that you added the handling of AnlagenStromSpeicher in commit fa1c516 and then split Anlagen from Einheiten in 40ffd19. Do you remember why you made that split? I find it a bit unintuitive and would argue it makes sense to download both. Additionally, "storage_units" sounds like it would refer to EinheitenStromSpeicher, but it actually refers to Anlagen, which I find surprising.

I would like to either

• deprecate "storage_units" and download all three tables (EinheitenStromSpeicher, AnlagenEegSpeicher & AnlagenStromSpeicher) using "storage"
• or deprecate "storage_units" and add "storage_installations" to download AnlagenStromSpeicher.

(I'd prefer all three under "storage".)

Apart from all that, I'm surprised by the user saying:

Dabei ist mir aufgefallen, dass die Spalte „Nutzbare Speicherkapazität“ in den über db.download(data=“storage“) geladenen Daten zwar vorhanden ist, die Werte jedoch durchgehende NULL sind.

In which table do they see that column "Nutzbare Speicherkapazität"? And how did it happen that they see NULL values (in otherwise filled rows, I assume)?

[nesnoj]

@nesnoj, I can see that you added the handling of AnlagenStromSpeicher in commit fa1c516 and then split Anlagen from Einheiten in 40ffd19. Do you remember why you made that split? I find it a bit unintuitive and would argue it makes sense to download both. Additionally, "storage_units" sounds like it would refer to EinheitenStromSpeicher, but it actually refers to Anlagen, which I find surprising.

I cannot fully remember. But I agree that storage_units actually should refer to EinheitenStromSpeicher. I validated the outcome in those days being quite sure that this is the case as I have been using it very often. I would have to re-test it but cannot afford it right now.

I would like to either

• deprecate "storage_units" and download all three tables (EinheitenStromSpeicher, AnlagenEegSpeicher & AnlagenStromSpeicher) using "storage"
• or deprecate "storage_units" and add "storage_installations" to download AnlagenStromSpeicher.

(I'd prefer all three under "storage".)

I agree that storage should trigger all of them. Mind the gas storages which would also need to be included in the general storage term.