TDDA: Test-Driven Data Analysis¶
TDDA verwendet Dateieingaben (wie NumPy-Arrays oder Pandas DataFrames) und eine Reihe von Einschränkungen (engl.: constraints), die als JSON-Datei gespeichert werden.
Reference Test unterstützt die Erstellung von Regressionstests, die entweder auf
unittestoderpytestbasieren.Constraints wird verwendet, um Constraints aus einem (Pandas)-DataFrame zu ermitteln, sie als JSON auszuschreiben und zu überprüfen, ob Datensätze die Constraints in der Constraints-Datei erfüllen. Es unterstützt auch Tabellen in einer Vielzahl von relationalen Datenbanken.
Rexpy ist ein Werkzeug zur automatischen Ableitung von regulären Ausdrücken aus einer Spalte in einem Pandas DataFrame oder aus einer (Python)-Liste von Beispielen.
TDDA kann auch über die Befehlszeile genutzt werden und kann somit auch von allen, die mit Daten arbeiten, verwendet werden – unabhängig davon, ob sie Python, R, Excel, SQL oder andere Sprachen und Werkzeuge verwenden.
1. Importe¶
[1]:
from pathlib import Path
import pandas as pd
from tdda.constraints import detect_df, discover_df, verify_df
[2]:
df = pd.read_csv(
"https://raw.githubusercontent.com/kjam/data-cleaning-101/master/data/iot_example.csv",
)
2. Daten überprüfen¶
Mit pandas.DataFrame.sample lassen wir uns die ersten zehn Datensätze anzeigen:
[3]:
df.sample(10)
[3]:
| timestamp | username | temperature | heartrate | build | latest | note | |
|---|---|---|---|---|---|---|---|
| 49413 | 2017-01-21T05:58:08 | smithkimberly | 22 | 89 | 6e5ee2cc-7456-8ea6-5747-abaa556a8082 | 1 | sleep |
| 22613 | 2017-01-10T12:31:43 | ajohnson | 14 | 60 | 4d28cbd5-d71a-ab3e-e014-1442f39934f3 | 0 | NaN |
| 80838 | 2017-02-02T20:02:21 | williamoliver | 10 | 78 | c3a99af0-f0e9-bac0-b3da-f04eec180c82 | 0 | interval |
| 51285 | 2017-01-21T23:53:12 | breannabarron | 28 | 60 | 9cc0fac1-5abf-d0ad-5c1f-ac7a55ab6d4a | 0 | test |
| 8673 | 2017-01-04T23:11:21 | nsmith | 24 | 66 | e6389298-3aa6-17a5-520c-3c43b2b7e66c | 1 | interval |
| 135766 | 2017-02-24T17:59:53 | gregory24 | 19 | 77 | 4e3f75d2-1426-40cf-5608-e37ccc4143f4 | 0 | wake |
| 129791 | 2017-02-22T08:29:55 | eavila | 10 | 61 | 4757267e-5dd7-500d-bbda-6baed3c15e9d | 0 | update |
| 88058 | 2017-02-05T17:06:12 | salazardeborah | 5 | 84 | 19f3b095-f691-ddda-291f-ad115876fdb5 | 1 | sleep |
| 57588 | 2017-01-24T12:20:20 | bradleymary | 8 | 75 | 41e1fd3e-a1e8-c6b0-8ab8-3fecd866cc7f | 0 | test |
| 143432 | 2017-02-27T19:36:22 | james76 | 16 | 81 | d5962e7e-ba2a-6a90-6eaa-db584c02d2c0 | 0 | wake |
Und mit pandas.DataFrame.dtypes lassen wir uns die Datentypen für die einzelnen Spalten anzeigen:
[4]:
df.dtypes
[4]:
timestamp object
username object
temperature int64
heartrate int64
build object
latest int64
note object
dtype: object
3. Erstellen eines constraints-Objekt¶
Mit discover_df kann ein Constraints-Objekt erzeugt werden.
[5]:
constraints = discover_df(df)
[6]:
constraints
[6]:
<tdda.constraints.base.DatasetConstraints at 0x14baa1160>
[7]:
constraints.fields
[7]:
Fields([('timestamp', <tdda.constraints.base.FieldConstraints at 0x14baa0ad0>),
('username', <tdda.constraints.base.FieldConstraints at 0x1383aead0>),
('temperature',
<tdda.constraints.base.FieldConstraints at 0x1383aefd0>),
('heartrate', <tdda.constraints.base.FieldConstraints at 0x1383836f0>),
('build', <tdda.constraints.base.FieldConstraints at 0x138383a80>),
('latest', <tdda.constraints.base.FieldConstraints at 0x1383f4830>),
('note', <tdda.constraints.base.FieldConstraints at 0x1194078a0>)])
4. Schreiben der Constraints in eine Datei¶
[8]:
with Path.open("../../../data/iot_example.json", "w") as f:
f.write(constraints.to_json())
Wenn wir uns die Datei genauer betrachten können wir erkennen, dass z.B. für die timestamp-Spalte eine Zeichenkette mit 19 Zeichen erwartet wird und temperature Integer mit Werten von 5–29 erwartet.
[9]:
!cat ../../../data/iot_example.json
{
"creation_metadata": {
"local_time": "2026-09-15T14:31:16",
"utc_time": "2026-09-15T12:31:16+00:00",
"creator": "TDDA 2.2.17",
"host": "fay.local",
"user": "veit",
"n_records": 146397,
"n_selected": 146397
},
"fields": {
"timestamp": {
"type": "string",
"min_length": 19,
"max_length": 19,
"max_nulls": 0,
"no_duplicates": true
},
"username": {
"type": "string",
"min_length": 3,
"max_length": 21,
"max_nulls": 0
},
"temperature": {
"type": "int",
"min": 5,
"max": 29,
"sign": "positive",
"max_nulls": 0
},
"heartrate": {
"type": "int",
"min": 60,
"max": 89,
"sign": "positive",
"max_nulls": 0
},
"build": {
"type": "string",
"min_length": 36,
"max_length": 36,
"max_nulls": 0,
"no_duplicates": true
},
"latest": {
"type": "int",
"min": 0,
"max": 1,
"sign": "non-negative",
"max_nulls": 0
},
"note": {
"type": "string",
"min_length": 4,
"max_length": 8,
"allowed_values": [
"interval",
"sleep",
"test",
"update",
"user",
"wake"
]
}
}
}
Ihr könnt mit discover_df auch versuchen, reguläre Ausdrücke zu ermitteln:
[10]:
constraints = discover_df(df, inc_rex=True)
[11]:
with Path.open("../../../data/iot_re_example.json", "w") as f:
f.write(constraints.to_json())
[12]:
!cat ../../../data/iot_example.json
{
"creation_metadata": {
"local_time": "2026-09-15T14:31:16",
"utc_time": "2026-09-15T12:31:16+00:00",
"creator": "TDDA 2.2.17",
"host": "fay.local",
"user": "veit",
"n_records": 146397,
"n_selected": 146397
},
"fields": {
"timestamp": {
"type": "string",
"min_length": 19,
"max_length": 19,
"max_nulls": 0,
"no_duplicates": true
},
"username": {
"type": "string",
"min_length": 3,
"max_length": 21,
"max_nulls": 0
},
"temperature": {
"type": "int",
"min": 5,
"max": 29,
"sign": "positive",
"max_nulls": 0
},
"heartrate": {
"type": "int",
"min": 60,
"max": 89,
"sign": "positive",
"max_nulls": 0
},
"build": {
"type": "string",
"min_length": 36,
"max_length": 36,
"max_nulls": 0,
"no_duplicates": true
},
"latest": {
"type": "int",
"min": 0,
"max": 1,
"sign": "non-negative",
"max_nulls": 0
},
"note": {
"type": "string",
"min_length": 4,
"max_length": 8,
"allowed_values": [
"interval",
"sleep",
"test",
"update",
"user",
"wake"
]
}
}
}
5. Überprüfen von Dataframes¶
Hierfür lesen wir zunächst eine neue csv-Datei mit Pandas ein und lassen uns dann zehn Datensätze exemplarisch ausgeben:
[13]:
new_df = pd.read_csv(
"https://raw.githubusercontent.com/kjam/data-cleaning-101/master/data/iot_example_with_nulls.csv"
)
new_df.sample(10)
[13]:
| timestamp | username | temperature | heartrate | build | latest | note | |
|---|---|---|---|---|---|---|---|
| 20216 | 2017-01-09T13:41:53 | nwalker | 11.0 | 68 | b473c350-ca8f-86f4-06c9-ef1c21530534 | NaN | user |
| 130644 | 2017-02-22T16:41:58 | shanemcgee | 12.0 | 83 | 19c1d63f-0c2c-290d-0f15-707a208d530e | 0.0 | wake |
| 49847 | 2017-01-21T10:08:00 | sgarrett | NaN | 68 | c28fe23f-a5f3-c066-cafb-8e01ac02d164 | 0.0 | NaN |
| 139008 | 2017-02-26T01:05:15 | nicolephillips | 23.0 | 82 | NaN | 1.0 | sleep |
| 107991 | 2017-02-13T16:02:26 | murphypamela | 9.0 | 65 | 79206a21-bafc-c6b4-5238-91546bff1195 | 1.0 | wake |
| 38215 | 2017-01-16T18:19:39 | marcia78 | 6.0 | 66 | fd1d7e54-e347-6ab8-9bec-1b5e8fed7c54 | NaN | sleep |
| 8314 | 2017-01-04T19:45:11 | ywilson | 20.0 | 71 | 10fa0a5e-1ad4-22d0-d629-feba97ef1c0f | NaN | interval |
| 84211 | 2017-02-04T04:26:12 | robertroy | 25.0 | 69 | 9f6059e7-5fa9-a4fe-6cf5-3ed3af1e6856 | 0.0 | wake |
| 101636 | 2017-02-11T03:04:20 | mike98 | 27.0 | 75 | 2affba40-9f86-4084-2f3d-56135f66ee65 | 0.0 | NaN |
| 69330 | 2017-01-29T05:14:29 | lauriethompson | 14.0 | 89 | NaN | 0.0 | NaN |
Wir sehen mehrere Felder, die als NaN ausgegeben werden. Um dies nun systematisch zu analysieren, wenden wir verify_df auf unseren neuen DataFrame an. Dabei gibt passes gibt die Anzahl der bestandenen, failures die Anzahl der fehlgeschlagenen Constraints zurück.
[14]:
v = verify_df(new_df, "../../../data/iot_re_example.json")
[15]:
v
[15]:
<tdda.constraints.pd.constraints.PandasVerification at 0x14baa2f90>
[16]:
v.passes
[16]:
34
[17]:
v.failures
[17]:
3
Wir können uns auch anzeigen lassen, in welchen Spalten welche Constraints bestanden und fehlgeschlagen sind:
[18]:
print(str(v))
FIELDS:
timestamp: 0 failures 6 passes type ✓ min_length ✓ max_length ✓ max_nulls ✓ no_duplicates ✓ rex ✓
username: 0 failures 5 passes type ✓ min_length ✓ max_length ✓ max_nulls ✓ rex ✓
temperature: 1 failure 4 passes type ✓ min ✓ max ✓ sign ✓ max_nulls ✗
heartrate: 0 failures 5 passes type ✓ min ✓ max ✓ sign ✓ max_nulls ✓
build: 1 failure 5 passes type ✓ min_length ✓ max_length ✓ max_nulls ✗ no_duplicates ✓ rex ✓
latest: 1 failure 4 passes type ✓ min ✓ max ✓ sign ✓ max_nulls ✗
note: 0 failures 5 passes type ✓ min_length ✓ max_length ✓ allowed_values ✓ rex ✓
SUMMARY:
Constraints passing: 34
Constraints failing: 3
Alternativ können wir uns diese Ergebnisse auch tabellarisch anzeigen lassen:
[19]:
v.to_frame()
[19]:
| field | failures | passes | type | min | min_length | max | max_length | sign | max_nulls | no_duplicates | allowed_values | rex | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0 | timestamp | 0 | 6 | True | NaN | True | NaN | True | NaN | True | True | NaN | True |
| 1 | username | 0 | 5 | True | NaN | True | NaN | True | NaN | True | NaN | NaN | True |
| 2 | temperature | 1 | 4 | True | True | NaN | True | NaN | True | False | NaN | NaN | NaN |
| 3 | heartrate | 0 | 5 | True | True | NaN | True | NaN | True | True | NaN | NaN | NaN |
| 4 | build | 1 | 5 | True | NaN | True | NaN | True | NaN | False | True | NaN | True |
| 5 | latest | 1 | 4 | True | True | NaN | True | NaN | True | False | NaN | NaN | NaN |
| 6 | note | 0 | 5 | True | NaN | True | NaN | True | NaN | NaN | NaN | True | True |
6. Finden der fehlerhaften Zeilen¶
tdda.constraints.pd.constraints.detect_df() erkennt Datensätze des pandas DataFrame, die gegen eine der Einschränkungen in der bereitgestellten JSON-Datei verstoßen. Anschließend können wir über dem erstellten PandasDetection-Objekt die Funktion detected() aufrufen um uns die Zeilen ausgeben zu lassen, die fehlerhaft sind:
[20]:
d = detect_df(new_df, "iot_example.json")
d.detected()
[20]:
| n_failures | |
|---|---|
| Index | |
| 3 | 1 |
| 4 | 1 |
| 7 | 1 |
| 10 | 2 |
| 12 | 1 |
| ... | ... |
| 146385 | 1 |
| 146387 | 2 |
| 146391 | 2 |
| 146393 | 2 |
| 146394 | 1 |
77260 rows × 1 columns
Wir können uns alle fehlerhaften Datensätze anzeigen lassen, indem wir nur den Teil des Index von new_df verwenden, der auch in d.detected() vorkommt:
[21]:
d_index = d.detected().index
[22]:
new_df[new_df.index.isin(d_index)]
[22]:
| timestamp | username | temperature | heartrate | build | latest | note | |
|---|---|---|---|---|---|---|---|
| 3 | 2017-01-01T12:02:09 | eddierodriguez | 28.0 | 76 | NaN | 0.0 | update |
| 4 | 2017-01-01T12:02:36 | kenneth94 | 29.0 | 62 | 122f1c6a-403c-2221-6ed1-b5caa08f11e0 | NaN | NaN |
| 7 | 2017-01-01T12:04:35 | scott28 | 16.0 | 76 | 7a60219f-6621-e548-180e-ca69624f9824 | NaN | interval |
| 10 | 2017-01-01T12:06:21 | njohnson | NaN | 63 | e09b6001-125d-51cf-9c3f-9cb686c19d02 | NaN | NaN |
| 12 | 2017-01-01T12:07:41 | jessica48 | 22.0 | 83 | 03e1a07b-3e14-412c-3a69-6b45bc79f81c | NaN | update |
| ... | ... | ... | ... | ... | ... | ... | ... |
| 146385 | 2017-02-28T23:53:59 | powelleric | 20.0 | 86 | 152eda10-676a-069c-b664-19443f2c8081 | NaN | test |
| 146387 | 2017-02-28T23:54:50 | jthompson | NaN | 66 | 8da10303-fe49-e313-8fda-0d5e79ded054 | NaN | update |
| 146391 | 2017-02-28T23:57:21 | aaronbecker | NaN | 87 | 7e52f4a8-345c-5ee0-e515-b8c392213062 | NaN | sleep |
| 146393 | 2017-02-28T23:58:43 | joelrusso | NaN | 89 | NaN | 0.0 | NaN |
| 146394 | 2017-02-28T23:59:23 | lellis | NaN | 84 | dac87426-e147-9c39-6e4c-790bb11f8fc9 | 0.0 | update |
77260 rows × 7 columns
Alternativ können wir uns auch alle fehlerfreien Datensätze anzeigen lassen.
[23]:
new_df[~new_df.index.isin(d_index)]
[23]:
| timestamp | username | temperature | heartrate | build | latest | note | |
|---|---|---|---|---|---|---|---|
| 0 | 2017-01-01T12:00:23 | michaelsmith | 12.0 | 67 | 4e6a7805-8faa-2768-6ef6-eb3198b483ac | 0.0 | interval |
| 1 | 2017-01-01T12:01:09 | kharrison | 6.0 | 78 | 7256b7b0-e502-f576-62ec-ed73533c9c84 | 0.0 | wake |
| 2 | 2017-01-01T12:01:34 | smithadam | 5.0 | 89 | 9226c94b-bb4b-a6c8-8e02-cb42b53e9c90 | 0.0 | NaN |
| 5 | 2017-01-01T12:03:04 | bryanttodd | 13.0 | 86 | 0897dbe5-9c5b-71ca-73a1-7586959ca198 | 0.0 | interval |
| 6 | 2017-01-01T12:03:51 | andrea98 | 17.0 | 81 | 1c07ab9b-5f66-137d-a74f-921a41001f4e | 1.0 | NaN |
| ... | ... | ... | ... | ... | ... | ... | ... |
| 146389 | 2017-02-28T23:56:05 | kathy63 | 5.0 | 88 | c2f76050-abd4-aee4-7bc0-3498325d0573 | 0.0 | NaN |
| 146390 | 2017-02-28T23:56:34 | cookallison | 16.0 | 84 | f0b0c1f9-900b-276c-bca9-ac4d4ec4e88e | 0.0 | user |
| 146392 | 2017-02-28T23:58:06 | mcontreras | 15.0 | 63 | 69e61a15-d2d0-47a7-1a27-e07b3eeeba10 | 0.0 | NaN |
| 146395 | 2017-02-28T23:59:48 | grayjasmin | 17.0 | 64 | 4911a589-3a15-4bbf-1de1-e5a69ab739da | 1.0 | update |
| 146396 | 2017-03-01T00:00:30 | jgreene | 23.0 | 70 | 4f95bbca-26a7-29e7-1f19-aaedf1a51741 | 0.0 | interval |
69137 rows × 7 columns