背景介紹
公司現在資料采集增加了一個資料源mongoDB，目前是采用阿里datax工具抽取，高高興興去官網查看json demo，發現demo里沒有query，那選填的query應該怎么填呢？
解決思路
既然demo沒有給，那就看看它的原始碼怎么寫的吧（很忐忑，原始碼邏輯千萬不要太難，不然看不懂），
咦，發現還是很明了的，query的出現在Document queryFilter = Document.parse(query);點進去一看，是個json字串，然后再百度一下mongodb的條件查詢，結合上面代碼的task分任務的filter，我寫了一個這樣的json，{ “dd” : { “KaTeX parse error: Expected 'EOF', got '}' at position 9: gt" : 5 }?, "ee" : { "gt” : 3 } } ，
完整的json如下
{
"job": {
"setting": {
"speed": {
"channel": 2
}
},
"content": [
{
"reader": {
"name": "mongodbreader",
"parameter": {
"address": ["127.0.0.1:27017"],
"userName": "",
"userPassword": "",
"dbName": "test01",
"collectionName": "table01",
"column": [
{
"name": "description",
"type": "string"
},
{
"name": "by",
"type": "string"
},
{
"name": "url",
"type": "string"
},
{
"name": "tags",
"type": "Array",
"spliter": ""
},
{
"name": "dd",
"type": "int"
}
],
"query":"{ \"dd\" : { \"$gt\" : 5 }, \"ee\" : { \"$gt\" : 3 } }"
}
},
"writer": {
"name": "streamwriter",
"parameter": {
"fieldDelimiter": "\t",
"print": "true"
}
}
}
]
}
}
然后通過python一掉，發現ok了，
后續
有路過的大神知道datax如何和spring boot打通嗎，現在我們的底層都是通過python來調取的，都沒辦法來自定義公司自己的采集器，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/253059.html
標籤：其他
上一篇：supermap開放三維地理空間資料格式S3M搭配cesium使用教程
下一篇：Flink本地Web UI報錯：Could not start rest endpoint on any port in port range 8081