python - 将 Twitter 导入 Elasticsearch 时出现 Illegal_argument

python - 将 Twitter 导入 Elasticsearch 时出现 Illegal_argument_Exception

转载作者：太空宇宙更新时间：2023-11-03 16:35:11

我是 Elasticsearch 的新手，正在尝试通过将 Twitter 数据导入 Elasticsearch 并在其上运行 Kibana 来对 Twitter 数据进行一些数据分析。将 Twitter 数据导入 Elasticsearch 时我遇到了困难。如有任何帮助，我们将不胜感激!

这是一个产生错误的示例工作程序。

import json
from elasticsearch import Elasticsearch
es = Elasticsearch()
data = json.loads(open("data.json").read())
es.index(index='tweets5', doc_type='tweets', id=data['id'], body=data)

错误如下:

Traceback (most recent call last):
  File "elasticsearch_import_test.py", line 5, in <module>
    es.index(index='tweets5', doc_type='tweets', id=data['id'], body=data)
  File "/usr/local/lib/python2.7/site-packages/elasticsearch/client/utils.py", line 69, in _wrapped
    return func(*args, params=params, **kwargs)
  File "/usr/local/lib/python2.7/site-packages/elasticsearch/client/__init__.py", line 279, in index
    _make_path(index, doc_type, id), params=params, body=body)
  File "/usr/local/lib/python2.7/site-packages/elasticsearch/transport.py", line 329, in perform_request
    status, headers, data = connection.perform_request(method, url, params, body, ignore=ignore, timeout=timeout)
  File "/usr/local/lib/python2.7/site-packages/elasticsearch/connection/http_urllib3.py", line 109, in perform_request
    self._raise_error(response.status, raw_data)
  File "/usr/local/lib/python2.7/site-packages/elasticsearch/connection/base.py", line 108, in _raise_error
    raise HTTP_EXCEPTIONS.get(status_code, TransportError)(status_code, error_message, additional_info)
elasticsearch.exceptions.RequestError: TransportError(400, u'illegal_argument_exception', u'[Raza][127.0.0.1:9300][indices:data/write/index[p]]')

这是一个示例 Twitter JSON 文件 (data.json)

{
    "_id": {
        "$oid": "570597358c68d71c16b3b722"
    },
    "contributors": null,
    "coordinates": null,
    "created_at": "Wed Apr 06 23:09:41 +0000 2016",
    "entities": {
        "hashtags": [
            {
                "indices": [
                    68,
                    72
                ],
                "text": "dnd"
            },
            {
                "indices": [
                    73,
                    79
                ],
                "text": "Nat20"
            },
            {
                "indices": [
                    80,
                    93
                ],
                "text": "CriticalRole"
            },
            {
                "indices": [
                    94,
                    103
                ],
                "text": "d20babes"
            }
        ],
        "media": [
            {
                "display_url": "pic.twitter.com/YQoxEuEAXV",
                "expanded_url": "http://twitter.com/Zenttsilverwing/status/715953298076012545/photo/1",
                "id": 715953292849754112,
                "id_str": "715953292849754112",
                "indices": [
                    104,
                    127
                ],
                "media_url": "http://pbs.twimg.com/media/Ce-TugAUsAASZht.jpg",
                "media_url_https": "https://pbs.twimg.com/media/Ce-TugAUsAASZht.jpg",
                "sizes": {
                    "large": {
                        "h": 768,
                        "resize": "fit",
                        "w": 1024
                    },
                    "medium": {
                        "h": 450,
                        "resize": "fit",
                        "w": 600
                    },
                    "small": {
                        "h": 255,
                        "resize": "fit",
                        "w": 340
                    },
                    "thumb": {
                        "h": 150,
                        "resize": "crop",
                        "w": 150
                    }
                },
                "source_status_id": 715953298076012545,
                "source_status_id_str": "715953298076012545",
                "source_user_id": 2375847847,
                "source_user_id_str": "2375847847",
                "type": "photo",
                "url": "https://shortened.url/YQoxEuEAXV"
            }
        ],
        "symbols": [],
        "urls": [
            {
                "display_url": "darkcastlecollectibles.com",
                "expanded_url": "http://www.darkcastlecollectibles.com/",
                "indices": [
                    44,
                    67
                ],
                "url": "https://shortened.url/SJgFTE0o8h"
            }
        ],
        "user_mentions": [
            {
                "id": 2375847847,
                "id_str": "2375847847",
                "indices": [
                    3,
                    19
                ],
                "name": "Zack Chini",
                "screen_name": "Zenttsilverwing"
            }
        ]
    },
    "extended_entities": {
        "media": [
            {
                "display_url": "pic.twitter.com/YQoxEuEAXV",
                "expanded_url": "http://twitter.com/Zenttsilverwing/status/715953298076012545/photo/1",
                "id": 715953292849754112,
                "id_str": "715953292849754112",
                "indices": [
                    104,
                    127
                ],
                "media_url": "http://pbs.twimg.com/media/Ce-TugAUsAASZht.jpg",
                "media_url_https": "https://pbs.twimg.com/media/Ce-TugAUsAASZht.jpg",
                "sizes": {
                    "large": {
                        "h": 768,
                        "resize": "fit",
                        "w": 1024
                    },
                    "medium": {
                        "h": 450,
                        "resize": "fit",
                        "w": 600
                    },
                    "small": {
                        "h": 255,
                        "resize": "fit",
                        "w": 340
                    },
                    "thumb": {
                        "h": 150,
                        "resize": "crop",
                        "w": 150
                    }
                },
                "source_status_id": 715953298076012545,
                "source_status_id_str": "715953298076012545",
                "source_user_id": 2375847847,
                "source_user_id_str": "2375847847",
                "type": "photo",
                "url": "https://shortened.url/YQoxEuEAXV"
            },
            {
                "display_url": "pic.twitter.com/YQoxEuEAXV",
                "expanded_url": "http://twitter.com/Zenttsilverwing/status/715953298076012545/photo/1",
                "id": 715953295727009793,
                "id_str": "715953295727009793",
                "indices": [
                    104,
                    127
                ],
                "media_url": "http://pbs.twimg.com/media/Ce-TuquUIAEsVn9.jpg",
                "media_url_https": "https://pbs.twimg.com/media/Ce-TuquUIAEsVn9.jpg",
                "sizes": {
                    "large": {
                        "h": 768,
                        "resize": "fit",
                        "w": 1024
                    },
                    "medium": {
                        "h": 450,
                        "resize": "fit",
                        "w": 600
                    },
                    "small": {
                        "h": 255,
                        "resize": "fit",
                        "w": 340
                    },
                    "thumb": {
                        "h": 150,
                        "resize": "crop",
                        "w": 150
                    }
                },
                "source_status_id": 715953298076012545,
                "source_status_id_str": "715953298076012545",
                "source_user_id": 2375847847,
                "source_user_id_str": "2375847847",
                "type": "photo",
                "url": "https://shortened.url/YQoxEuEAXV"
            }
        ]
    },
    "favorite_count": 0,
    "favorited": false,
    "filter_level": "low",
    "geo": null,
    "id": 717851801417031680,
    "id_str": "717851801417031680",
    "in_reply_to_screen_name": null,
    "in_reply_to_status_id": null,
    "in_reply_to_status_id_str": null,
    "in_reply_to_user_id": null,
    "in_reply_to_user_id_str": null,
    "is_quote_status": false,
    "lang": "en",
    "place": null,
    "possibly_sensitive": false,
    "retweet_count": 0,
    "retweeted": false,
    "retweeted_status": {
        "contributors": null,
        "coordinates": null,
        "created_at": "Fri Apr 01 17:25:42 +0000 2016",
        "entities": {
            "hashtags": [
                {
                    "indices": [
                        47,
                        51
                    ],
                    "text": "dnd"
                },
                {
                    "indices": [
                        52,
                        58
                    ],
                    "text": "Nat20"
                },
                {
                    "indices": [
                        59,
                        72
                    ],
                    "text": "CriticalRole"
                },
                {
                    "indices": [
                        73,
                        82
                    ],
                    "text": "d20babes"
                }
            ],
            "media": [
                {
                    "display_url": "pic.twitter.com/YQoxEuEAXV",
                    "expanded_url": "http://twitter.com/Zenttsilverwing/status/715953298076012545/photo/1",
                    "id": 715953292849754112,
                    "id_str": "715953292849754112",
                    "indices": [
                        83,
                        106
                    ],
                    "media_url": "http://pbs.twimg.com/media/Ce-TugAUsAASZht.jpg",
                    "media_url_https": "https://pbs.twimg.com/media/Ce-TugAUsAASZht.jpg",
                    "sizes": {
                        "large": {
                            "h": 768,
                            "resize": "fit",
                            "w": 1024
                        },
                        "medium": {
                            "h": 450,
                            "resize": "fit",
                            "w": 600
                        },
                        "small": {
                            "h": 255,
                            "resize": "fit",
                            "w": 340
                        },
                        "thumb": {
                            "h": 150,
                            "resize": "crop",
                            "w": 150
                        }
                    },
                    "type": "photo",
                    "url": "https://shortened.url/YQoxEuEAXV"
                }
            ],
            "symbols": [],
            "urls": [
                {
                    "display_url": "darkcastlecollectibles.com",
                    "expanded_url": "http://www.darkcastlecollectibles.com/",
                    "indices": [
                        23,
                        46
                    ],
                    "url": "https://shortened.url/SJgFTE0o8h"
                }
            ],
            "user_mentions": []
        },
        "extended_entities": {
            "media": [
                {
                    "display_url": "pic.twitter.com/YQoxEuEAXV",
                    "expanded_url": "http://twitter.com/Zenttsilverwing/status/715953298076012545/photo/1",
                    "id": 715953292849754112,
                    "id_str": "715953292849754112",
                    "indices": [
                        83,
                        106
                    ],
                    "media_url": "http://pbs.twimg.com/media/Ce-TugAUsAASZht.jpg",
                    "media_url_https": "https://pbs.twimg.com/media/Ce-TugAUsAASZht.jpg",
                    "sizes": {
                        "large": {
                            "h": 768,
                            "resize": "fit",
                            "w": 1024
                        },
                        "medium": {
                            "h": 450,
                            "resize": "fit",
                            "w": 600
                        },
                        "small": {
                            "h": 255,
                            "resize": "fit",
                            "w": 340
                        },
                        "thumb": {
                            "h": 150,
                            "resize": "crop",
                            "w": 150
                        }
                    },
                    "type": "photo",
                    "url": "https://shortened.url/YQoxEuEAXV"
                },
                {
                    "display_url": "pic.twitter.com/YQoxEuEAXV",
                    "expanded_url": "http://twitter.com/Zenttsilverwing/status/715953298076012545/photo/1",
                    "id": 715953295727009793,
                    "id_str": "715953295727009793",
                    "indices": [
                        83,
                        106
                    ],
                    "media_url": "http://pbs.twimg.com/media/Ce-TuquUIAEsVn9.jpg",
                    "media_url_https": "https://pbs.twimg.com/media/Ce-TuquUIAEsVn9.jpg",
                    "sizes": {
                        "large": {
                            "h": 768,
                            "resize": "fit",
                            "w": 1024
                        },
                        "medium": {
                            "h": 450,
                            "resize": "fit",
                            "w": 600
                        },
                        "small": {
                            "h": 255,
                            "resize": "fit",
                            "w": 340
                        },
                        "thumb": {
                            "h": 150,
                            "resize": "crop",
                            "w": 150
                        }
                    },
                    "type": "photo",
                    "url": "https://shortened.url/YQoxEuEAXV"
                }
            ]
        },
        "favorite_count": 5,
        "favorited": false,
        "filter_level": "low",
        "geo": null,
        "id": 715953298076012545,
        "id_str": "715953298076012545",
        "in_reply_to_screen_name": null,
        "in_reply_to_status_id": null,
        "in_reply_to_status_id_str": null,
        "in_reply_to_user_id": null,
        "in_reply_to_user_id_str": null,
        "is_quote_status": false,
        "lang": "en",
        "place": null,
        "possibly_sensitive": false,
        "retweet_count": 1,
        "retweeted": false,
        "source": "<a href=\"http://twitter.com\" rel=\"nofollow\">Twitter Web Client</a>",
        "text": "coins came in!! Thanks https://shortened.url/SJgFTE0o8h #dnd #Nat20 #CriticalRole #d20babes https://shortened.url/YQoxEuEAXV",
        "truncated": false,
        "user": {
            "contributors_enabled": false,
            "created_at": "Thu Mar 06 19:59:14 +0000 2014",
            "default_profile": true,
            "default_profile_image": false,
            "description": "DM Geek Critter Con-man. I am here to like your art ^.^",
            "favourites_count": 4990,
            "follow_request_sent": null,
            "followers_count": 57,
            "following": null,
            "friends_count": 183,
            "geo_enabled": false,
            "id": 2375847847,
            "id_str": "2375847847",
            "is_translator": false,
            "lang": "en",
            "listed_count": 7,
            "location": "Flower Mound, TX",
            "name": "Zack Chini",
            "notifications": null,
            "profile_background_color": "C0DEED",
            "profile_background_image_url": "http://abs.twimg.com/images/themes/theme1/bg.png",
            "profile_background_image_url_https": "https://abs.twimg.com/images/themes/theme1/bg.png",
            "profile_background_tile": false,
            "profile_banner_url": "https://pbs.twimg.com/profile_banners/2375847847/1430928759",
            "profile_image_url": "http://pbs.twimg.com/profile_images/708816622358663168/mNF4Ysr5_normal.jpg",
            "profile_image_url_https": "https://pbs.twimg.com/profile_images/708816622358663168/mNF4Ysr5_normal.jpg",
            "profile_link_color": "0084B4",
            "profile_sidebar_border_color": "C0DEED",
            "profile_sidebar_fill_color": "DDEEF6",
            "profile_text_color": "333333",
            "profile_use_background_image": true,
            "protected": false,
            "screen_name": "Zenttsilverwing",
            "statuses_count": 551,
            "time_zone": null,
            "url": null,
            "utc_offset": null,
            "verified": false
        }
    },
    "source": "<a href=\"http://twitter.com\" rel=\"nofollow\">Twitter Web Client</a>",
    "text": "RT @Zenttsilverwing: coins came in!! Thanks https://shortened.url/SJgFTE0o8h #dnd #Nat20 #CriticalRole #d20babes https://shortened.url/YQoxEuEAXV",
    "timestamp_ms": "1459984181156",
    "truncated": false,
    "user": {
        "contributors_enabled": false,
        "created_at": "Tue Feb 10 04:31:18 +0000 2009",
        "default_profile": false,
        "default_profile_image": false,
        "description": "I use Twitter to primarily retweet Critter artwork of Critical Role and their own creations. I maintain a list of all the Critter artists I've come across.",
        "favourites_count": 17586,
        "follow_request_sent": null,
        "followers_count": 318,
        "following": null,
        "friends_count": 651,
        "geo_enabled": true,
        "id": 20491914,
        "id_str": "20491914",
        "is_translator": false,
        "lang": "en",
        "listed_count": 33,
        "location": "SanDiego, CA",
        "name": "UnknownOutrider",
        "notifications": null,
        "profile_background_color": "EDECE9",
        "profile_background_image_url": "http://abs.twimg.com/images/themes/theme3/bg.gif",
        "profile_background_image_url_https": "https://abs.twimg.com/images/themes/theme3/bg.gif",
        "profile_background_tile": false,
        "profile_image_url": "http://pbs.twimg.com/profile_images/224346493/cartoon_dragon_tattoo_designs_normal.jpg",
        "profile_image_url_https": "https://pbs.twimg.com/profile_images/224346493/cartoon_dragon_tattoo_designs_normal.jpg",
        "profile_link_color": "088253",
        "profile_sidebar_border_color": "D3D2CF",
        "profile_sidebar_fill_color": "E3E2DE",
        "profile_text_color": "634047",
        "profile_use_background_image": true,
        "protected": false,
        "screen_name": "UnknownOutrider",
        "statuses_count": 12760,
        "time_zone": "Pacific Time (US & Canada)",
        "url": null,
        "utc_offset": -25200,
        "verified": false
    }
}

最佳答案

不起作用的原因是您尝试使用名为 _id 的字段来索引文档，该字段已作为默认字段存在。因此，删除该字段或更改字段名称:

import json
from elasticsearch import Elasticsearch
es = Elasticsearch()
data = json.loads(open("data.json").read())
# data['id_'] = data['_id']    <= You can change _id as id_
del data['_id']
es.index(index='tweets5', doc_type='tweets', id=data['id'], body=data)

关于python - 将 Twitter 导入 Elasticsearch 时出现 Illegal_argument_Exception，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/37284945/

文章推荐： jquery - 如何使 Paypal 按钮发布异步？

文章推荐： c# - 在代码隐藏中上下滚动列表框

文章推荐： c# - 对嵌套的通用列表进行排序/排序

android - 当我们使用 SQLite 时，当我们使用 content provider 时，当我们使用 Shared preference 时
SQLite、Content provider 和 Shared Preference 之间的所有已知区别。但我想知道什么时候需要根据情况使用 SQLite 或 Content Provider 或
Backbone.js 模型验证仅在 set->save 时(不是在 fetch 时)
警告:我正在使用一个我无法完全控制的后端，所以我正在努力解决 Backbone 中的一些注意事项，这些注意事项可能在其他地方更好地解决......不幸的是，我别无选择，只能在这里处理它们! 所以，我的
jquery - 使用 “prefetch” 时 Twitter 预输入没有结果，但使用 “remote” JSON 时
我一整天都在挣扎。我的预输入搜索表达式与远程 json 数据完美配合。但是当我尝试使用相同的 json 数据作为预取数据时，建议为空。点击第一个标志后，我收到预定义消息“无法找到任何内容...”，结果
java - repaint() 时 JTextArea 不显示，但 revalidate() 时 Graphics 不更新？
我正在制作一个模拟 NHL 选秀彩票的程序，其中屏幕右侧应该有一个 JTextField，并且在左侧绘制弹跳的选秀球。我创建了一个名为 Ball 的类，它实现了 Runnable，并在我的主 Draf
java - java中将时间戳转换为特定格式(年、月、周、日、时、时、分、秒)
这个问题已经有答案了: How can I calculate a time span in Java and format the output? (18 个回答) 已关闭 9 年前。这是我的代码
设置 header 时 AJAX 请求失败，但没有设置 header 时 AJAX 请求会成功
我有一个 ASP.NET Web API 应用程序在我的本地 IIS 实例上运行。 Web 应用程序配置有 CORS。我调用的 Web API 方法类似于: [POST("/API/{foo}/{ba
android - 用户输入年、月、日、时、分与系统年、月、日、时、分的区别
我将用户输入的时间和日期作为: DatePicker dp = (DatePicker) findViewById(R.id.datePicker); TimePicker tp = (TimePic
algorithm - 在处理 Tabu Search Optimization 时，当所有相邻解决方案都是 tabu 时，通常的做法是什么？
放宽“邻居”的标准是否足够，或者是否有其他标准行动可以采取？最佳答案如果所有相邻解决方案都是 Tabu，则听起来您的 Tabu 列表的大小太长或您的释放策略太严格。一个好的 Tabu 列表长度是
c++ - 为什么我需要传递一个比较器来构造一个 priority_queue，当它是 lambda 时，而不是当它是 std::greater 时？
我正在阅读来自 cppreference 的代码示例: #include #include #include #include template void print_queue(T& q)
javascript - 当触发器为 'click' 时，Bootstrap 3 工具提示表现得很奇怪，当触发器为 'manual' 时，则不起作用
我快疯了，我试图理解工具提示的行为，但没有成功。 1. 第一个问题是当我尝试通过插件(按钮 1)在点击事件中使用它时 -> 如果您转到 Fiddle，您会在“内容”内看到该函数' 每次点击都会调用该属
javascript - 使用 useContext 时，数据首先加载为空数组，当我应用 .map() 或 .find() 时，我收到一条错误消息
我在功能组件中有以下代码: const [ folder, setFolder ] = useState([]); const folderData = useContext(FolderContex
swift - 使用 NSURLSession 时 GET 成功，但使用 AFHTTPSessionManager 时 GET 失败
我在使用预签名网址和 AFNetworking 3.0 从 S3 获取图像时遇到问题。我可以使用 NSMutableURLRequest 和 NSURLSession 获取图像，但是当我使用 AFHT
java - 当池生命周期为 LIFE_CYCLE_FAILED 时，使用 UCP 管理器调用 closeConnections() 时 UCP 连接是否关闭？
我正在使用 Oracle ojdbc 12 和 Java 8 处理 Oracle UCP 管理器的问题。当 UCP 池启动失败时，我希望关闭它创建的连接。当池初始化期间遇到 ORA-02391:超过
ios - 当我点击 "Run"时，应用程序崩溃，但是当我点击 "Stop"然后 "Run"时，应用程序崩溃
关闭。此题需要details or clarity 。目前不接受答案。想要改进这个问题吗？通过 editing this post 添加详细信息并澄清问题. 已关闭 9 年前。 Improve
css - 我有一个笨蛋。当我在全局范围内定义我的 css 时，它起作用了。当我在我的组件中定义我的 css 时，它失败了。这是怎么回事？
引用这个plunker: https://plnkr.co/edit/GWsbdDWVvBYNMqyxzlLY?p=preview 我在 styles.css 文件和 src/app.ts 文件中指定
python - 当宽度 <1.0 时，Matplotlib 周线太细；当宽度>=1.0 时，周线太粗
为什么我的条形这么细？我尝试将宽度设置为 1，它们变得非常厚。我不知道还能尝试什么。默认厚度为 0.8，这是应该的样子吗？ import matplotlib.pyplot as plt import
当我使用 RIGHT JOIN 时，MYSQL 无法识别字段，但当我使用 NATURAL JOIN 时，MYSQL 可以识别字段
当我编写时，查询按预期执行: SELECT id, day2.count - day1.count AS diff FROM day1 NATURAL JOIN day2; 但我真正想要的是右连接。当
python - 在 pandas 中读取时间值(时、分、秒、日、月、年)时，如何指定先到先得？
我有以下时间数据: 0 08/01/16 13:07:46,335437 1 18/02/16 08:40:40,565575 2 14/01/16 22:2
javascript - 当我使用 axios POST 时，Req.body 为空，但当我使用 'request' 时，它工作正常
一些背景知识 -我的 NodeJS 服务器在端口 3001 上运行，我的 React 应用程序在端口 3000 上运行。我在 React 应用程序 package.json 中设置了一个代理来代理对端
javascript - 使用 AngularJs 时，当 img 标签具有 src attr 时，如何在其上设置 data-src
我面临着一个愚蠢的问题。我试图在我的 Angular 应用程序中延迟加载我的图像，我已经尝试过这个2: 但是他们都设置了 src attr 而不是 data-src，我在这里遗漏了什么吗？保留 d

太空宇宙

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

python - 将 Twitter 导入 Elasticsearch 时出现 Illegal_argument_Exception