Reviewed and landed by Sam.
[WebKit-https.git] / WebCore / editing / markup.cpp
1 /*
2  * Copyright (C) 2004, 2005, 2006, 2007, 2008 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE COMPUTER, INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE COMPUTER, INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
24  */
25
26 #include "config.h"
27 #include "markup.h"
28
29 #include "CDATASection.h"
30 #include "CSSComputedStyleDeclaration.h"
31 #include "CSSPropertyNames.h"
32 #include "CSSRule.h"
33 #include "CSSRuleList.h"
34 #include "CSSStyleRule.h"
35 #include "CSSStyleSelector.h"
36 #include "CSSValueKeywords.h"
37 #include "Comment.h"
38 #include "DeleteButtonController.h"
39 #include "Document.h"
40 #include "DocumentFragment.h"
41 #include "DocumentType.h"
42 #include "Editor.h"
43 #include "Frame.h"
44 #include "HTMLElement.h"
45 #include "HTMLNames.h"
46 #include "InlineTextBox.h"
47 #include "Logging.h"
48 #include "ProcessingInstruction.h"
49 #include "QualifiedName.h"
50 #include "Range.h"
51 #include "Selection.h"
52 #include "TextIterator.h"
53 #include "htmlediting.h"
54 #include "visible_units.h"
55
56 using namespace std;
57
58 namespace WebCore {
59
60 using namespace HTMLNames;
61
62 static inline bool shouldSelfClose(const Node *node);
63
64 class AttributeChange {
65 public:
66     AttributeChange()
67         : m_name(nullAtom, nullAtom, nullAtom)
68     {
69     }
70
71     AttributeChange(PassRefPtr<Element> element, const QualifiedName& name, const String& value)
72         : m_element(element), m_name(name), m_value(value)
73     {
74     }
75
76     void apply()
77     {
78         m_element->setAttribute(m_name, m_value);
79     }
80
81 private:
82     RefPtr<Element> m_element;
83     QualifiedName m_name;
84     String m_value;
85 };
86
87 static void appendAttributeValue(Vector<UChar>& result, const String& attr)
88 {
89     const UChar* uchars = attr.characters();
90     unsigned len = attr.length();
91     unsigned lastCopiedFrom = 0;
92
93     static const String ampEntity("&amp;");
94     static const String ltEntity("&lt;");
95     static const String quotEntity("&quot;");
96     
97     for (unsigned i = 0; i < len; ++i) {
98         UChar c = uchars[i];
99         switch (c) {
100             case '&':
101                 result.append(uchars + lastCopiedFrom, i - lastCopiedFrom);
102                 append(result, ampEntity);
103                 lastCopiedFrom = i + 1;
104                 break;
105             case '<':
106                 result.append(uchars + lastCopiedFrom, i - lastCopiedFrom);
107                 append(result, ltEntity);
108                 lastCopiedFrom = i + 1;
109                 break;
110             case '"':
111                 result.append(uchars + lastCopiedFrom, i - lastCopiedFrom);
112                 append(result, quotEntity);
113                 lastCopiedFrom = i + 1;
114         }
115     }
116     
117     result.append(uchars + lastCopiedFrom, len - lastCopiedFrom);
118 }
119     
120 static DeprecatedString escapeContentText(const String& in)
121 {
122     DeprecatedString s = "";
123
124     unsigned len = in.length();
125     unsigned lastCopiedFrom = 0;
126
127     const UChar* uchars = in.characters();
128     const DeprecatedChar* dchars = reinterpret_cast<const DeprecatedChar*>(uchars);
129
130     for (unsigned i = 0; i < len; ++i) {
131         UChar c = uchars[i];
132         if ((c == '&') | (c == '<')) {
133             s.append(dchars + lastCopiedFrom, i - lastCopiedFrom);
134             if (c == '&')
135                 s += "&amp;";
136             else 
137                 s += "&lt;";
138             lastCopiedFrom = i + 1;
139         }
140     }
141
142     s.append(dchars + lastCopiedFrom, len - lastCopiedFrom);
143
144     return s;
145 }
146
147     
148 static void appendEscapedContent(Vector<UChar>& result, pair<const UChar*, size_t> range)
149 {
150     const UChar* uchars = range.first;
151     unsigned len = range.second;
152     unsigned lastCopiedFrom = 0;
153     
154     static const String ampEntity("&amp;");
155     static const String ltEntity("&lt;");
156     
157     for (unsigned i = 0; i < len; ++i) {
158         UChar c = uchars[i];
159         if ((c == '&') | (c == '<')) {
160             result.append(uchars + lastCopiedFrom, i - lastCopiedFrom);
161             if (c == '&')
162                 append(result, ampEntity);
163             else 
164                 append(result, ltEntity);
165             lastCopiedFrom = i + 1;
166         }
167     }
168     
169     result.append(uchars + lastCopiedFrom, len - lastCopiedFrom);
170 }    
171
172 static inline void appendDeprecatedString(Vector<UChar>& result, const DeprecatedString& str)
173 {
174     result.append(reinterpret_cast<const UChar*>(str.unicode()), str.length());
175 }    
176     
177 static void appendQuotedURLAttributeValue(Vector<UChar>& result, const String& urlString)
178 {
179     UChar quoteChar = '\"';
180     String strippedURLString = urlString.stripWhiteSpace();
181     if (protocolIs(strippedURLString, "javascript")) {
182         // minimal escaping for javascript urls
183         if (strippedURLString.contains('"')) {
184             if (strippedURLString.contains('\''))
185                 strippedURLString.replace('\"', "&quot;");
186             else
187                 quoteChar = '\'';
188         }
189         result.append(quoteChar);
190         append(result, strippedURLString);
191         result.append(quoteChar);
192         return;
193     }
194
195     // FIXME: This does not fully match other browsers. Firefox escapes spaces and other special characters.
196     result.append(quoteChar);
197     appendAttributeValue(result, urlString);
198     result.append(quoteChar);    
199 }
200     
201 static String stringValueForRange(const Node* node, const Range* range)
202 {
203     if (!range)
204         return node->nodeValue();
205
206     String str = node->nodeValue();
207     ExceptionCode ec;
208     if (node == range->endContainer(ec))
209         str.truncate(range->endOffset(ec));
210     if (node == range->startContainer(ec))
211         str.remove(0, range->startOffset(ec));
212     return str;
213 }
214
215 static inline pair<const UChar*, size_t> ucharRange(const Node *node, const Range *range)
216 {
217     String str = node->nodeValue();
218     const UChar* characters = str.characters();
219     size_t length = str.length();
220
221     if (range) {
222         ExceptionCode ec;
223         if (node == range->endContainer(ec))
224             length = range->endOffset(ec);
225         if (node == range->startContainer(ec)) {
226             size_t start = range->startOffset(ec);
227             characters += start;
228             length -= start;
229         }
230     }
231     
232     return make_pair(characters, length);
233 }
234     
235 static inline void appendUCharRange(Vector<UChar>& result, const pair<const UChar*, size_t> range)
236 {
237     result.append(range.first, range.second);
238 }
239     
240 static String renderedText(const Node* node, const Range* range)
241 {
242     if (!node->isTextNode())
243         return String();
244
245     ExceptionCode ec;
246     const Text* textNode = static_cast<const Text*>(node);
247     unsigned startOffset = 0;
248     unsigned endOffset = textNode->length();
249
250     if (range && node == range->startContainer(ec))
251         startOffset = range->startOffset(ec);
252     if (range && node == range->endContainer(ec))
253         endOffset = range->endOffset(ec);
254     
255     Position start(const_cast<Node*>(node), startOffset);
256     Position end(const_cast<Node*>(node), endOffset);
257     Range r(node->document(), start, end);
258     return plainText(&r);
259 }
260
261 static PassRefPtr<CSSMutableStyleDeclaration> styleFromMatchedRulesForElement(Element* element, bool authorOnly = true)
262 {
263     RefPtr<CSSMutableStyleDeclaration> style = new CSSMutableStyleDeclaration();
264     RefPtr<CSSRuleList> matchedRules = element->document()->styleSelector()->styleRulesForElement(element, authorOnly);
265     if (matchedRules) {
266         for (unsigned i = 0; i < matchedRules->length(); i++) {
267             if (matchedRules->item(i)->type() == CSSRule::STYLE_RULE) {
268                 RefPtr<CSSMutableStyleDeclaration> s = static_cast<CSSStyleRule*>(matchedRules->item(i))->style();
269                 style->merge(s.get(), true);
270             }
271         }
272     }
273     
274     return style.release();
275 }
276
277 static void removeEnclosingMailBlockquoteStyle(CSSMutableStyleDeclaration* style, Node* node)
278 {
279     Node* blockquote = nearestMailBlockquote(node);
280     if (!blockquote || !blockquote->parentNode())
281         return;
282             
283     RefPtr<CSSMutableStyleDeclaration> parentStyle = Position(blockquote->parentNode(), 0).computedStyle()->copyInheritableProperties();
284     RefPtr<CSSMutableStyleDeclaration> blockquoteStyle = Position(blockquote, 0).computedStyle()->copyInheritableProperties();
285     parentStyle->diff(blockquoteStyle.get());
286     blockquoteStyle->diff(style);
287 }
288
289 static bool shouldAddNamespaceElem(const Element* elem)
290 {
291     // Don't add namespace attribute if it is already defined for this elem.
292     const AtomicString& prefix = elem->prefix();
293     AtomicString attr = !prefix.isEmpty() ? "xmlns:" + prefix : "xmlns";
294     return !elem->hasAttribute(attr);
295 }
296
297 static bool shouldAddNamespaceAttr(const Attribute* attr, HashMap<AtomicStringImpl*, AtomicStringImpl*>& namespaces)
298 {
299     // Don't add namespace attributes twice
300     static const AtomicString xmlnsURI = "http://www.w3.org/2000/xmlns/";
301     static const QualifiedName xmlnsAttr(nullAtom, "xmlns", xmlnsURI);
302     if (attr->name() == xmlnsAttr) {
303         namespaces.set(emptyAtom.impl(), attr->value().impl());
304         return false;
305     }
306     
307     QualifiedName xmlnsPrefixAttr("xmlns", attr->localName(), xmlnsURI);
308     if (attr->name() == xmlnsPrefixAttr) {
309         namespaces.set(attr->localName().impl(), attr->value().impl());
310         return false;
311     }
312     
313     return true;
314 }
315
316 static void appendNamespace(Vector<UChar>& result, const AtomicString& prefix, const AtomicString& ns, HashMap<AtomicStringImpl*, AtomicStringImpl*>& namespaces)
317 {
318     if (ns.isEmpty())
319         return;
320         
321     // Use emptyAtoms's impl() for both null and empty strings since the HashMap can't handle 0 as a key
322     AtomicStringImpl* pre = prefix.isEmpty() ? emptyAtom.impl() : prefix.impl();
323     AtomicStringImpl* foundNS = namespaces.get(pre);
324     if (foundNS != ns.impl()) {
325         namespaces.set(pre, ns.impl());
326         static const String xmlns("xmlns");
327         result.append(' ');
328         append(result, xmlns);
329         if (!prefix.isEmpty()) {
330             result.append(':');
331             append(result, prefix);
332         }
333
334         result.append('=');
335         result.append('"');
336         appendAttributeValue(result, ns);
337         result.append('"');
338     }
339 }
340     
341 static void appendStartMarkup(Vector<UChar>& result, const Node *node, const Range *range, EAnnotateForInterchange annotate, bool convertBlocksToInlines = false, HashMap<AtomicStringImpl*, AtomicStringImpl*>* namespaces = 0)
342 {
343     bool documentIsHTML = node->document()->isHTMLDocument();
344     switch (node->nodeType()) {
345         case Node::TEXT_NODE: {
346             if (Node* parent = node->parentNode()) {
347                 if (parent->hasTagName(listingTag)
348                     || parent->hasTagName(scriptTag)
349                     || parent->hasTagName(styleTag)
350                     || parent->hasTagName(textareaTag)
351                     || parent->hasTagName(xmpTag)) {
352                     appendUCharRange(result, ucharRange(node, range));
353                     break;
354                 }
355             }
356             if (!annotate) {
357                 appendEscapedContent(result, ucharRange(node, range));
358                 break;
359             }
360             
361             bool useRenderedText = !enclosingNodeWithTag(Position(const_cast<Node*>(node), 0), selectTag);
362             DeprecatedString markup = escapeContentText(useRenderedText ? renderedText(node, range) : stringValueForRange(node, range));
363             if (annotate)
364                 markup = convertHTMLTextToInterchangeFormat(markup, static_cast<const Text*>(node));
365             appendDeprecatedString(result, markup);
366             break;
367         }
368         case Node::COMMENT_NODE:
369             append(result, static_cast<const Comment*>(node)->toString());
370             break;
371         case Node::DOCUMENT_NODE: {
372             // FIXME: I think the comment below (and therefore this code) is wrong now
373             // Documents do not normally contain a docType as a child node, force it to print here instead.
374             const DocumentType* docType = static_cast<const Document*>(node)->doctype();
375             if (docType)
376                 append(result, docType->toString());
377             break;
378         }
379         case Node::DOCUMENT_FRAGMENT_NODE:
380             break;
381         case Node::DOCUMENT_TYPE_NODE:
382             append(result, static_cast<const DocumentType*>(node)->toString());
383             break;
384         case Node::PROCESSING_INSTRUCTION_NODE:
385             append(result, static_cast<const ProcessingInstruction*>(node)->toString());
386             break;
387         case Node::ELEMENT_NODE: {
388             result.append('<');
389             const Element* el = static_cast<const Element*>(node);
390             bool convert = convertBlocksToInlines & isBlock(const_cast<Node*>(node));
391             append(result, el->nodeNamePreservingCase());
392             NamedAttrMap *attrs = el->attributes();
393             unsigned length = attrs->length();
394             if (!documentIsHTML && namespaces && shouldAddNamespaceElem(el))
395                 appendNamespace(result, el->prefix(), el->namespaceURI(), *namespaces);
396
397             for (unsigned int i = 0; i < length; i++) {
398                 Attribute *attr = attrs->attributeItem(i);
399                 // We'll handle the style attribute separately, below.
400                 if (attr->name() == styleAttr && el->isHTMLElement() && (annotate || convert))
401                     continue;
402                 result.append(' ');
403
404                 if (documentIsHTML)
405                     append(result, attr->name().localName());
406                 else
407                     append(result, attr->name().toString());
408
409                 result.append('=');
410
411                 if (el->isURLAttribute(attr))
412                     appendQuotedURLAttributeValue(result, attr->value());
413                 else {
414                     result.append('\"');
415                     appendAttributeValue(result, attr->value());
416                     result.append('\"');
417                 }
418
419                 if (!documentIsHTML && namespaces && shouldAddNamespaceAttr(attr, *namespaces))
420                     appendNamespace(result, attr->prefix(), attr->namespaceURI(), *namespaces);
421             }
422             
423             if (el->isHTMLElement() && (annotate || convert)) {
424                 Element* element = const_cast<Element*>(el);
425                 RefPtr<CSSMutableStyleDeclaration> style = static_cast<HTMLElement*>(element)->getInlineStyleDecl()->copy();
426                 if (annotate) {
427                     RefPtr<CSSMutableStyleDeclaration> styleFromMatchedRules = styleFromMatchedRulesForElement(const_cast<Element*>(el));
428                     style->merge(styleFromMatchedRules.get());
429                 }
430                 if (convert)
431                     style->setProperty(CSS_PROP_DISPLAY, CSS_VAL_INLINE, true);
432                 if (style->length() > 0) {
433                     static const String stylePrefix(" style=\"");
434                     append(result, stylePrefix);
435                     appendAttributeValue(result, style->cssText());
436                     result.append('\"');
437                 }
438             }
439             
440             if (shouldSelfClose(el)) {
441                 if (el->isHTMLElement())
442                     result.append(' '); // XHTML 1.0 <-> HTML compatibility.
443                 result.append('/');
444             }
445             result.append('>');
446             break;
447         }
448         case Node::CDATA_SECTION_NODE:
449             append(result, static_cast<const CDATASection*>(node)->toString());
450             break;
451         case Node::ATTRIBUTE_NODE:
452         case Node::ENTITY_NODE:
453         case Node::ENTITY_REFERENCE_NODE:
454         case Node::NOTATION_NODE:
455         case Node::XPATH_NAMESPACE_NODE:
456             ASSERT_NOT_REACHED();
457             break;
458     }
459 }
460
461 static String getStartMarkup(const Node *node, const Range *range, EAnnotateForInterchange annotate, bool convertBlocksToInlines = false, HashMap<AtomicStringImpl*, AtomicStringImpl*>* namespaces = 0)
462 {
463     Vector<UChar> result;
464     appendStartMarkup(result, node, range, annotate, convertBlocksToInlines, namespaces);
465     return String::adopt(result);
466 }
467
468 static inline bool doesHTMLForbidEndTag(const Node *node)
469 {
470     if (node->isHTMLElement()) {
471         const HTMLElement* htmlElt = static_cast<const HTMLElement*>(node);
472         return (htmlElt->endTagRequirement() == TagStatusForbidden);
473     }
474     return false;
475 }
476
477 // Rules of self-closure
478 // 1. No elements in HTML documents use the self-closing syntax.
479 // 2. Elements w/ children never self-close because they use a separate end tag.
480 // 3. HTML elements which do not have a "forbidden" end tag will close with a separate end tag.
481 // 4. Other elements self-close.
482 static inline bool shouldSelfClose(const Node *node)
483 {
484     if (node->document()->isHTMLDocument())
485         return false;
486     if (node->hasChildNodes())
487         return false;
488     if (node->isHTMLElement() && !doesHTMLForbidEndTag(node))
489         return false;
490     return true;
491 }
492
493 static void appendEndMarkup(Vector<UChar>& result, const Node* node)
494 {
495     if (!node->isElementNode() || shouldSelfClose(node) || (!node->hasChildNodes() && doesHTMLForbidEndTag(node)))
496         return;
497
498     result.append('<');
499     result.append('/');
500     append(result, static_cast<const Element*>(node)->nodeNamePreservingCase());
501     result.append('>');
502 }
503
504 static String getEndMarkup(const Node *node)
505 {
506     Vector<UChar> result;
507     appendEndMarkup(result, node);
508     return String::adopt(result);
509 }
510
511 static void appendMarkup(Vector<UChar>& result, Node* startNode, bool onlyIncludeChildren, Vector<Node*>* nodes, const HashMap<AtomicStringImpl*, AtomicStringImpl*>* namespaces = 0)
512 {
513     HashMap<AtomicStringImpl*, AtomicStringImpl*> namespaceHash;
514     if (namespaces)
515         namespaceHash = *namespaces;
516     
517     if (!onlyIncludeChildren) {
518         if (nodes)
519             nodes->append(startNode);
520         
521         appendStartMarkup(result,startNode, 0, DoNotAnnotateForInterchange, false, &namespaceHash);
522     }
523     // print children
524     if (!(startNode->document()->isHTMLDocument() && doesHTMLForbidEndTag(startNode)))
525         for (Node* current = startNode->firstChild(); current; current = current->nextSibling())
526             appendMarkup(result, current, false, nodes, &namespaceHash);
527     
528     // Print my ending tag
529     if (!onlyIncludeChildren)
530         appendEndMarkup(result, startNode);
531 }
532
533 static void completeURLs(Node* node, const String& baseURL)
534 {
535     Vector<AttributeChange> changes;
536
537     KURL parsedBaseURL(baseURL);
538
539     Node* end = node->traverseNextSibling();
540     for (Node* n = node; n != end; n = n->traverseNextNode()) {
541         if (n->isElementNode()) {
542             Element* e = static_cast<Element*>(n);
543             NamedAttrMap* attrs = e->attributes();
544             unsigned length = attrs->length();
545             for (unsigned i = 0; i < length; i++) {
546                 Attribute* attr = attrs->attributeItem(i);
547                 if (e->isURLAttribute(attr))
548                     changes.append(AttributeChange(e, attr->name(), KURL(parsedBaseURL, attr->value()).string()));
549             }
550         }
551     }
552
553     size_t numChanges = changes.size();
554     for (size_t i = 0; i < numChanges; ++i)
555         changes[i].apply();
556 }
557
558 static bool needInterchangeNewlineAfter(const VisiblePosition& v)
559 {
560     VisiblePosition next = v.next();
561     Node* upstreamNode = next.deepEquivalent().upstream().node();
562     Node* downstreamNode = v.deepEquivalent().downstream().node();
563     // Add an interchange newline if a paragraph break is selected and a br won't already be added to the markup to represent it.
564     return isEndOfParagraph(v) && isStartOfParagraph(next) && !(upstreamNode->hasTagName(brTag) && upstreamNode == downstreamNode);
565 }
566
567 static PassRefPtr<CSSMutableStyleDeclaration> styleFromMatchedRulesAndInlineDecl(const Node* node)
568 {
569     if (!node->isHTMLElement())
570         return 0;
571     
572     // FIXME: Having to const_cast here is ugly, but it is quite a bit of work to untangle
573     // the non-const-ness of styleFromMatchedRulesForElement.
574     HTMLElement* element = const_cast<HTMLElement*>(static_cast<const HTMLElement*>(node));
575     RefPtr<CSSMutableStyleDeclaration> style = styleFromMatchedRulesForElement(element);
576     RefPtr<CSSMutableStyleDeclaration> inlineStyleDecl = element->getInlineStyleDecl();
577     style->merge(inlineStyleDecl.get());
578     return style.release();
579 }
580
581 static bool propertyMissingOrEqualToNone(CSSMutableStyleDeclaration* style, int propertyID)
582 {
583     if (!style)
584         return false;
585     RefPtr<CSSValue> value = style->getPropertyCSSValue(propertyID);
586     if (!value)
587         return true;
588     if (!value->isPrimitiveValue())
589         return false;
590     return static_cast<CSSPrimitiveValue*>(value.get())->getIdent() == CSS_VAL_NONE;
591 }
592
593 static bool elementHasTextDecorationProperty(const Node* node)
594 {
595     RefPtr<CSSMutableStyleDeclaration> style = styleFromMatchedRulesAndInlineDecl(node);
596     if (!style)
597         return false;
598     return !propertyMissingOrEqualToNone(style.get(), CSS_PROP_TEXT_DECORATION);
599 }
600
601 String joinMarkups(const Vector<String> preMarkups, const Vector<String>& postMarkups)
602 {
603     size_t length = 0;
604
605     size_t preCount = preMarkups.size();
606     for (size_t i = 0; i < preCount; ++i)
607         length += preMarkups[i].length();
608
609     size_t postCount = postMarkups.size();
610     for (size_t i = 0; i < postCount; ++i)
611         length += postMarkups[i].length();
612
613     Vector<UChar> result;
614     result.reserveCapacity(length);
615
616     for (size_t i = preCount; i > 0; --i)
617         append(result, preMarkups[i - 1]);
618
619     for (size_t i = 0; i < postCount; ++i)
620         append(result, postMarkups[i]);
621
622     return String::adopt(result);
623 }
624
625 // FIXME: Shouldn't we omit style info when annotate == DoNotAnnotateForInterchange? 
626 // FIXME: At least, annotation and style info should probably not be included in range.markupString()
627 String createMarkup(const Range* range, Vector<Node*>* nodes, EAnnotateForInterchange annotate, bool convertBlocksToInlines)
628 {
629     static const String interchangeNewlineString = String("<br class=\"") + AppleInterchangeNewline + "\">";
630
631     if (!range || range->isDetached())
632         return "";
633
634     Document* document = range->ownerDocument();
635     if (!document)
636         return "";
637
638     // Disable the delete button so it's elements are not serialized into the markup,
639     // but make sure neither endpoint is inside the delete user interface.
640     Frame* frame = document->frame();
641     DeleteButtonController* deleteButton = frame ? frame->editor()->deleteButtonController() : 0;
642     RefPtr<Range> updatedRange = avoidIntersectionWithNode(range, deleteButton ? deleteButton->containerElement() : 0);
643     if (deleteButton)
644         deleteButton->disable();
645
646     ExceptionCode ec = 0;
647     bool collapsed = updatedRange->collapsed(ec);
648     ASSERT(ec == 0);
649     if (collapsed)
650         return "";
651     Node* commonAncestor = updatedRange->commonAncestorContainer(ec);
652     ASSERT(ec == 0);
653     if (!commonAncestor)
654         return "";
655
656     document->updateLayoutIgnorePendingStylesheets();
657
658     Vector<String> markups;
659     Vector<String> preMarkups;
660     Node* pastEnd = updatedRange->pastEndNode();
661     Node* lastClosed = 0;
662     Vector<Node*> ancestorsToClose;
663     
664     Node* startNode = updatedRange->startNode();
665     VisiblePosition visibleStart(updatedRange->startPosition(), VP_DEFAULT_AFFINITY);
666     VisiblePosition visibleEnd(updatedRange->endPosition(), VP_DEFAULT_AFFINITY);
667     if (annotate && needInterchangeNewlineAfter(visibleStart)) {
668         if (visibleStart == visibleEnd.previous()) {
669             if (deleteButton)
670                 deleteButton->enable();
671             return interchangeNewlineString;
672         }
673
674         markups.append(interchangeNewlineString);
675         startNode = visibleStart.next().deepEquivalent().node();
676     }
677
678     Node* next;
679     for (Node* n = startNode; n != pastEnd; n = next) {
680         next = n->traverseNextNode();
681         bool skipDescendants = false;
682         bool addMarkupForNode = true;
683         
684         if (!n->renderer() && !enclosingNodeWithTag(Position(n, 0), selectTag)) {
685             skipDescendants = true;
686             addMarkupForNode = false;
687             next = n->traverseNextSibling();
688             // Don't skip over pastEnd.
689             if (pastEnd && pastEnd->isDescendantOf(n))
690                 next = pastEnd;
691         }
692
693         if (isBlock(n) && canHaveChildrenForEditing(n) && next == pastEnd)
694             // Don't write out empty block containers that aren't fully selected.
695             continue;
696         
697         // Add the node to the markup.
698         if (addMarkupForNode) {
699             markups.append(getStartMarkup(n, updatedRange.get(), annotate));
700             if (nodes)
701                 nodes->append(n);
702         }
703         
704         if (n->firstChild() == 0 || skipDescendants) {
705             // Node has no children, or we are skipping it's descendants, add its close tag now.
706             if (addMarkupForNode) {
707                 markups.append(getEndMarkup(n));
708                 lastClosed = n;
709             }
710             
711             // Check if the node is the last leaf of a tree.
712             if (!n->nextSibling() || next == pastEnd) {
713                 if (!ancestorsToClose.isEmpty()) {
714                     // Close up the ancestors.
715                     do {
716                         Node *ancestor = ancestorsToClose.last();
717                         if (next != pastEnd && next->isDescendantOf(ancestor))
718                             break;
719                         // Not at the end of the range, close ancestors up to sibling of next node.
720                         markups.append(getEndMarkup(ancestor));
721                         lastClosed = ancestor;
722                         ancestorsToClose.removeLast();
723                     } while (!ancestorsToClose.isEmpty());
724                 }
725                 
726                 // Surround the currently accumulated markup with markup for ancestors we never opened as we leave the subtree(s) rooted at those ancestors.
727                 Node* nextParent = next ? next->parentNode() : 0;
728                 if (next != pastEnd && n != nextParent) {
729                     Node* lastAncestorClosedOrSelf = n->isDescendantOf(lastClosed) ? lastClosed : n;
730                     for (Node *parent = lastAncestorClosedOrSelf->parent(); parent != 0 && parent != nextParent; parent = parent->parentNode()) {
731                         // All ancestors that aren't in the ancestorsToClose list should either be a) unrendered:
732                         if (!parent->renderer())
733                             continue;
734                         // or b) ancestors that we never encountered during a pre-order traversal starting at startNode:
735                         ASSERT(startNode->isDescendantOf(parent));
736                         preMarkups.append(getStartMarkup(parent, updatedRange.get(), annotate));
737                         markups.append(getEndMarkup(parent));
738                         if (nodes)
739                             nodes->append(parent);
740                         lastClosed = parent;
741                     }
742                 }
743             }
744         } else if (addMarkupForNode && !skipDescendants)
745             // We added markup for this node, and we're descending into it.  Set it to close eventually.
746             ancestorsToClose.append(n);
747     }
748     
749     // Include ancestors that aren't completely inside the range but are required to retain 
750     // the structure and appearance of the copied markup.
751     Node* specialCommonAncestor = 0;
752     Node* commonAncestorBlock = commonAncestor ? enclosingBlock(commonAncestor) : 0;
753     if (annotate && commonAncestorBlock) {
754         if (commonAncestorBlock->hasTagName(tbodyTag) || commonAncestorBlock->hasTagName(trTag)) {
755             Node* table = commonAncestorBlock->parentNode();
756             while (table && !table->hasTagName(tableTag))
757                 table = table->parentNode();
758             if (table)
759                 specialCommonAncestor = table;
760         } else if (commonAncestorBlock->hasTagName(listingTag)
761                     || commonAncestorBlock->hasTagName(olTag)
762                     || commonAncestorBlock->hasTagName(preTag)
763                     || commonAncestorBlock->hasTagName(tableTag)
764                     || commonAncestorBlock->hasTagName(ulTag)
765                     || commonAncestorBlock->hasTagName(xmpTag))
766             specialCommonAncestor = commonAncestorBlock;
767     }
768     
769     Node* checkAncestor = specialCommonAncestor ? specialCommonAncestor : commonAncestor;
770     if (checkAncestor->renderer()) {
771         RefPtr<CSSMutableStyleDeclaration> checkAncestorStyle = computedStyle(checkAncestor)->copyInheritableProperties();
772         if (!propertyMissingOrEqualToNone(checkAncestorStyle.get(), CSS_PROP__WEBKIT_TEXT_DECORATIONS_IN_EFFECT))
773             specialCommonAncestor = enclosingNodeOfType(Position(checkAncestor, 0), &elementHasTextDecorationProperty);
774     }
775     
776     if (Node *enclosingAnchor = enclosingNodeWithTag(Position(specialCommonAncestor ? specialCommonAncestor : commonAncestor, 0), aTag))
777         specialCommonAncestor = enclosingAnchor;
778     
779     Node* body = enclosingNodeWithTag(Position(commonAncestor, 0), bodyTag);
780     // FIXME: Only include markup for a fully selected root (and ancestors of lastClosed up to that root) if
781     // there are styles/attributes on those nodes that need to be included to preserve the appearance of the copied markup.
782     // FIXME: Do this for all fully selected blocks, not just the body.
783     Node* fullySelectedRoot = body && *Selection::selectionFromContentsOfNode(body).toRange() == *updatedRange ? body : 0;
784     if (annotate && fullySelectedRoot)
785         specialCommonAncestor = fullySelectedRoot;
786         
787     if (specialCommonAncestor) {
788         // Also include all of the ancestors of lastClosed up to this special ancestor.
789         for (Node* ancestor = lastClosed->parentNode(); ancestor; ancestor = ancestor->parentNode()) {
790             if (ancestor == fullySelectedRoot && !convertBlocksToInlines) {
791                 RefPtr<CSSMutableStyleDeclaration> style = styleFromMatchedRulesAndInlineDecl(fullySelectedRoot);
792                 
793                 // Bring the background attribute over, but not as an attribute because a background attribute on a div
794                 // appears to have no effect.
795                 if (!style->getPropertyCSSValue(CSS_PROP_BACKGROUND_IMAGE) && static_cast<Element*>(fullySelectedRoot)->hasAttribute(backgroundAttr))
796                     style->setProperty(CSS_PROP_BACKGROUND_IMAGE, "url('" + static_cast<Element*>(fullySelectedRoot)->getAttribute(backgroundAttr) + "')");
797                 
798                 if (style->length()) {
799                     Vector<UChar> openTag;
800                     static const String divStyle("<div style=\"");
801                     append(openTag, divStyle);
802                     appendAttributeValue(openTag, style->cssText());
803                     openTag.append('\"');
804                     openTag.append('>');
805                     preMarkups.append(String::adopt(openTag));
806
807                     static const String divCloseTag("</div>");
808                     markups.append(divCloseTag);
809                 }
810             } else {
811                 preMarkups.append(getStartMarkup(ancestor, updatedRange.get(), annotate, convertBlocksToInlines));
812                 markups.append(getEndMarkup(ancestor));
813             }
814             if (nodes)
815                 nodes->append(ancestor);
816             
817             lastClosed = ancestor;
818             
819             if (ancestor == specialCommonAncestor)
820                 break;
821         }
822     }
823     
824     // Add a wrapper span with the styles that all of the nodes in the markup inherit.
825     Node* parentOfLastClosed = lastClosed ? lastClosed->parentNode() : 0;
826     if (parentOfLastClosed && parentOfLastClosed->renderer()) {
827         RefPtr<CSSMutableStyleDeclaration> style = computedStyle(parentOfLastClosed)->copyInheritableProperties();
828
829         // Styles that Mail blockquotes contribute should only be placed on the Mail blockquote, to help
830         // us differentiate those styles from ones that the user has applied.  This helps us
831         // get the color of content pasted into blockquotes right.
832         removeEnclosingMailBlockquoteStyle(style.get(), parentOfLastClosed);
833         
834         // Since we are converting blocks to inlines, remove any inherited block properties that are in the style.
835         // This cuts out meaningless properties and prevents properties from magically affecting blocks later
836         // if the style is cloned for a new block element during a future editing operation.
837         if (convertBlocksToInlines)
838             style->removeBlockProperties();
839
840         if (style->length() > 0) {
841             Vector<UChar> openTag;
842             const String spanClassStyle = String("<span class=\"" AppleStyleSpanClass "\" style=\"");
843             append(openTag, spanClassStyle);
844             appendAttributeValue(openTag, style->cssText());
845             openTag.append('\"');
846             openTag.append('>');
847             preMarkups.append(String::adopt(openTag));
848             
849             static const String spanCloseTag("</span>");
850             markups.append(spanCloseTag);
851         }
852     }
853
854     // FIXME: The interchange newline should be placed in the block that it's in, not after all of the content, unconditionally.
855     if (annotate && needInterchangeNewlineAfter(visibleEnd.previous()))
856         markups.append(interchangeNewlineString);
857
858     bool selectedOneOrMoreParagraphs = startOfParagraph(visibleStart) != startOfParagraph(visibleEnd) ||
859                                        isStartOfParagraph(visibleStart) && isEndOfParagraph(visibleEnd);
860                                       
861     // Retain the Mail quote level by including all ancestor mail block quotes.
862     if (lastClosed && annotate && selectedOneOrMoreParagraphs) {
863         for (Node *ancestor = lastClosed->parentNode(); ancestor; ancestor = ancestor->parentNode()) {
864             if (isMailBlockquote(ancestor)) {
865                 preMarkups.append(getStartMarkup(ancestor, updatedRange.get(), annotate));
866                 markups.append(getEndMarkup(ancestor));
867             }
868         }
869     }
870
871     if (deleteButton)
872         deleteButton->enable();
873
874     return joinMarkups(preMarkups, markups);
875 }
876
877 PassRefPtr<DocumentFragment> createFragmentFromMarkup(Document* document, const String& markup, const String& baseURL)
878 {
879     ASSERT(document->documentElement()->isHTMLElement());
880     // FIXME: What if the document element is not an HTML element?
881     HTMLElement *element = static_cast<HTMLElement*>(document->documentElement());
882
883     RefPtr<DocumentFragment> fragment = element->createContextualFragment(markup);
884
885     if (fragment && !baseURL.isEmpty() && baseURL != blankURL() && baseURL != document->baseURL())
886         completeURLs(fragment.get(), baseURL);
887
888     return fragment.release();
889 }
890
891 String createMarkup(const Node* node, EChildrenOnly includeChildren, Vector<Node*>* nodes)
892 {
893     Vector<UChar> result;
894
895     if (!node)
896         return "";
897
898     Document* document = node->document();
899     Frame* frame = document->frame();
900     DeleteButtonController* deleteButton = frame ? frame->editor()->deleteButtonController() : 0;
901
902     // disable the delete button so it's elements are not serialized into the markup
903     if (deleteButton) {
904         if (node->isDescendantOf(deleteButton->containerElement()))
905             return "";
906         deleteButton->disable();
907     }
908
909     appendMarkup(result, const_cast<Node*>(node), includeChildren, nodes);
910
911     if (deleteButton)
912         deleteButton->enable();
913
914     return String::adopt(result);
915 }
916
917 static void fillContainerFromString(ContainerNode* paragraph, const String& string)
918 {
919     Document* document = paragraph->document();
920
921     ExceptionCode ec = 0;
922     if (string.isEmpty()) {
923         paragraph->appendChild(createBlockPlaceholderElement(document), ec);
924         ASSERT(ec == 0);
925         return;
926     }
927
928     ASSERT(string.find('\n') == -1);
929
930     Vector<String> tabList;
931     string.split('\t', true, tabList);
932     String tabText = "";
933     bool first = true;
934     size_t numEntries = tabList.size();
935     for (size_t i = 0; i < numEntries; ++i) {
936         const String& s = tabList[i];
937
938         // append the non-tab textual part
939         if (!s.isEmpty()) {
940             if (!tabText.isEmpty()) {
941                 paragraph->appendChild(createTabSpanElement(document, tabText), ec);
942                 ASSERT(ec == 0);
943                 tabText = "";
944             }
945             RefPtr<Node> textNode = document->createTextNode(stringWithRebalancedWhitespace(s, first, i + 1 == numEntries));
946             paragraph->appendChild(textNode.release(), ec);
947             ASSERT(ec == 0);
948         }
949
950         // there is a tab after every entry, except the last entry
951         // (if the last character is a tab, the list gets an extra empty entry)
952         if (i + 1 != numEntries)
953             tabText.append('\t');
954         else if (!tabText.isEmpty()) {
955             paragraph->appendChild(createTabSpanElement(document, tabText), ec);
956             ASSERT(ec == 0);
957         }
958         
959         first = false;
960     }
961 }
962
963 PassRefPtr<DocumentFragment> createFragmentFromText(Range* context, const String& text)
964 {
965     if (!context)
966         return 0;
967
968     Node* styleNode = context->startNode();
969     if (!styleNode) {
970         styleNode = context->startPosition().node();
971         if (!styleNode)
972             return 0;
973     }
974
975     Document* document = styleNode->document();
976     RefPtr<DocumentFragment> fragment = document->createDocumentFragment();
977     
978     if (text.isEmpty())
979         return fragment.release();
980
981     String string = text;
982     string.replace("\r\n", "\n");
983     string.replace('\r', '\n');
984
985     ExceptionCode ec = 0;
986     RenderObject* renderer = styleNode->renderer();
987     if (renderer && renderer->style()->preserveNewline()) {
988         fragment->appendChild(document->createTextNode(string), ec);
989         ASSERT(ec == 0);
990         if (string.endsWith("\n")) {
991             RefPtr<Element> element;
992             element = document->createElementNS(xhtmlNamespaceURI, "br", ec);
993             ASSERT(ec == 0);
994             element->setAttribute(classAttr, AppleInterchangeNewline);            
995             fragment->appendChild(element.release(), ec);
996             ASSERT(ec == 0);
997         }
998         return fragment.release();
999     }
1000
1001     // A string with no newlines gets added inline, rather than being put into a paragraph.
1002     if (string.find('\n') == -1) {
1003         fillContainerFromString(fragment.get(), string);
1004         return fragment.release();
1005     }
1006
1007     // Break string into paragraphs. Extra line breaks turn into empty paragraphs.
1008     Node* block = enclosingBlock(context->startNode());
1009     bool useClonesOfEnclosingBlock = !block->hasTagName(bodyTag);
1010     
1011     Vector<String> list;
1012     string.split('\n', true, list); // true gets us empty strings in the list
1013     size_t numLines = list.size();
1014     for (size_t i = 0; i < numLines; ++i) {
1015         const String& s = list[i];
1016
1017         RefPtr<Element> element;
1018         if (s.isEmpty() && i + 1 == numLines) {
1019             // For last line, use the "magic BR" rather than a P.
1020             element = document->createElementNS(xhtmlNamespaceURI, "br", ec);
1021             ASSERT(ec == 0);
1022             element->setAttribute(classAttr, AppleInterchangeNewline);            
1023         } else {
1024             element = useClonesOfEnclosingBlock ? static_cast<Element*>(block->cloneNode(false).get()) : createDefaultParagraphElement(document);
1025             fillContainerFromString(element.get(), s);
1026         }
1027         fragment->appendChild(element.release(), ec);
1028         ASSERT(ec == 0);
1029     }
1030     return fragment.release();
1031 }
1032
1033 PassRefPtr<DocumentFragment> createFragmentFromNodes(Document *document, const Vector<Node*>& nodes)
1034 {
1035     if (!document)
1036         return 0;
1037
1038     // disable the delete button so it's elements are not serialized into the markup
1039     if (document->frame())
1040         document->frame()->editor()->deleteButtonController()->disable();
1041
1042     RefPtr<DocumentFragment> fragment = document->createDocumentFragment();
1043
1044     ExceptionCode ec = 0;
1045     size_t size = nodes.size();
1046     for (size_t i = 0; i < size; ++i) {
1047         RefPtr<Element> element = createDefaultParagraphElement(document);
1048         element->appendChild(nodes[i], ec);
1049         ASSERT(ec == 0);
1050         fragment->appendChild(element.release(), ec);
1051         ASSERT(ec == 0);
1052     }
1053
1054     if (document->frame())
1055         document->frame()->editor()->deleteButtonController()->enable();
1056
1057     return fragment.release();
1058 }
1059
1060 }